David의 개발 이야기!

9. 배치 처리를 해보자 합성곱연산도 배치처리를 지원한다. 그래서 각 계층을 흐르는 데이터의 차원을 하나 늘려 4차원 데이터로 저장한다. ( 데이터수, 채널 수, 높이, 너비 ) 순으로 저장한다. 데이터가 N개 일때, 아래의 그림과 같이 된다. 위 그림을 보면, 각 데이터의 선두에 배치용 차원이 추가되어있다. 이처럼 데이터는 4차원 형상을 가진 채 각 게층을 타고 흐른다. 여기서 주의할 점은, 신경망에 4차원 데이터가 하나 흐를때마다, 데이터 N개에 대한 합성곱 연산이 이뤄진다는 것이다! N 회분의 처리를 한번에 수행하는 의미이다! 10. 풀링 계층 풀링은 세로 가로 방향의 공간을 줄이는 연산이다. 위 그림은 최대풀링( 맥스 풀링 max pooling )을 스트라이드 2로 처리하는 것을 보여준다. 최대풀..

Convolutional Neural Network, CNN 에 대해서 알아보자. 1. Affine 계층이란? 인접하는 계층의 모든 뉴런과 결합되어 있는 신경망을 완전연결(fully-connected, 전결합) 이라고 하며, 완전히 연결된 게층을 Affine 계층이라고 한다. Affine 계층을 사용하면, 층이 5개인 신명망은 위와 같이 구현할 수 있다. 완전연결 신경망은 Affine 계층 뒤에 활성화 함수를 갖는 ReLU 계층(혹은 Sigmoid 계층) 이이어진다. 위 그림에서는, Affine-ReLU 조합이 4개 쌓였고, 마지막 5번째 층은 Affine 층에 이어 소프트맥스 계층에서 최종 결과(확률) 을 출력한다. 2. CNN으로 이뤄진 네트워크의 예 CNN 에서는 새로운 '합성곱 계층(Conv)' ..