[Deep Learning] cs231n 5강 내용 정리 (1)

Hierarchical organization :

(1) simple cells : response to light orientation (modifiable parameters)

(2) complex cells : response to light orientation and movement (perform pooling)

(3) hypercomplex cells : response to movement with an end point (corner, block)

 

Fully connected layer : 32*32*3 image 가 있으면 stretch to 3072*1 (stretch all the pixels)

convolutional map의 output들을 마지막에 연결한다.

activation : 각 class에 대한 score의 결괏값

Convolution layer : stretch all the pixel이 아닌, preserve spatial structure

convolve the filter with the image (slide over the image spatially, computing dot products)

Filters always extend the full depth of the input volume

(Filter의 dimension = input image의 dimension. 즉 bias의 수 = filter의 수)

단, output(activation map)의 dimension은 filter의 개수만큼이 나온다.

low-level features(edge) -> mid-level features(corner) -> High-level features(concepts) -> Linearly separable classifier

(simple to complex feature들을 stack 한다.)

filter는 특정 모양이 있는지 찾는다. 갈수록 더 정교하게 모양을 잡음.

ReLU를 거치면 어두워지는 이유 : Activation map을 상수로 치환한 뒤 0~255까지 mapping 하는데, 상수가 음수이면 ReLU에서 사라지게 되므로 0쪽 값이 없게 됨. 즉, pixel 값이 다운되어 이미지가 어둡다.

Pool : downsamples size of activation map

filter의 개수 = hyper parameter

Convolution layer는 fully connected와 달리 edge를 잘라내고, parameter를 공유하여 activation map을 생성한다.

(Parameter sharing, weight sharing)

stride : 필터 사이의 간격

output size = (원래 image의 사이즈 - 필터의 사이즈) / (stride) + 1

이때 계산이 안되면, padding을 통해 계산이 가능하도록 맞춰준다. 

padding : zero로 액자처럼 둘레를 채워주는 것.

padding을 통하면 filter의 size가 어떻든 input image의 size를 그대로 유지할 수 있음.

parameter의 수 : (filter의 size^2 * dimension + 1(bias))*filter의 개수

Activation map :

(1) each is connected to a small region in the input

(2) All of them share parameters

"5 * 5 filter" : "5 * 5 receptive field for each neuron"

filter의 개수만큼의 서로 다른 neuron이 looking at the same region in the input volume

 

Pooling layer :

(1) makes the representations smaller and more manageable. (down sample)

(2) operates over each activation map independently

ex) 224 * 224 * 64 -> 112 * 112 * 64 (depth는 그대로 둔다.)

Max pooling : 특정 인접 pixel 들에서 가장 큰 값만 추출하여 그 영역의 대푯값으로 삼아 size를 줄인다.

ex) 4 * 4 matrix를 2 * 2 filter, stride 2로 pooling 한 결과 : 2 * 2