protocol : a language interpreted by network software set of rules and formats for communicating. components - format of the message(syntax & semantic), order of message exchange, local actionlayer : abstractioni of different levels of related functionality. benefit - decomposition, modularity(개별 단위. 모듈성) encapsulationdecomposition : breaks down complex problems (simple service들이 결합됨.), abstract..
communication : 정보 교환 communication network : 2개 이상의 entity들이 정보를 교환 element of network (1) node : store and process information (2) link : "physical" medium connecting nodes. node가 연결되어 있는 방법을 topology라고 함. 대표적으로 point to point와 multiple access가 있음. Link 기술 : twisted pair -> coaxial cable -> terrestrial microwave -> satellite microwave -> optical fiber(전반사) network : a set of communicating node..
Optimization : Problems with SGD (1) Loss function has condition number : ratio of largest to smallest singular value of the Hessian matrix is large (sensitive to one direction and not sensitive to the other direction) very slow progress along shallow dimension, jitter along steep direction. (2) local minima and saddle point에서 zero gradient가 되어 gradient descent가 stuck 된다. 게다가 고차원이 될수록 saddle poi..
[디지털신호처리] Discrete Time Signal Processing Chapter 2 내용 정리 (1)
책 : Discrete Time Signal Processing 3rd Edition - Alan V. Oppenheim, Ronald W. Schafer impulse function = delta function = unit impulse (δ[n]) δ[n] = 1 (n=0) unit step은 impulse function의 합 (-무한대 ~ n) (u[n]) u[n] = 1 (n>=0) discrete signal : sequence of numbers sample : individual signal value at an index real exponential : x[n] = Aa^n sinusoidal : x[n] = cos(w0n+Φ) Properties of unit impulse (d[..
[Deep Learning] cs231n 6강 내용 정리 (1)
Activation Function (1) sigmoid + squashes numbers to range [0, 1] - saturated neurons kill the gradients - sigmoid outputs are not zero centered (각 gradient가 한 방향으로 밖에 못 움직인다.) - exp() is a bit compute expensive (minor 한 문제) (2) tanh + squashes numbers to range [-1, 1] + zero-centered - kill gradients when saturated (3) ReLU + Does not saturate (in positive region) + very computationally effici..
Hierarchical organization : (1) simple cells : response to light orientation (modifiable parameters) (2) complex cells : response to light orientation and movement (perform pooling) (3) hypercomplex cells : response to movement with an end point (corner, block) Fully connected layer : 32*32*3 image 가 있으면 stretch to 3072*1 (stretch all the pixels) convolutional map의 output들을 마지막에 연결한다. activation..
Computational graph : 각 연산을 node로 나타내서 복잡한 연산의 모든 절차를 그래프로 표현하는 방법. -> analytic AlexNet : Convolutional Network chain rule : df/dy = df/dq * dq/dy로 바꿔서 계산할 수 있는 것. 앞 node의 local gradient를 현재 node의 gradient를 계산할 때 이용한다. 즉, 현재 node의 gradient는 앞 node의 연산을 미분한 식에 현재 node의 값을 넣어 계산한 값 * 앞 node의 gradient 값이다. 앞 node의 연산이 +면 앞 node의 gradient를 그대로 현재 node의 gradient 값으로 전달해준다. 물론, node들을 group 지어서 하나의 ga..
parametic approach : linear classifier (change image to vector) f(x, W) = Wx + b b : bias, 같은 score일 때 가중치를 부여한다. learning template : 각 category에 해당하는지 판단할 때 바탕이 되는 이미지. learning template가 W에 해당함. 이때 W에 곱해지는 x는 pixel 값이라 최댓값이 정해져 있기 때문에 W를 키우지 않고 bias를 두어 가중치를 부여한다. Loss function (=cost function) : optimization. quantify badness of any W. Multiclass SVM loss (=Hinge Loss) : true class의 score를 si..