[Deep Learning] cs231n 2강 내용 정리 (1)

hyper parameter : 학습하는 것이 아닌 지정해주는 것.

optimize : random search. genetic algorithm 등을 시도 중.

Regularization은 parameter가 실수라서 간단하다. -> gradient가 가능.

하지만, 실수가 아닌 경우 (layer-정수) 에는 불연속적이라 어렵다. optimize가 Gradient로 불가능. -> integral gradient를 이용.

어떤 모델을 선택하는지도 Hyper-parameter라고 할 수 있다.

binary classification에서는 tie라고 부르는 '동률' 즉, 어디에도 속하지 않는 그룹이 나오지 않는다.

하지만 multiclass면 tie가 생긴다. K-NN에서  K가 홀수면 짝수보단 동률이 나올 가능성이 적기 때문에 K를 홀수로 사용한다.

L1 distance : Manhattan distance

L2 distance : Euclidean distance.

curse of dimensionality : space를 dense 하게 채워야 하는데, 차원이 커지면 채우기 너무너무 어려움. 차원의 exponential에 비례.

k-fold cross validation : train data를 그룹으로 나눔. 그리고 validation으로 이용한 뒤 average를 구한다. (모든 fold에 대해서 구한다.)