Normalization

Normalization

문제

특정 값이 엄청나게 클 때, 그것에 붙어있는 w는 조금만 커져도 activation이 크게 바뀐다.

 

 

Input Normalization

Training set에 대해 normalization을 했으면 test set에 대해서도 동일한 normalization을 해야 한다.

 

가장 많이 사용되는 normalization 방법은 정규분포화이다.

1. input에 평균만큼 뺀다.
2. input에 분산으로 나눠준다.