[Batch Normalization] Covariate Shift Problem

Covariate Shift Problem

Training set과 dev/test set의 distribution이 비슷하지 않을 경우 covariate shift problem이 발생한다.

 

아래처럼 검은색 고양이 사진으로 training한 후 그렇지 않은 고양이 사진으로 test를 하면 정확도가 낮아진다.

 

Solution : Batch Normalization

Batch normalization을 이용해서 covariate shift problem을 어느정도 해결할 수 있다.

 

Batch normalization을 사용하지 않았을 때 $W^{[3]}$와 $b^{[3]}$은 $a^{[2]}$에 대해 맞춰서 학습을 한다.

그런데 문제가 바뀌지 않았음에도 다음 sample에 대해서는 다른 값이 들어오게 된다.

 

반면 batch normalization을 사용하면 normalized 된 $a^{[2]}$의 값이 들어오기 때문에 $W^{[3]}$와 $b^{[3]}$ 입장에서는 항상 유사한 값이 들어온다.

이를 통해 $W^{[3]}$와 $b^{[3]}$는 어느정도 일반화된 값에 대해 학습할 수 있다.

 

이렇게 학습함으로써 covariate shift problem을 어느정도 해결할 수 있는 것이다.