Early Stopping - Overfitting 방지

Early Stopping

Training iteration이 증가할 수록 training error는 무조건 내려가는 방향이다.

Training은 loss를 줄이는 방향으로 진행되기 때문이다.

 

그러나 dev/test set error는 단순히 감소하는 경향을 보이지 않는다.

감소하다가 다시 오를수도 멈출수도 있다.

 

Iteration 수가 너무 적으면 high bias하고, 너무 많으면 high variance(overfitting) 할 수 있다.

 

따라서 training error가 작고 dev/test error도 작은 적당한 지점에서 training을 stop해야 한다.

 

데이터셋이 많이 없을 때 많이 사용하는 기법이다.