[Optimization] Gradient Descent with Momentum

Gradient Descent with Momentum

보통 gradient descent보다 속도가 더 빠르다.

 

문제

Gradient descent는 최적의 길을 바로가지 못하고 zig-zag로 돌아가게 된다.

 

해결

Gradient descent with momentum은 gradient에 smoothing을 건다.

 

 

Initial Gradient Problem

initial gradient 문제가 발생할 수 있다.

그러나 bias correction을 할 필요 없다.

 

주로 training iteration 수 (epoch)는 주로 크게 잡아서 초기값이 큰 영향을 주지 않기 때문이다.