[Optimization] Learning Rate Decay

Learning Rate Decay

Learning Rate

Learning rate는 gradient의 update step을 결정한다.

 

학습 정도에 따라서 learning rate를 변화시키는 것이 좋다.

• 학습 초기에는 큰 값을 가짐으로써 여기저기 돌아다니게 하고
• 학습을 어느정도 한 후에는 작은 값을 사용해서 정밀하게 보도록 한다.

 

Learning Rate Decay

Learning rate decay는 학습 정도에 따라 learning rate를 감소시킨다.

 

여러가지 방법이 존재한다.