[Optimization] RMSProp

RMSProp

= Root Mean Square Propagation

 

Gradient에 smoothing을 하고 동시에 보폭을 조절하여 속도를 높인다.

Gradient descent에 비해 거의 항상 속도와 정확도가 좋다.

 

vs. Gradient Descent with Momentum

Gradient descent with momentum과 마찬가지로 smoothing을 한다.

그러나 gradient descent with momentum와 달리 속도도 높인다.

 

방법

dW와 db에 대한 제곱에 대해 exponentially weight를 건다.

이를 dW와 db에 나눠서 W와 b를 update 시켜준다.

이전의 값이 컸다면 S의 값도 커져서 보폭을 줄여주고, 반대로 이전의 값이 작았으면 S의 값도 작아져서 보폭을 늘려준다.

 

 

예시

아래와 같은 상황에서는 세로 방향으로는 클 필요 없고 가로 방향으로는 크면 좋다.