Optimization

Optimization

배경

Machine learning은 매우 empirical process(iterative process)이다.

때문에 모델을 여러번 train 시켜보아야 한다.

 

딥러닝에서는 big data를 사용해서 어느정도 문제를 해결할 수 있다.

 

때문에 learning speed를 최대한 줄이는 것이 여러번 훈련시키거나 빅데이터를 사용하는데 있어서 필수적이다.

 

장점

Neural network의 learning speed를 더 빠르게 한다.

 

종류

주로 exponentially weighted average 을 기반으로 사용한다.

• gradient descent with momentum
• RMSProp
• adam