[Optimization] Local Optima in Neural Network

Solution Space

예전에는 solution space가 복잡하고 local optima가 많을 것이라고 생각하였다.

그러나 요즘에는 실제 solution space는 그렇게 복잡하지 않고 local optima가 많지 않다는 생각이 주를 이른다. (empirical)

 

오히려 plateaus 구간이 많다고 한다.

 

Problem of Plateaus

Plateaus는 평평한 구간으로 인해 gradient가 0에 가까운 경우(혹은 0)를 말한다.

이 구간에 접어들면 update가 오래걸리게 되어 learning이 느려진다.

 

이를 해결하기 위해서 좋은 optimization을 사용하는 것이 좋다.