Computer Science/AL, ML 58 Convolution Convolution CNN의 C와 동일한 의미이다. Convolution : PSF(Point Spread Function) Convolution은 PSF(Point Spread Function)이다. PSF는 image filtering의 linear function으로, 말 그대로 점을 퍼뜨리는 기능을 수행한다. Notation Source iamge : $H$ Target image : $G$ PSF(filter, kernel, impulse response) : $F$ Convolution operator : $*$ 연산 적용하고자 하는 soruce image의 각 point를 중심으로 filter를 적용하여 target image로 변화시킨다. Filter의 적용 결과의 위치가 겹친다면 해당 .. 2022. 4. 21. Image Filtering Image Filtering Filter를 적용함으로써 source image를 target image로 변형시킨다. 주변의 값(local neighborhood의 값)을 이용해서 output value를 계산한다. 이를 이용하여 convolution을 수행할 수 있다. Output과 input image의 크기는 일반적으로 같게 설정한다. 종류 크게 linear filter와 non-linear filter로 나뉜다. Linear Image Filtering Neighboring pixel value와의 weighted sum/difference를 수행한다. 이를 통해 이미지의 smooth, denoise, texture, edge 등을 조절할 수 있다. 2022. 4. 21. [Optimization] Local Optima in Neural Network Solution Space 예전에는 solution space가 복잡하고 local optima가 많을 것이라고 생각하였다. 그러나 요즘에는 실제 solution space는 그렇게 복잡하지 않고 local optima가 많지 않다는 생각이 주를 이른다. (empirical) 오히려 plateaus 구간이 많다고 한다. Problem of Plateaus Plateaus는 평평한 구간으로 인해 gradient가 0에 가까운 경우(혹은 0)를 말한다. 이 구간에 접어들면 update가 오래걸리게 되어 learning이 느려진다. 이를 해결하기 위해서 좋은 optimization을 사용하는 것이 좋다. 2022. 4. 21. [Optimization] Learning Rate Decay Learning Rate Decay Learning Rate Learning rate는 gradient의 update step을 결정한다. 학습 정도에 따라서 learning rate를 변화시키는 것이 좋다. 학습 초기에는 큰 값을 가짐으로써 여기저기 돌아다니게 하고 학습을 어느정도 한 후에는 작은 값을 사용해서 정밀하게 보도록 한다. Learning Rate Decay Learning rate decay는 학습 정도에 따라 learning rate를 감소시킨다. 여러가지 방법이 존재한다. 2022. 4. 21. [Optimization] Adam Adam 현재 가장 널리 사용되는 optimization 기법이다. 특징 Gradient descent with momentum과 RMSProp이 결합된 형태이다. gradient descent with momentum gradient 자체에 smoothing을 걸어줌(exponentially weighted average) RMSProp gradient에 smoothing을 걸고 그것으로 gradient를 나눠줌 gradient가 커지지 않도록 함 어떤 상황에서도 gradient가 커지지 않도록 해서 전반적으로 유사한 gradient를 가지게 한다. 방법 $\beta_1$ : momentum에 대한 것 $\beta_2$ : RMSProp에 대한 것 (momentum + RMSProp) → bias co.. 2022. 4. 21. 이전 1 2 3 4 5 6 7 8 ··· 12 다음
