본문 바로가기

카테고리 338

Normalization Normalization 문제 특정 값이 엄청나게 클 때, 그것에 붙어있는 w는 조금만 커져도 activation이 크게 바뀐다. Input Normalization Training set에 대해 normalization을 했으면 test set에 대해서도 동일한 normalization을 해야 한다. 가장 많이 사용되는 normalization 방법은 정규분포화이다. input에 평균만큼 뺀다. input에 분산으로 나눠준다. 2022. 4. 20.
Weight Initialization - Gradient Problem 방지 Weight Initialization Vanishing/Exploding Gradients 네트워크가 매우 깊은 경우 깊게 들어갈 수록 가해지는 수가 많기 때문에 vanishing/exploding gradient 문제가 발생하기 쉽다. 아래와 같이 모든 w가 같다고 가정했을 때 네트워크가 깊어질수록 y가 쉽게 너무 매우 커질수도 너무 매우 작아질 수도 있다. Gradient도 마찬가지로 네트워크가 깊어질 수록 gradient가 매우 작아지거나 너무 매우 커질 수 있다. 끝단(back의 초입부)에는 연산 횟수가 적기 때문에 문제가 발생할 가능성이 적고 깊어질 수록 문제가 발생할 가능성이 크다. 따라서 적당한 w을 유지해야 한다. Weight Initialization Input의 dimension(개수.. 2022. 4. 20.
Early Stopping - Overfitting 방지 Early Stopping Training iteration이 증가할 수록 training error는 무조건 내려가는 방향이다. Training은 loss를 줄이는 방향으로 진행되기 때문이다. 그러나 dev/test set error는 단순히 감소하는 경향을 보이지 않는다. 감소하다가 다시 오를수도 멈출수도 있다. Iteration 수가 너무 적으면 high bias하고, 너무 많으면 high variance(overfitting) 할 수 있다. 따라서 training error가 작고 dev/test error도 작은 적당한 지점에서 training을 stop해야 한다. 데이터셋이 많이 없을 때 많이 사용하는 기법이다. 2022. 4. 20.
[Regularization] Dropout Dropout 큰 네트워크에서 랜덤하게 unit들을 제거함으로써 복잡한 네트워크를 단순화한다. 매 training 마다 랜덤하게 제거하기 때문에 일부 unit에 역할이 뭉치지 않는다. 이를 통해 overfitting을 줄일 수 있다. 원리 각 노드가 언제든 제거될 수 있기 때문에 각 노드들이 중요한 역할을 하지 않게 된다. 즉, 역할이 한 곳에 집중되지 않고 나눠서 수행되는 것이다. output layer 쪽을 제거하면 output이 정상적으로 나오지 않을 수 있기 때문에 끝단으로 갈수록 제거하지 않는다. Pseudo Code using Inverted Dropout Inverted dropout을 이용하여 dropout regularization을 구현할 수 있다. 단, test 시에는 전부 다 사용하.. 2022. 4. 20.
Regularization - Overfitting 해소 Regularization Regularization은 overfitting을 막고 variance를 낮춘다. 원리 큰 네트워크로 풀려다가 overfitting이 됬으므로 이 네트워크를 작게 만들어준다. Regularization은 w를 0에 가깝도록 만들어서 일부 unit을 제거되게(되는 것처럼)하여 네트워크를 축소시킨다. 어떤 unit을 제거하고 어떤 unit을 남길지는 네트워크가 알아서 결정한다. 상세 원리 방법 Loss function에 추가적인 항(regularization term)을 둔다. 이를 통해 원래 문제를 잘 풀면서 웬만하면 w가 0에 가까워지도록 한다. 우리가 가지는 b의 개수가 w의 개수보다 작기 때문에 마지막 항의 영향이 미미해져서 주로 마지막 항은 생략한다. Regulariza.. 2022. 4. 20.

티스토리툴바