Computer Science/AL, ML 58 [Regularization] Dropout Dropout 큰 네트워크에서 랜덤하게 unit들을 제거함으로써 복잡한 네트워크를 단순화한다. 매 training 마다 랜덤하게 제거하기 때문에 일부 unit에 역할이 뭉치지 않는다. 이를 통해 overfitting을 줄일 수 있다. 원리 각 노드가 언제든 제거될 수 있기 때문에 각 노드들이 중요한 역할을 하지 않게 된다. 즉, 역할이 한 곳에 집중되지 않고 나눠서 수행되는 것이다. output layer 쪽을 제거하면 output이 정상적으로 나오지 않을 수 있기 때문에 끝단으로 갈수록 제거하지 않는다. Pseudo Code using Inverted Dropout Inverted dropout을 이용하여 dropout regularization을 구현할 수 있다. 단, test 시에는 전부 다 사용하.. 2022. 4. 20. Regularization - Overfitting 해소 Regularization Regularization은 overfitting을 막고 variance를 낮춘다. 원리 큰 네트워크로 풀려다가 overfitting이 됬으므로 이 네트워크를 작게 만들어준다. Regularization은 w를 0에 가깝도록 만들어서 일부 unit을 제거되게(되는 것처럼)하여 네트워크를 축소시킨다. 어떤 unit을 제거하고 어떤 unit을 남길지는 네트워크가 알아서 결정한다. 상세 원리 방법 Loss function에 추가적인 항(regularization term)을 둔다. 이를 통해 원래 문제를 잘 풀면서 웬만하면 w가 0에 가까워지도록 한다. 우리가 가지는 b의 개수가 w의 개수보다 작기 때문에 마지막 항의 영향이 미미해져서 주로 마지막 항은 생략한다. Regulariza.. 2022. 4. 20. [네트워크 성능] HyperParameter HyperParameter Parameter, Hyperparameter Neural network를 effective하게 만드는 데에는 network의 parameter뿐만 아니라 hyperparamater의 값도 영향을 미친다. parameter 알고리즘이 찾아주는 파라미터 training을 통해 학습이 되는 것 $W$, $b$ hyperparameter 알고리즘이 찾지 못하는 파라미터 learning rate, iteration 수 등 Hyperparameter 수많은 hyperparameter가 존재하지만, 불행 중 다행으로 모든 hyperparameter가 같은 우선순위를 가지는 것은 아니다. Hyperparameter 탐색 Grid vs. Randomly Grid처럼 몇 개의 조합을 정해서 탐.. 2022. 4. 20. [네트워크 성능] Bias, Variance Bias, Variance Bias와 variance는 tradeoff 관계를 가진다. 둘 다 안좋지만 보통 variance 경우가 더 안좋다. High bias underfitting 모델이 너무 단순해서 문제를 못푸는 경우이다. High variance overfitting 모델이 너무 복잡해서 새로운 sample에 대해 문제를 잘 못푸는 경우이다. overfitting이 되면 이 training set에 대해서는 잘 풀지만 새로운 문제에 대해서는 잘 못풀게 된다. Error와의 관계 bais : train set에 대한 error가 클수록 bias 하다고 한다. variance : train set에 대한 error와 development set에 대한 erorr의 차이가 클수록 variance 하.. 2022. 4. 20. [네트워크 성능] Dataset Machine Learning & Dataset 네트워크가 좋은 성능을 내기 위해서는 데이터셋의 구성이 잘 되어야 한다. 데이터셋을 잘 선택하고 구성하면 네트워크의 성능과 training 속도를 매우 높일 수 있다. Dataset 종류 training set development set = validation set test set Issue disjoint (no overlap) 구성할 때 주의할 점은 training/development, test set 간에 중복되는 set(sample)이 존재해서는 안된다. 중복되는 sample이 있을 경우 overfitting이 발생할 수 있다. mismatched train/test distribution training set과 dev/test의 distri.. 2022. 4. 20. 이전 1 ··· 5 6 7 8 9 10 11 12 다음
