[네트워크 성능] Bias, Variance

Bias, Variance

Bias와 variance는 tradeoff 관계를 가진다.

 

둘 다 안좋지만 보통 variance 경우가 더 안좋다.

• High bias
  • underfitting
  • 모델이 너무 단순해서 문제를 못푸는 경우이다.
• High variance
  • overfitting
  • 모델이 너무 복잡해서 새로운 sample에 대해 문제를 잘 못푸는 경우이다.
  • overfitting이 되면 이 training set에 대해서는 잘 풀지만 새로운 문제에 대해서는 잘 못풀게 된다.

 

 

Error와의 관계

• bais : train set에 대한 error가 클수록 bias 하다고 한다.
• variance : train set에 대한 error와 development set에 대한 erorr의 차이가 클수록 variance 하다고 한다.

 

Machine Learning의 방법

• High bias 문제가 발생하면
  • 문제를 못푸무로 덩치를 키워야 한다.
  • network를 더 키우고 train 횟수를 더 증가시킨다.
  • 단, overfitting이 발생할 가능성이 높아진다.
• High variance 문제가 발생하면
  • 데이터를 늘려서 외우지 못하게 한다.
  • 더 많은 데이터를 추가하고 regularization을 한다.
  • 단, 돈과 시간이 많이 든다.

 

요즘

Bias와 variance의 trade-off 관계는 traditional machine learning에서 중요한 문제였다.

이전에는 최적의 지점을 찾는 것이 중요했다.

 

그러나 딥러닝으로 넘어오고 데이터셋의 양이 크게 증가하며 이제 큰 문제가 되지는 않는다.