[Classification] Ensemble - 정확도를 높이기 위한 방법

Ensemble

2개 이상의 classifier를 결합해서 정확도를 높이는 방법이다.

 

대표적인 ensemble method는 다음과 같다.

• Bagging
  • 같은 종류의 classifier를 조합해서 사용
  • accuracy = 각 classifier의 accuracy의 평균
• Boosting
  • 같은 종류의 classifier를 조합해서 사용
  • accuracy = 각 classifier의 accuracy의 weighted average
• Ensemble
  • 좁은 의미의 ensemble 
  • 다양한 종류의 classifier를 조합해서 사용 

 

---

Bagging

같은 종류의 classifier를 사용하고, 각 classifier가 동일한 비율을 가진다.

따라서 prediction과 accuracy을 각 classifier의 평균으로 계산한다.

 

Noise data가 있더라도 다수결에 의해 결정하므로 정확도가 높아진다.

Single classifier를 사용하는 것에 비해 종종 월등히 높은 정확도로를 보인다.

 

---

Boosting

같은 종류의 classifier를 사용하지만, 각 classifier가 다른 비율을 가진다.

Prediction과 accuracy를 weighted average로 계산한다.

 

처음에는 각 모델들에 대한 weight을 같게 둔다.

Testing을 하면서 틀린 모델에 대한 count를 증가시킨다.(weight을 감소시킨다.)

최종적으로 자주 틀리는 모델의 wieght은 작아진다.