[Classification] K-NN(K-Nearest Neighbor) Algorithm

K-NN Algorithm

= K-Nearest Neighbor Algorithm

 

Lazy learning 방법이다.

 

n-dimension space에서 거리를 기반으로 K개의 이웃을 보고 classification 하는 방법이다.

K개의 이웃한 sample들의 label 중 majority voting을 통해 class를 결정한다.

 

Distance를 기반으로 하기 때문에 distance function이 잘 정해져있어야 한다.

실제 결과에 영향이 적은 attribute를 제거한 dimension을 구성하는 것이 중요하다.

 

단순히 거리만 기반으로 비교하면 fair하지 않기 때문에 거리의 역수를 weight으로 해서 weighted voting을 할 수도 있다.

→ 거리의 역수의 합을 통해 비교