XOR with Neural Network

XOR 문제

하나의 unit(linear regression)으로는 XOR 문제를 해결할 수 없다.

그래프를 어떻게 만들더라도 명확하게 구분해낼 수 없다.

 

해결

이를 해결하기 위해서 여러 개의 unit(multiple logistic regression)을 이용한다.

아래 3개의 unit들을 이용해서 해결할 수 있다.

 

구현

이러한 문제를 해결하기 위해서 W와 b를 학습해야 한다.

이를 위해서 앞에서와 마찬가지로 gradient descent algorithm을 이용할 수 있다.

 

각 input이 output에 미치는 영향을 계산해서 node의 weight을 조정해야 하지만, 너무 계산량이 많고 수학적으로도 어렵다.

이를 위해서  backpropagation algorithm을 사용한다.