Neural Network에서 Layer 수 vs. Unit 수

Layer 수 vs. Unit 수

깊은 네트워크와 얕지만 unit이 많은 네트워크 중 깊은 네트워크가 더 좋다.

 

네트워크가 깊을 수록 같은 연산을 수행할 때 필요한 unit의 수가 더 적어지기 때문이다.

즉, 네트워크가 깊을 수록 훨씬 적은 unit으로 복잡한 function을 구현할 수 있다.

 

단순히 unit의 수가 많다고 좋은 결과를 보장할 수 없다.

때문에 unit이 많은 네트워크 보다는 깊은 네트워크가 더 낫다.

 

다만, 네트워크가 깊어질 수록 gradient를 계산하는 것이 더 복잡해지고 오래걸릴 수 있다.

 

예시

아래와 같이 $y= x_1 \; XOR\; x_2 XOR\; ...\; XOR\; x_n$의 연산을 수행하기 위해 필요한 unit의 수는 다음과 같다.

• 깊은 네트워크 : $O(logn)$
• 얕은 네트워크(2-layered) : $O(2^n)$