카테고리 338 Neural Network에서 Layer 수 vs. Unit 수 Layer 수 vs. Unit 수 깊은 네트워크와 얕지만 unit이 많은 네트워크 중 깊은 네트워크가 더 좋다. 네트워크가 깊을 수록 같은 연산을 수행할 때 필요한 unit의 수가 더 적어지기 때문이다. 즉, 네트워크가 깊을 수록 훨씬 적은 unit으로 복잡한 function을 구현할 수 있다. 단순히 unit의 수가 많다고 좋은 결과를 보장할 수 없다. 때문에 unit이 많은 네트워크 보다는 깊은 네트워크가 더 낫다. 다만, 네트워크가 깊어질 수록 gradient를 계산하는 것이 더 복잡해지고 오래걸릴 수 있다. 예시 아래와 같이 $y= x_1 \; XOR\; x_2 XOR\; ...\; XOR\; x_n$의 연산을 수행하기 위해 필요한 unit의 수는 다음과 같다. 깊은 네트워크 : $O(logn)$.. 2022. 4. 20. Deep Neural Network의 Vectorization Vectorization Layer가 몇개이든 동일한 방식으로 처리하면 된다. 아래와 같이 각 layer의 값들을 하나의 matrix로 표현하여 vectorization을 할 수 있다. Vectorization을 지원하는 메소드/함수를 사용하면 연산 속도가 월등히 빨라질 수 있다. Shape Vectorization을 했을 때 forward propagation에서의 matrix shape은 backward propagation의 matirx shape과 동일하다. $W^{[l]}$, $dW^{[l]}$ : $(n^{[l]}, n^{[l-1]})$ $b^{[l]}$, $b^{[l]}$ : $(n^{[l]}, 1)$ $Z^{[l]}$, $dZ^{[l]}$ : $(n^{[l]}, 1)$ $A^{[l]}$, .. 2022. 4. 20. Deep Neural Network (DNN) Deep Neural Network Representation 몇개의 layer로 이루어져있는지를 셀 때는 input layer를 포함하지 않는다. 따라서 몇 번째 layer인지를 셀 때도 input layer를 제외하고 카운트를 한다. Output layer만 가지고 있는 단층 구조의 network, 즉 input → output 형태의 네트워크는 single-layered라고 부른다. 아래와 같이 1 input layer, 1 hidden layer, 1 output layer로 구성된 네트워크는 2-layered network이라 한다. Deep Neural Network 주로 3개층 이상(2개 이상의 hidden layer)의 구조를 가진 neural network를 deep neural netw.. 2022. 4. 20. XOR with Neural Network XOR 문제 하나의 unit(linear regression)으로는 XOR 문제를 해결할 수 없다. 그래프를 어떻게 만들더라도 명확하게 구분해낼 수 없다. 해결 이를 해결하기 위해서 여러 개의 unit(multiple logistic regression)을 이용한다. 아래 3개의 unit들을 이용해서 해결할 수 있다. 구현 이러한 문제를 해결하기 위해서 W와 b를 학습해야 한다. 이를 위해서 앞에서와 마찬가지로 gradient descent algorithm을 이용할 수 있다. 각 input이 output에 미치는 영향을 계산해서 node의 weight을 조정해야 하지만, 너무 계산량이 많고 수학적으로도 어렵다. 이를 위해서 backpropagation algorithm을 사용한다. 2022. 4. 20. [Classification] Ensemble - 정확도를 높이기 위한 방법 Ensemble 2개 이상의 classifier를 결합해서 정확도를 높이는 방법이다. 대표적인 ensemble method는 다음과 같다. Bagging 같은 종류의 classifier를 조합해서 사용 accuracy = 각 classifier의 accuracy의 평균 Boosting 같은 종류의 classifier를 조합해서 사용 accuracy = 각 classifier의 accuracy의 weighted average Ensemble 좁은 의미의 ensemble 다양한 종류의 classifier를 조합해서 사용 Bagging 같은 종류의 classifier를 사용하고, 각 classifier가 동일한 비율을 가진다. 따라서 prediction과 accuracy을 각 classifier의 평균으로 계.. 2022. 4. 18. 이전 1 ··· 23 24 25 26 27 28 29 ··· 68 다음
