Deep Neural Network (DNN)

Deep Neural Network

Representation

몇개의 layer로 이루어져있는지를 셀 때는 input layer를 포함하지 않는다.

따라서 몇 번째 layer인지를 셀 때도 input layer를 제외하고 카운트를 한다.

 

Output layer만 가지고 있는 단층 구조의 network, 즉 input → output 형태의 네트워크는 single-layered라고 부른다.

 

아래와 같이 1 input layer, 1 hidden layer, 1 output layer로 구성된 네트워크는 2-layered network이라 한다.

 

Deep Neural Network

주로 3개층 이상(2개 이상의 hidden layer)의 구조를 가진 neural network를 deep neural network이라 한다.

최근에는 neural network의 구조가 복잡해짐에 따라 3개층 이상의 구조도 shallow network이라 보기도 한다.

 

 

Notation

• $x$ : network의 input
• $\hat{y}$ : network의 prediction (예측 결과)
• $a^{[l]}$ : $l$-th layer의 activations (activation function의 결과)
• $L$ : the number of layers
• $n^{[l]}$ : $l$-th layer의 unit 수