Computer Science/AL, ML 58 [CNN] Image Captioning & Attention Image Captioning 주어진 image에 대해 묘사하는 string을 만들어내는 작업을 image captioning이라 한다. 이를 위해 CNN + RNN을 결합하여 모델을 구성한다. CNN을 통해서 visual information을 뽑아내어 feature vector를 만들고, RNN을 이용하여 그 정보들을 합쳐서 단어 sequence를 만들어 내는 것이다. CNN + RNN의 단점 그런데 이 경우 RNN은 배경, 몸짓, 특징 등 세부적인 것을 보고 판단하지 않고 전체 이미지를 한 번에 살펴보고 판단하게 된다. 더 local하게 살펴본 결과를 얻기 위해 attention이라는 기법을 사용하게 된다. Attention Image captioning을 위해 자주 사용되는 기법이다. Image의.. 2022. 6. 16. [RNN] GRU (Gated Recurrent Unit) GRU (Gated Recurrent Unit) RNN의 한 종류이다. 별도의 memory cell을 두지 않고 구현하여 LSTM보다 cost가 절반 정도로 준다. 특징 2개의 gate가 존재한다. Forget gate와 input gate가 하나의 update gate로 대체된다. h를 c처럼 사용한다. Memory cell C가 따로 존재하지 않는다. 2022. 6. 16. [RNN] LSTM (Long Short-Term Memory Network) LSTM (Long Short-Term Memory Networks) RNN 종류 중 하나이다. 3종류의 메모리를 배치함으로써 vanishing/exploding gradient problem과 이전의 정보를 까먹는 문제를 모두 해결하였다. Long-term dependency를 유지하며 학습이 가능하다. Memory Cell Memory와 gate로 구성되며 3 종류가 존재한다. Gate의 특징 Output range : 0~1 기능 : filtering function 연산 : pointwise multiplication 종류 input gate 현재 메모리에서 어떤 부분을 사용할지 결정 1에 가까운 값은 사용하고 0에 가까운 값은 사용하지 않는다. forget gate 과거의 정보와 결합하여 메모리.. 2022. 6. 16. [RNN] Vanilla RNN Vanilla RNN : Graphical Model Vanilla RNN은 같은 weight을 가진 같은 function을 사용한다. Function은 입력 2개를 가지고 선형변환과 비선형 변환을 수행한다. 연산을 쭉 순차적으로 수행하다가 원하는 곳에서 $h_t$를 transform하면 $y_t$가 도출된다. 문제점 BPTT : backpropagation에서 너무 많은 경우의 수가 존재 exploding/vanishing gradient problem time series를 다룰 때 예전 정보를 까먹는 경향이 존재 Backpropagation Through Time (BPTT) 문제 RNN은 가변 길이의 output을 낼 수 있는데 각각의 출력 마다 loss가 존재한다. 엄청 많은 경우의 수를 고려해.. 2022. 6. 15. RNN : Recurrent Neural Network RNN (Recurrent Neural Network) 배경 DNN이나 CNN은 input의 길이가 고정된 이후 모델 생성과 이용이 가능하다. 자연어 처리 등에서 input의 길이가 고정된다는 것은 현실적이지 않다. RNN은 임의의 길이를 input으로 받아들여 처리할 수 있다. 특징 RNN은 임의의 길이를 input으로 받아들여서 임의의 길이의 output을 낼 수 있다. 반드시 흐름에 따라 처리되는 것이 아니라 bidirectional하게 구성할 수 있다. Weight Sharing (recurrent) Unit 간 weight을 공유한다. 각 unit 별로 weight을 다르게 사용하면 input개수(unit 개수)만큼의 weight을 가지고 있어야 한다. RNN은 weight을 공유함으로써 이 문.. 2022. 6. 15. 이전 1 2 3 4 5 ··· 12 다음
