카테고리 338 [RNN] Vanilla RNN Vanilla RNN : Graphical Model Vanilla RNN은 같은 weight을 가진 같은 function을 사용한다. Function은 입력 2개를 가지고 선형변환과 비선형 변환을 수행한다. 연산을 쭉 순차적으로 수행하다가 원하는 곳에서 ht를 transform하면 yt가 도출된다. 문제점 BPTT : backpropagation에서 너무 많은 경우의 수가 존재 exploding/vanishing gradient problem time series를 다룰 때 예전 정보를 까먹는 경향이 존재 Backpropagation Through Time (BPTT) 문제 RNN은 가변 길이의 output을 낼 수 있는데 각각의 출력 마다 loss가 존재한다. 엄청 많은 경우의 수를 고려해.. 2022. 6. 15. RNN : Recurrent Neural Network RNN (Recurrent Neural Network) 배경 DNN이나 CNN은 input의 길이가 고정된 이후 모델 생성과 이용이 가능하다. 자연어 처리 등에서 input의 길이가 고정된다는 것은 현실적이지 않다. RNN은 임의의 길이를 input으로 받아들여 처리할 수 있다. 특징 RNN은 임의의 길이를 input으로 받아들여서 임의의 길이의 output을 낼 수 있다. 반드시 흐름에 따라 처리되는 것이 아니라 bidirectional하게 구성할 수 있다. Weight Sharing (recurrent) Unit 간 weight을 공유한다. 각 unit 별로 weight을 다르게 사용하면 input개수(unit 개수)만큼의 weight을 가지고 있어야 한다. RNN은 weight을 공유함으로써 이 문.. 2022. 6. 15. [CNN] 다양한 CNN 다양한 CNN Practical하게 유용한 결과를 낳는 CNN 모델들이 있다. LeNet-5 : 요즘과 비슷한 구조 AlexNet : 처음으로 CNN을 이용하여 winner가 됨 ZFNet : AlexNet의 응용 VGG : 10 layer를 넘김 GoogleNet : inception module → 다양한 filter를 사용 ResNet : rasidual connection을 이용하여 네트워크를 깊게 만듦 DenseNet LeNet-5 (1998) 0~9까지의 숫자 이미지가 들어오면 맞추는 multi-lable classification의 기능을 수행한다. 전체적인 구조는 CONV + FC로 요즘 사용하는 것과 유사하다. 다만 batch normalization이나 ReLU 등의 테크닉들은 사용되지.. 2022. 6. 15. [Recommendation System] Collaborative Filtering Collaborative Filtering 나(activate user)와 취향이 비슷한 사람들(collaborate)들이 공통적으로 좋아할 만한 아이템을 추천한다. Data 표현 : Rating Matrix Rating matrix를 이용하여 데이터를 표현할 수 있다. row : user, column : item으로 하여 user가 item을 좋아하는 점수를 표현한다. 구매 이력이 없는 경우 rating을 할 수 없기 때문에 empty(missing rate)로 남긴다. 알고리즘 Neighbor 찾기 : active user c와 취향이 비슷한 user group(neighbor)을 찾는다. rc,s 추정 : 이웃들의 점수에 기반해서 내가 그 아이템에 점수를 어떻게 줄 것인지 추정한다. 추.. 2022. 6. 13. 추천 시스템 (Recommendation System) Recommendation System 사용자가 과거에 평가/구매/검색했던 history를 이용해서 사용자의 취향을 찾아내고 사용자가 좋아할 만한 아이템을 추천하는 시스템이다. 장점 user side : 자신이 원하는 것을 고르는데 시간과 노력이 준다. company side : 홍보 효과가 있으며 매출이 증가한다. computer scientist side : 기술을 발전시키거나 신기술을 개발할 수 있다. 종류 Content-based approach content : 아이템의 속성 (예 : 영화의 content : 장르, 감독, 영화 길이 등) 비슷한 content를 가지고 있는 아이템들을 추천한다. 과거에 사용자가 구매했던 item list로부터 content를 꺼내서 결합하고, 사용자가 보지 않은.. 2022. 6. 13. 이전 1 ··· 5 6 7 8 9 10 11 ··· 68 다음
