본문 바로가기

카테고리 335

[Generative Model] 다양한 GAN DCGAN GAN의 변형으로 그림을 만드는데 주로 이용한다. 구조 Generator transposed convolution으로 구성 convolution operation 뒤에 batch norm 적용 hidden layer - ReLU / output layer - tanh Discriminator strided convolution으로 구성 convolution operation 뒤에 batch norm 적용 hidden layer - LeakyRelu 천천히 변하는 이미지 Z가 조금 바뀌면 결과물도 조금 바뀌는 특성을 이용한다. Random noise를 2개 생성하고 그 2개에 대한 interpolation을 input으로 넣는다. Image에 대한 interpolation이 아닌 z(input).. 2022. 6. 16.
[Generative Model] GAN : Generative Adversarial Networks GAN (Generative Adversarial Networks) Image Generation 가우스안, uniform 등의simple distribution으로부터 random noise Z를 뽑는다. 뽑은 샘플(random vector)를 이미지로 변환한다. → neural network 이용 GAN의 구성 2개의 네트워크로 구성되어있다. generator(G) random noise를 통해 이미지를 생성한다. discriminator의 결과가 1이 나오도록 하는 이미지를 생성하도록 학습을 시킨다. discriminator (D) classifier 입력받은 이미지가 그림인지 진짜 이미지인지 구별한다. GAN의 학습 G의 목표는 D를 속이는 것이고 D의 목표는 G를 찾는 것이다. 이를 위해 D의 .. 2022. 6. 16.
Generative Model Generative Model Supervised Learning vs. Unsupervised Learning Supervised learning 데이터 + 데이터의 레이블을 주고 모델을 학습시키는 방법 데이터 수집은 어렵지만 학습은 상대적으로 쉬움 예시 Classification : class 예측 → discrete result Regression : 얼마나 맞고 얼마나 틀린지 예측 → continuous result Object detection Semantic segmentation : 사진에 있는 모든 픽셀에 대해 예측 Image captioning Unsupervised learning 레이블이 필요없기 때문에 학습 데이터 수집이 쉬워진다. (cost가 낮다.) 학습이 어렵다. 예시 clus.. 2022. 6. 16.
[CNN] Model Understand Visualize Filter 1st Layer의 Filter Visualization CNN의 filter를 시각화하더라도 필터 자체의 의미를 알기는 어렵다. 따라서 feature map을 visualization을 하는 것이 좋다. Last Layer의 Filter Visualization CNN의 lst layer는 주로 FC(Fully Connected) layer이다. 많은 이미지에 대해 적용시키면 많은 feature vector가 뽑혀져 나온다. kNN Last layer로부터 나온 featuer vector를 시각화해서 pixel space에서의 nearest neighbor 끼리 묶으면 제법 유사한 feature를 지닌 그림이 묶이는 것을 확인할 수 있다. Dimension Reductio.. 2022. 6. 16.
[CNN] Image Captioning & Attention Image Captioning 주어진 image에 대해 묘사하는 string을 만들어내는 작업을 image captioning이라 한다. 이를 위해 CNN + RNN을 결합하여 모델을 구성한다. CNN을 통해서 visual information을 뽑아내어 feature vector를 만들고, RNN을 이용하여 그 정보들을 합쳐서 단어 sequence를 만들어 내는 것이다. CNN + RNN의 단점 그런데 이 경우 RNN은 배경, 몸짓, 특징 등 세부적인 것을 보고 판단하지 않고 전체 이미지를 한 번에 살펴보고 판단하게 된다. 더 local하게 살펴본 결과를 얻기 위해 attention이라는 기법을 사용하게 된다. Attention Image captioning을 위해 자주 사용되는 기법이다. Image의.. 2022. 6. 16.

티스토리툴바