본문 바로가기

Computer Science 254

[CNN] 더 나은 모델을 위한 테크닉들 더 나은 모델을 위한 테크닉들 Data augmentation 원본 데이터를 변형시킴으로써 데이터를 늘리는 기법이다. 데이터의 변형이 너무 과하면 안되고 실제 문제에 있을 법한 수준으로 변형이 이루어져야 한다. Color shifting 색조를 약간 바꿔서 데이터를 늘린다. Implementing distortions during training Training 중에 distortion을 한다. ensembling 여러 개의 네트워크(모델)을 사용해서 그 결과의 평균을 취한다. multi-crop at test time input이 주어지면 조작을 가해서 여러 개의 결과를 만들어낸다. 2022. 6. 16.
[Generative Model] 다양한 GAN DCGAN GAN의 변형으로 그림을 만드는데 주로 이용한다. 구조 Generator transposed convolution으로 구성 convolution operation 뒤에 batch norm 적용 hidden layer - ReLU / output layer - tanh Discriminator strided convolution으로 구성 convolution operation 뒤에 batch norm 적용 hidden layer - LeakyRelu 천천히 변하는 이미지 Z가 조금 바뀌면 결과물도 조금 바뀌는 특성을 이용한다. Random noise를 2개 생성하고 그 2개에 대한 interpolation을 input으로 넣는다. Image에 대한 interpolation이 아닌 z(input).. 2022. 6. 16.
[Generative Model] GAN : Generative Adversarial Networks GAN (Generative Adversarial Networks) Image Generation 가우스안, uniform 등의simple distribution으로부터 random noise Z를 뽑는다. 뽑은 샘플(random vector)를 이미지로 변환한다. → neural network 이용 GAN의 구성 2개의 네트워크로 구성되어있다. generator(G) random noise를 통해 이미지를 생성한다. discriminator의 결과가 1이 나오도록 하는 이미지를 생성하도록 학습을 시킨다. discriminator (D) classifier 입력받은 이미지가 그림인지 진짜 이미지인지 구별한다. GAN의 학습 G의 목표는 D를 속이는 것이고 D의 목표는 G를 찾는 것이다. 이를 위해 D의 .. 2022. 6. 16.
Generative Model Generative Model Supervised Learning vs. Unsupervised Learning Supervised learning 데이터 + 데이터의 레이블을 주고 모델을 학습시키는 방법 데이터 수집은 어렵지만 학습은 상대적으로 쉬움 예시 Classification : class 예측 → discrete result Regression : 얼마나 맞고 얼마나 틀린지 예측 → continuous result Object detection Semantic segmentation : 사진에 있는 모든 픽셀에 대해 예측 Image captioning Unsupervised learning 레이블이 필요없기 때문에 학습 데이터 수집이 쉬워진다. (cost가 낮다.) 학습이 어렵다. 예시 clus.. 2022. 6. 16.
[CNN] Model Understand Visualize Filter 1st Layer의 Filter Visualization CNN의 filter를 시각화하더라도 필터 자체의 의미를 알기는 어렵다. 따라서 feature map을 visualization을 하는 것이 좋다. Last Layer의 Filter Visualization CNN의 lst layer는 주로 FC(Fully Connected) layer이다. 많은 이미지에 대해 적용시키면 많은 feature vector가 뽑혀져 나온다. kNN Last layer로부터 나온 featuer vector를 시각화해서 pixel space에서의 nearest neighbor 끼리 묶으면 제법 유사한 feature를 지닌 그림이 묶이는 것을 확인할 수 있다. Dimension Reductio.. 2022. 6. 16.

티스토리툴바