[Week 2 - Day 5] DL Basic - Generative Models

1. 강의 내용

Generative models 생성 모델

Generation : 만들어 내는 것

Density estimation : 어떤 이미지가 주어졌을 때 구분 (anomaly detection)

Unsupervised representation learning : feature learning

n개의 변수를 표한하기 위해서는 n-1개 파라미터 수 필요

가정 ) n개의 픽셀들이 모두 independent 하다면 possible state 2^n, 필요한 parameter 수는 n개

이렇게 파라미터 수 줄이기 위해,

Chain rule

Bayes' rule

Conditional independence - Autoregressive model

Auto regressive Model

• 이전 n개 비교
• ordering 필요

NADE : Neural Autoregressive Density Estimator

• explicit model
• compute density of the given inputs

Pixel RNN

• Row LSTM : i 번째 픽셀을 만들 때 위쪽의 정보 활용
• Diagonal BiLSTM : 이전 정보 활용

 

Autoencoder : not generative model

 

Variational inference(VI)

 - Posterior distribution 찾기 :  관심있는 random variable 의 확률 분포

 - Variational distribution 

 - Variational distribution 과 posterior distribution KL divergence 줄여보자

 

Variational Auto-encoder

 - intractable model

 - prior fitting term must be differentiable

 - use isotropic Gaussian

 

Adversial Auto encoder

 - GAN을 활용하여 latent distributions 사이에 분포를 맞춰줌

 - sampling 만 가능한 distrubution 만 있어도 가능

 

GAN (Generative Adversial Network)

 - discriminator 가 generator 활용하여 성능 향상

 

2. Peer Session

1. AI Boost camp

• DL Basic 9 ~ 10 강

1. 알고리즘 스터디

• 백준3077문제 코드 리뷰

1. 팀 회고

• 팀 회고록 작성
• 스페셜 피어세션에서 다른 조들의 좋은 방법을 나누고 실행해 볼 아이디어 공유