[Week 3 - Day 4] DL Basic - RNN, Transformer

1. 강의 내용

7. Recurrent Neural Network

Sequential Model

 - Naive sequence model

 - Autoregressive model

     fix the past timespan

 - Markov model ( first order autoregressive model)

    현재는 바로 전 과거에만 dependent

 - Latent autoregressive model

    hidden state  : summary of the past

 

Recurrent Neural Network

Long Short Term Memory (LSTM)

 - forget gate : 버릴 정보 선택

 - input gate :  cell state에 저장할 정보 결정

 - update cell : update cell state 

 - output gate : updated cell state 이용하여 output 

 

8. Transformer

Encoder 

 - n개 한번에 처리

 - Self Attention : 나머지 단어들도 모두 활용

 - Feed Forward Neural Network : word independent

 

Decoder

2. Peer Session

1. AI Boost camp

• DL Basic 7 ~ 8강

1. 알고리즘 스터디

• 백준 9081 문제 코드 리뷰

3. 멘토 세션

Transformer 설명 

self attention - fully connected

* attention : 예측할 때 뭘 가장 많이 보고 예측하는지

 

입력 - embedding vector 로 만들어줌 (전처리)

word를 continuous 한 공간, 실수값으로 만들어준다.

embeddign vector를 query, key, value로 나뉨

self attention 이기 때문에 query, key, value 동일

query, key 벡터가 얼마나 유사한지 측정

softmax를 취해줌 - 어디에 가장 집중을 해야되는지 알려줌