본문 바로가기

Boostcamp AI Tech/[week 6-14] LEVEL211

[Week 10] SentencePieceTokenizer SentencePieceBPETokenizer() 공백을 기준으로 단어를 분절 가능 띄어쓰기 자리에 '▁' ex) "이순신은 조선 중기의 무신이다" ['▁이', '순', '신은', '▁조선', '▁중', '기의', '▁무', '신', '이다.'] from tokenizers import SentencePieceBPETokenizer from tokenizers.normalizers import BertNormalizer tokenizer = SentencePieceBPETokenizer() tokenizer._tokenizer.normalizer = BertNormalizer(clean_text=True, handle_chinese_chars=False, lowercase=False) tokenizer... 2021. 10. 5.
[Week 9] F1 Score , Stratified K Fold f1 score = Precision 과 Recall의 조화평균 둘중 하나의 값이 작을 때 성능에도 영향을 주기 위해서 Precision(정밀도) : True로 예측한 값 중 실제 True Recall(재현율) : 실제 정답 True 인 값들 중 예측도 True AUPRC : x축을 Recall, y축을 Precision으로 설정하여 그린 곡선 아래의 면적 값인 모델 평가 지표 Stratified K-Fold sklearn.model_selection.StratifiedKFold class sklearn.model_selection.StratifiedKFold(n_splits=5, *, shuffle=False, random_state=None) Parameters : - n_splits int, def.. 2021. 10. 1.
[week 7 - day 1,2] Transformer Transformer LSTM, GRU 기반 seq2seq 모델이 성능 개선한 모델 Attention is all you need No more RNN or CNN modules RNN Forward RNN 왼쪽의 정보만 포함 Backward RNN 오른쪽의 정보만 포함 Forward RNN과는 별개의 parameter 사용 Bi-directional RNN 항상 모든 단어를 포함할 수 있도록 두 모델을 병렬적으로 만들고 특정 timestep의 hidden state vector concat하여 2배의 차원을 가지는 벡터 생성 Transformer - Swlf Attention module 입력 sequence의 각 단어별로 sequence 전체 내용을 반영한 encoding vector가 output .. 2021. 9. 14.
[Week 6 - Day 3 ] seq2seq Sequence to Sequence with Attention Seq2Seq with attention, Encoder & Decoder architecture, Attention mechanism Seq2Seq model rnn의 구조중 many to many의 형태 - 입력시퀀스를 모두 읽은 후 출력 시퀀스 생성 dialog system encoder : 입력문장 읽기 마지막 decoder : 출력 문장 생성 hiddenstate vector가 decoder의 첫 hidden state vector start of sentence , end of sentence 토큰으로 시작, 종료문제 마지막 timestep의 hidden state vector에 모든 정보를 넣어야함 앞에서부터 정보를 읽으면 입력.. 2021. 9. 9.
[Week 6 - Day 2] RNN, LSTM, GRU Basics of Recurrent Neural Networks (RNNs) Basic structure 입력 : 각 timestep의 입력 벡터 xt와 전 타임스텝 RNN 모델에서 계산한 hidden state vector h(t-1) 출력 : 현재 time step의 ht 서로 다른 time step에서 들어오는 입력데이터를 처리할 때 동일한 파라미터를 가진 반복적인 모듈 재귀적 호출 hidden state vector가 다음 timestep의 입력인 동시에 출력값 y fW : RNN 모듈에 필요한 linear transfomation matrix W 를 파라미터로 가지는 함수 비선형 변환 tanh 통과 output layer y : 예측값 필요한 경우 linear transfomation matri.. 2021. 9. 7.
반응형

티스토리툴바