본문 바로가기

Boostcamp AI Tech32

[MRC] Machine Reading Comprehension 1. Introduction to Maching Reading Comprehension MRC( Machine Learning Comprehension) 기계 독해 주어진 지문 이해, 주어진 질의의 답변 추론 1. Extractive Answer Datasets 항상 지문 내에 segment. or span 으로 정답 존재 2. Descriptive / Narrative Answer Datasets free form 질의를 보고 정답 생성 3. Multiple Choice Datasets answer candidate 중 하나가 질의에 대한 정답 Challenges in MRC 1. paraphrasing 2. coreference Resolution 그 것, 그 사람 등 지칭하는 단어 3. Unansw.. 2021. 10. 19.
[Week 10] PStage 과정 정리 1. Baseline code micro_f1_score, aurpc 2. 기존 Baseline code 에서 배치사이즈 16 -> 64 , eval_step 500-> 100 submission_64.csv 3. Stratified K-Fold submission_cv_fin.csv micro_f1_score, aurpc 4. Typed Entity Marker 추가 ( 스페셜 토큰) 이순신 entity 각각 ',', ':' 로 split 해서 순서대로 넣으려고 했지만 word에 ' 49만 5,000명 ' 처럼 쉼표 포함하고 있는 단어가 있어서 오류 -> 뒤에서부터 인덱스 가져오기 micro_f1_score, auprc submission_entity1.csv stratified k-fold (n_sp.. 2021. 10. 6.
[Week 10] SentencePieceTokenizer SentencePieceBPETokenizer() 공백을 기준으로 단어를 분절 가능 띄어쓰기 자리에 '▁' ex) "이순신은 조선 중기의 무신이다" ['▁이', '순', '신은', '▁조선', '▁중', '기의', '▁무', '신', '이다.'] from tokenizers import SentencePieceBPETokenizer from tokenizers.normalizers import BertNormalizer tokenizer = SentencePieceBPETokenizer() tokenizer._tokenizer.normalizer = BertNormalizer(clean_text=True, handle_chinese_chars=False, lowercase=False) tokenizer... 2021. 10. 5.
[Week 9] F1 Score , Stratified K Fold f1 score = Precision 과 Recall의 조화평균 둘중 하나의 값이 작을 때 성능에도 영향을 주기 위해서 Precision(정밀도) : True로 예측한 값 중 실제 True Recall(재현율) : 실제 정답 True 인 값들 중 예측도 True AUPRC : x축을 Recall, y축을 Precision으로 설정하여 그린 곡선 아래의 면적 값인 모델 평가 지표 Stratified K-Fold sklearn.model_selection.StratifiedKFold class sklearn.model_selection.StratifiedKFold(n_splits=5, *, shuffle=False, random_state=None) Parameters : - n_splits int, def.. 2021. 10. 1.
[week 7 - day 1,2] Transformer Transformer LSTM, GRU 기반 seq2seq 모델이 성능 개선한 모델 Attention is all you need No more RNN or CNN modules RNN Forward RNN 왼쪽의 정보만 포함 Backward RNN 오른쪽의 정보만 포함 Forward RNN과는 별개의 parameter 사용 Bi-directional RNN 항상 모든 단어를 포함할 수 있도록 두 모델을 병렬적으로 만들고 특정 timestep의 hidden state vector concat하여 2배의 차원을 가지는 벡터 생성 Transformer - Swlf Attention module 입력 sequence의 각 단어별로 sequence 전체 내용을 반영한 encoding vector가 output .. 2021. 9. 14.
[Week 6 - Day 3 ] seq2seq Sequence to Sequence with Attention Seq2Seq with attention, Encoder & Decoder architecture, Attention mechanism Seq2Seq model rnn의 구조중 many to many의 형태 - 입력시퀀스를 모두 읽은 후 출력 시퀀스 생성 dialog system encoder : 입력문장 읽기 마지막 decoder : 출력 문장 생성 hiddenstate vector가 decoder의 첫 hidden state vector start of sentence , end of sentence 토큰으로 시작, 종료문제 마지막 timestep의 hidden state vector에 모든 정보를 넣어야함 앞에서부터 정보를 읽으면 입력.. 2021. 9. 9.
반응형

티스토리툴바