[MRC] Extraction Based MRC

1. Extraction Based MRC

질문의 답변이 항상 주어진 지문 내에 span 으로 존재

답의 시작과 끝 위치 파악 - token classification 문제로 치환

Exact Match (EM) Score 또는 F1 Score 로 평가

 

step1

preprocess

- tokenization

 - special tokens : cls, sep

 - attention mask :  입력 시퀀스 중에서 attention을 연산할 때 무시할 토큰을 표시 ( padding 토큰)

 - token type IDs : 입력이 2개 이상의 시퀀스일 때 (질문, 지문) 각각 id 부여하여 구분

 

step2

fine-tuning

fine tuning BERT

실제 답의 start/end 위치와 cross entropy loss

 

step3

Post-processing

불가능한 답 제거

 - end position 이 start position 보다 앞에 있는 경우

 - 예측한 위치가 context 벗어나는 경우

 - 미리 설정한 max_answer_length 보다 길이가 더 긴 경우

 

최적의 답안 찾기

 - start/end position prediction에서 score(logits)가 가장 높은 n개를 각각 찾는다

 - 가능한 조합들을 score의 합이 큰 순서대로 정렬

 - score 가 가장 큰 조합을 최종 예측으로 선정 ( top k 개)