[Week 10] PStage 과정 정리

1. Baseline code 

 

    micro_f1_score, aurpc

 

2. 기존 Baseline code 에서 배치사이즈 16 -> 64 , eval_step 500-> 100

  submission_64.csv

 

3. Stratified K-Fold

submission_cv_fin.csv

    micro_f1_score, aurpc

 

4. Typed Entity Marker 추가 ( 스페셜 토큰)

<S:PER> 이순신 </S:PER>

 

entity 각각 ',', ':' 로 split 해서 순서대로 넣으려고 했지만

word에 ' 49만 5,000명 ' 처럼 쉼표 포함하고 있는 단어가 있어서 오류 -> 뒤에서부터 인덱스 가져오기

 

micro_f1_score, auprc

submission_entity1.csv

 

stratified k-fold (n_split=5)

submission_cv_entity.csv

 

optuna 사용

submission_opt.csv

 

5. Typed Entity Marker (punct)

@ *PER* 이순신 @

subject word 는 @로 , object word 는 #으로 감싸고

*PER* subject type 표시, ∧ORG∧로 object type 표시

 

submission_punct.csv

 

stratified k-fold (n_split=5)

submission_cv_punct.csv

 

일반 토큰으로 실행 

submission_tk_punct.csv

논문에서는 일반 토큰이 더 성능이 좋았다는데 더 떨어졌다

 

일반 토큰으로 실행 CV

submission_tk_punct_cv.csv

 

optuna 사용

submissioin_opt_punct.csv

 

 

6. klue/roberta-large 모델

special token 사용

 

시도해 볼 것  

- Entity Embedding layer 추가해보기

- Masked language modeling을 통해 대회 데이터셋으로 사전학습해보기

- learning rate scheduler -> optuna로 지정할 수 있다고 함!!

- AEDA -> 시도했는데 계속 오류나서 못 돌려봄

- loss function https://stages.ai/competitions/75/discussion/talk/post/647