본문 바로가기

전체 글264

[Week 6 - Day 3 ] seq2seq Sequence to Sequence with Attention Seq2Seq with attention, Encoder & Decoder architecture, Attention mechanism Seq2Seq model rnn의 구조중 many to many의 형태 - 입력시퀀스를 모두 읽은 후 출력 시퀀스 생성 dialog system encoder : 입력문장 읽기 마지막 decoder : 출력 문장 생성 hiddenstate vector가 decoder의 첫 hidden state vector start of sentence , end of sentence 토큰으로 시작, 종료문제 마지막 timestep의 hidden state vector에 모든 정보를 넣어야함 앞에서부터 정보를 읽으면 입력.. 2021. 9. 9.
[위클리 코딩 챌린지] 6주차. 복서 정렬하기 문제 설명 복서 선수들의 몸무게 weights와, 복서 선수들의 전적을 나타내는 head2head가 매개변수로 주어집니다. 복서 선수들의 번호를 다음과 같은 순서로 정렬한 후 return 하도록 solution 함수를 완성해주세요. 전체 승률이 높은 복서의 번호가 앞쪽으로 갑니다. 아직 다른 복서랑 붙어본 적이 없는 복서의 승률은 0%로 취급합니다. 승률이 동일한 복서의 번호들 중에서는 자신보다 몸무게가 무거운 복서를 이긴 횟수가 많은 복서의 번호가 앞쪽으로 갑니다. 자신보다 무거운 복서를 이긴 횟수까지 동일한 복서의 번호들 중에서는 자기 몸무게가 무거운 복서의 번호가 앞쪽으로 갑니다. 자기 몸무게까지 동일한 복서의 번호들 중에서는 작은 번호가 앞쪽으로 갑니다. 제한사항 weights의 길이는 2 이상 .. 2021. 9. 9.
[Week 6 - Day 2] RNN, LSTM, GRU Basics of Recurrent Neural Networks (RNNs) Basic structure 입력 : 각 timestep의 입력 벡터 xt와 전 타임스텝 RNN 모델에서 계산한 hidden state vector h(t-1) 출력 : 현재 time step의 ht 서로 다른 time step에서 들어오는 입력데이터를 처리할 때 동일한 파라미터를 가진 반복적인 모듈 재귀적 호출 hidden state vector가 다음 timestep의 입력인 동시에 출력값 y fW : RNN 모듈에 필요한 linear transfomation matrix W 를 파라미터로 가지는 함수 비선형 변환 tanh 통과 output layer y : 예측값 필요한 경우 linear transfomation matri.. 2021. 9. 7.
[Week 4 - Day 5] Pstage 이미지 분류 - Ensemble Ensemble 서로 다른 여러 학습 모델 사용 성능과 효율의 tradeoff - Model Averaging (Voting) - Hard Voting - Soft Voting - Cross Validation - Stratified K-fold Cross Validation : balace 하지 않은 경우 - TTA(Test Time Augmentation) : 테스트 이미지를 augmentation 후 모델 추론, 출력된 여러가지 결과를 앙상블 Hyperparameter Optimization Hyperparameter : 시스템의 매커니즘에 영향을 주는 주요한 파라미터 - learning rate, hidden layer 개수, batch size, k-fold,... Optuna : 파라미터 범위.. 2021. 8. 28.
[Week 4 - Day 4] Pstage 이미지 분류 - Training & Infernece Loss loss.backward() : 오차 역전파 모델의 파라미터의 grad값 업데이트 - Focal Loss : Class Imbalance 문제 있는 경우 맞춘 확률이 높은 Class는 작은 loss, 확률이 낮은 Class는 높은 loss 부여 - Label Smoothing Loss : class target label 을 onehot 표현으로 사용하기 보다 여러 클래의 확률로 soft하게 표현하여 일반화 성능 높이기 위함 Optimizer 실제로 loss값 update LR scheduler : learning rate 조절 - StepLR : 특정 step마다 LR 감소 schduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=2,g.. 2021. 8. 27.
[Week 4 - Day 3] Pstage 이미지 분류 - Model nn.Module 클래스 import torch.nn as nn torch.nn.functional as F class MyModel(nn.Module): def __init__(self): super(MyModel,self).__init__() self.conv1 = nn.Conv2d(1,20,5) self.conv2 = nn.Conv2d(20,20,5) def forward(self,x): x = F.relu(self.conv1(x)) return F.relu(self.conv2(x)) forward : 이 모델이 호출 되었을 때 실행 되는 함수 모든 nn.Module 은 forward() 함수를 가진다 state_dict() : 모듈이 가지고 있는 계산에 쓰일 Parameter 각 모델 파라미터들은.. 2021. 8. 25.
반응형

티스토리툴바