Boostcamp AI Tech/[week 1-5] LEVEL 119 [Week 3 - Day 3 ] Pytorch 1. 강의 내용 모델 불러오기 model.save() 학습의 결과를 저장하기 위한 함수 모델 형태와 파라미터 저장 모델 학습 중간 과정의 저장을 통해 최선의 결과 모델 선택 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 checkpoints 학습의 중간 결과를 저장하여 최선의 결과를 선택 epoch, loss,metric을 함꼐 저장하여 확인 Transfer learning 다른 데이터셋으로 만든 모델을 현재 데이터에 적용 일반적으로 대용햘 데이터셋으로 만들어진 모델의 성능이 좋음 backbone architecture가 잘 학습된 모델에서 일부분만 변경하여 학습을 수행 Freezing : pretrained model 활용시 모델의 일부분을 frozen 시킴 Monitoring tools f.. 2021. 8. 20. [Week 3 - Day 2 ] Pytorch 1. 강의 내용 torch.nn.Module 딥러닝을 구성하는 layer의 base class input,output,Forward,Backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad = True로 지정되어 학습 대상이 되는 Tensor Backward Layer에 있는 Parameter들의 미분 수행 Forward의 결과값(model의 output=예측치)과 실제값 간의 차이(loss)에 대해 미분 수행 해당 값으로 parameter 업데이트 Datasets & DataLoaders Dataset 클래스 데이터 입력 형태를 정의하는 클래스 Imag.. 2021. 8. 20. [Week 3 - Day 1] Pytorch 1. 강의 내용 Pytorch Numpy + Autograd + Function Numpy 구조를 가지는 Tensor 객체로 array 표현 자동미분 지원하여 DL 연산 지원 Tensor 다차원 Arrays를 표현하는 Pytorch 클래스 사실상 numpy의 ndarray와 동일 data to tensor torch.tensor(data) ndarray to tensor torch.from_numpy(nd_array) import torch import numpy n_array = np.arange(10).reshape(2,5) t = torch.FloatTensor(n_array) Tensor Handling view : reshape과 동일하게 tensor의 shape 반환 squeeze : 차원의.. 2021. 8. 17. [Week 2 - Day 5] DL Basic - Generative Models 1. 강의 내용 Generative models 생성 모델 Generation : 만들어 내는 것 Density estimation : 어떤 이미지가 주어졌을 때 구분 (anomaly detection) Unsupervised representation learning : feature learning n개의 변수를 표한하기 위해서는 n-1개 파라미터 수 필요 가정 ) n개의 픽셀들이 모두 independent 하다면 possible state 2^n, 필요한 parameter 수는 n개 이렇게 파라미터 수 줄이기 위해, Chain rule Bayes' rule Conditional independence - Autoregressive model Auto regressive Model 이전 n개 비교 o.. 2021. 8. 13. [Week 3 - Day 4] DL Basic - RNN, Transformer 1. 강의 내용 7. Recurrent Neural Network Sequential Model - Naive sequence model - Autoregressive model fix the past timespan - Markov model ( first order autoregressive model) 현재는 바로 전 과거에만 dependent - Latent autoregressive model hidden state : summary of the past Recurrent Neural Network Long Short Term Memory (LSTM) - forget gate : 버릴 정보 선택 - input gate : cell state에 저장할 정보 결정 - update cell : upd.. 2021. 8. 12. [Week 2 - Day 3] DL Basic - CNN 1. 강의 내용 4. CNN - convolution layer, pooling layer : feature extractino - fully connected layer - decision making (ex, classification) stride - 필터를 순회하는 간격 padding -입력 데이터의 외곽에 특정값(보통 0)으로 채워넣어 convolution 레이어의 출력 데이터의 크기가 줄어드는 것 방지 학습 파라미터 수 : 입력 데이터의 채널 * 필터 크기 * 출력 데이터의 채널 1*1 Convolution - Dimension reduction - reduce the number of paraeters while increasing the depth 5. Modern CNN AlexNet -.. 2021. 8. 11. 이전 1 2 3 4 다음 반응형
