Boostcamp AI Tech32 [Week 3 - Day 4 ] Pytorch 1. 강의 내용 Multi GPU 엄청난 데이터 GPU vs. Node : 한대의 컴퓨터 Single Node Single GPU Single Node Multi GPU Multi Node Multi GPU Model Parallel 다중 GPU에 학습을 분산하는 두 가지 방법 모델을 나누기/ 데이터를 나누기 모델의 병목, 파이프라인의 어려움 Data Parallel 데이터를 나눠 GPU에 할당 후 결과의 평균을 취하는 방법 minibatch와 유사 한번에 여러 GPU에서 수행 GPU사용 불균형 문제 발생 -batch 사이즈 감소 DistributedDataParallel : 각 CPU 마다 process 생성하여 개별 GPU에 할당 개별적으로 연산의 평균 Sampler 사용 pin_memory = True 2021. 8. 20. [Week 3 - Day 3 ] Pytorch 1. 강의 내용 모델 불러오기 model.save() 학습의 결과를 저장하기 위한 함수 모델 형태와 파라미터 저장 모델 학습 중간 과정의 저장을 통해 최선의 결과 모델 선택 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 checkpoints 학습의 중간 결과를 저장하여 최선의 결과를 선택 epoch, loss,metric을 함꼐 저장하여 확인 Transfer learning 다른 데이터셋으로 만든 모델을 현재 데이터에 적용 일반적으로 대용햘 데이터셋으로 만들어진 모델의 성능이 좋음 backbone architecture가 잘 학습된 모델에서 일부분만 변경하여 학습을 수행 Freezing : pretrained model 활용시 모델의 일부분을 frozen 시킴 Monitoring tools f.. 2021. 8. 20. [Week 3 - Day 2 ] Pytorch 1. 강의 내용 torch.nn.Module 딥러닝을 구성하는 layer의 base class input,output,Forward,Backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad = True로 지정되어 학습 대상이 되는 Tensor Backward Layer에 있는 Parameter들의 미분 수행 Forward의 결과값(model의 output=예측치)과 실제값 간의 차이(loss)에 대해 미분 수행 해당 값으로 parameter 업데이트 Datasets & DataLoaders Dataset 클래스 데이터 입력 형태를 정의하는 클래스 Imag.. 2021. 8. 20. [Week 3 - Day 1] Pytorch 1. 강의 내용 Pytorch Numpy + Autograd + Function Numpy 구조를 가지는 Tensor 객체로 array 표현 자동미분 지원하여 DL 연산 지원 Tensor 다차원 Arrays를 표현하는 Pytorch 클래스 사실상 numpy의 ndarray와 동일 data to tensor torch.tensor(data) ndarray to tensor torch.from_numpy(nd_array) import torch import numpy n_array = np.arange(10).reshape(2,5) t = torch.FloatTensor(n_array) Tensor Handling view : reshape과 동일하게 tensor의 shape 반환 squeeze : 차원의.. 2021. 8. 17. [Week 2 - Day 5] DL Basic - Generative Models 1. 강의 내용 Generative models 생성 모델 Generation : 만들어 내는 것 Density estimation : 어떤 이미지가 주어졌을 때 구분 (anomaly detection) Unsupervised representation learning : feature learning n개의 변수를 표한하기 위해서는 n-1개 파라미터 수 필요 가정 ) n개의 픽셀들이 모두 independent 하다면 possible state 2^n, 필요한 parameter 수는 n개 이렇게 파라미터 수 줄이기 위해, Chain rule Bayes' rule Conditional independence - Autoregressive model Auto regressive Model 이전 n개 비교 o.. 2021. 8. 13. [Week 3 - Day 4] DL Basic - RNN, Transformer 1. 강의 내용 7. Recurrent Neural Network Sequential Model - Naive sequence model - Autoregressive model fix the past timespan - Markov model ( first order autoregressive model) 현재는 바로 전 과거에만 dependent - Latent autoregressive model hidden state : summary of the past Recurrent Neural Network Long Short Term Memory (LSTM) - forget gate : 버릴 정보 선택 - input gate : cell state에 저장할 정보 결정 - update cell : upd.. 2021. 8. 12. 이전 1 2 3 4 5 6 다음 반응형
