전체 글264 [Week 4 - Day 2] Pstage 이미지 분류 - Data Generation 1. 강의 Pre-processing - Resize( 계산의 효율) - Filter, crop,... Generalization Bias : 얼마나 target에서 떨어져 있는지 - High Bias : underfitting Variance : 얼마나 분산되어 있는지 - High Variance : overfitting Data Augmentation - torchvision.transforms 함수 사용 - albumentations torch.utils.data Datasets from torch.utils.data import Dataset class MyDataset(Dataset): def __init__(self): pass def __getitem__(self,index): return .. 2021. 8. 24. [Week 4 - Day 1] Pstage 이미지 분류 - EDA Machine learning flow (Competition) Domain understanding - Data Mining - Data Analysis - Data Processing - Modeling - Training - Deploy EDA(Exploratory Data Analysis) 탐색적 데이터 분석 Image Classification 이미지 - (width, height, channel) Image Classification & EDA 1. Data Statistics - 전체 이미지에 대해서 이미지 개수, 크기, RGB값의 평균과 표준편차 계산 - 객체 위치 확인 - y 값 분석 - 메타 데이터 분석 - 성별, 연령 분포 확인 - X,y 관계 확인 - 데이터 노이즈 확인 ( 라벨링 .. 2021. 8. 24. [Week 3 - Day 4 ] Pytorch 1. 강의 내용 Multi GPU 엄청난 데이터 GPU vs. Node : 한대의 컴퓨터 Single Node Single GPU Single Node Multi GPU Multi Node Multi GPU Model Parallel 다중 GPU에 학습을 분산하는 두 가지 방법 모델을 나누기/ 데이터를 나누기 모델의 병목, 파이프라인의 어려움 Data Parallel 데이터를 나눠 GPU에 할당 후 결과의 평균을 취하는 방법 minibatch와 유사 한번에 여러 GPU에서 수행 GPU사용 불균형 문제 발생 -batch 사이즈 감소 DistributedDataParallel : 각 CPU 마다 process 생성하여 개별 GPU에 할당 개별적으로 연산의 평균 Sampler 사용 pin_memory = True 2021. 8. 20. [Week 3 - Day 3 ] Pytorch 1. 강의 내용 모델 불러오기 model.save() 학습의 결과를 저장하기 위한 함수 모델 형태와 파라미터 저장 모델 학습 중간 과정의 저장을 통해 최선의 결과 모델 선택 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 checkpoints 학습의 중간 결과를 저장하여 최선의 결과를 선택 epoch, loss,metric을 함꼐 저장하여 확인 Transfer learning 다른 데이터셋으로 만든 모델을 현재 데이터에 적용 일반적으로 대용햘 데이터셋으로 만들어진 모델의 성능이 좋음 backbone architecture가 잘 학습된 모델에서 일부분만 변경하여 학습을 수행 Freezing : pretrained model 활용시 모델의 일부분을 frozen 시킴 Monitoring tools f.. 2021. 8. 20. [Week 3 - Day 2 ] Pytorch 1. 강의 내용 torch.nn.Module 딥러닝을 구성하는 layer의 base class input,output,Forward,Backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad = True로 지정되어 학습 대상이 되는 Tensor Backward Layer에 있는 Parameter들의 미분 수행 Forward의 결과값(model의 output=예측치)과 실제값 간의 차이(loss)에 대해 미분 수행 해당 값으로 parameter 업데이트 Datasets & DataLoaders Dataset 클래스 데이터 입력 형태를 정의하는 클래스 Imag.. 2021. 8. 20. [Week 3 - Day 1] Pytorch 1. 강의 내용 Pytorch Numpy + Autograd + Function Numpy 구조를 가지는 Tensor 객체로 array 표현 자동미분 지원하여 DL 연산 지원 Tensor 다차원 Arrays를 표현하는 Pytorch 클래스 사실상 numpy의 ndarray와 동일 data to tensor torch.tensor(data) ndarray to tensor torch.from_numpy(nd_array) import torch import numpy n_array = np.arange(10).reshape(2,5) t = torch.FloatTensor(n_array) Tensor Handling view : reshape과 동일하게 tensor의 shape 반환 squeeze : 차원의.. 2021. 8. 17. 이전 1 ··· 5 6 7 8 9 10 11 ··· 44 다음 반응형
