[Week 3 - Day 4 ] Pytorch

1. 강의 내용

Multi GPU

• 엄청난 데이터
  GPU vs. Node : 한대의 컴퓨터
  Single Node Single GPU
  Single Node Multi GPU
  Multi Node Multi GPU

Model Parallel

• 다중 GPU에 학습을 분산하는 두 가지 방법
  • 모델을 나누기/ 데이터를 나누기
• 모델의 병목, 파이프라인의 어려움

Data Parallel

• 데이터를 나눠 GPU에 할당 후 결과의 평균을 취하는 방법
• minibatch와 유사
• 한번에 여러 GPU에서 수행
• GPU사용 불균형 문제 발생
  -batch 사이즈 감소
• DistributedDataParallel : 각 CPU 마다 process 생성하여 개별 GPU에 할당
  • 개별적으로 연산의 평균
  • Sampler 사용
  • pin_memory = True