[Week 2 - Day1] Deep Learning Basic

1. 강의 내용

1. 딥러닝 기본 용어 설명

Artificial Intelligence( 사람의 지능 모방) > Machine Learning (데이터를 통한 학습) > Deep Learning

 

The data that the model can learn from

The model how to transform the data

The loss function that quantifies the badness of the model

  - 모델을 어떻게 학습할지

 - Regression Task : MSE (최소제곱법)

 - Classification Task : CE(Cross Entropy)

 - Probabilistic Tast : MLE ( 최대가능도추정법)

The algorithm to adjust the parameters to minimize the loss

 

History

2012  - Alexnet

2013 - DQN

2014 - Encoder/Decoder

2014 - Adam Optimizer

2015 - Generative Adversiarial Network

2015 - Residual Networks

2017 - Transformer

2018 - BERT(fine-tuned NLP models)

2019 - BIG Language Models

2020 - Self Supervised Learning

 

2. Peer Session

1. AI Boost camp

• DL Basic 1 ~ 2강, Data Viz 1-1 ~ 1-3강
• 선택과제 2번 (Backpropagation 구현)논의

2. 알고리즘 스터디

• 백준 9204 문제 코드 리뷰

3. Q & A

• 백준 9204 문제에서 BFS의 적용을 어떤식으로 해야 하는가?
• Pytorch에서 torch.nn의 정체는?
• Pytorch에서 DataLoader로 불러온 train_iter의 정체는?
• Pytorch에서 왜 학습시키기 전에 zero_grad를 해주는지?
• 기저변환이란 무엇인가?