[Week 2 - Day 3] DL Basic - CNN
1. 강의 내용
4. CNN
- convolution layer, pooling layer : feature extractino
- fully connected layer - decision making (ex, classification)
stride - 필터를 순회하는 간격
padding -입력 데이터의 외곽에 특정값(보통 0)으로 채워넣어 convolution 레이어의 출력 데이터의 크기가 줄어드는 것 방지
학습 파라미터 수 : 입력 데이터의 채널 * 필터 크기 * 출력 데이터의 채널
1*1 Convolution
- Dimension reduction
- reduce the number of paraeters while increasing the depth
5. Modern CNN
AlexNet
- ReLU activation (= max(0,z))
- GPI implementation (2 GPUs)
- Local response normalization, Overlapping pooling
- Data augmentation
- Dropout
VGGNet
- increasing depth with 3*3 convoltion filters
- 1*1 convolution for fully connected layers
- Dropout (p=0.5)
GoogLeNet
- Inception blocks : parameter 수 감소
- 22 layers
ResNet
- add identity map ( skip connection : f(x) -> x + f(x) ) after nonlinear activations 차이 학습
- Batch normalization after convolutions
- Performance increases while parameter size decreases
DenseNet
- concatenation instead of addition : 채널이 커짐
6. Computer Vision Applications
Sementic Segmetation
Fully Convolutional Network
- dense layer 없애기
Deconvolution ( conv transpose)
Detection
R-CNN ( Regional CNN )
- input image
- extract region proposals
- compute features for each proposals
- classifies with linear SVMs
SPPNet (Spatial Pyramid Pooling)
- CNN runs once
Fast R-CNN
= Region Proposal Network(bounding box) + Fast R-CNN
YOLO
- extremely fast object detection algorithm
- multiple bounding boxes and class probabilities
2. Peer Session
- AI Boost camp
- DL Basic 4 ~ 6강, Data Viz 2-1 ~ 2-3강
- DL Basic 4강 CNN에서의 Parameter수 계산
- 알고리즘 스터디
- 백준 5710 문제 코드 리뷰
- Q & A
- Q : CNN에서 output이 나누어 졌을 때 filter가 어떻게 적용되어 parameter의 수가 계산되는 것인가