[Week 2 - Day 3] DL Basic - CNN

1. 강의 내용

4. CNN   

- convolution layer, pooling layer : feature extractino

- fully connected layer - decision making (ex, classification)

stride - 필터를 순회하는 간격

padding -입력 데이터의 외곽에 특정값(보통 0)으로 채워넣어 convolution 레이어의 출력 데이터의 크기가 줄어드는 것 방지

학습 파라미터 수  : 입력 데이터의 채널 * 필터 크기 * 출력 데이터의 채널

 

1*1 Convolution

 - Dimension reduction

 - reduce the number of paraeters while increasing the depth

 

5. Modern CNN

 

AlexNet

 - ReLU activation (= max(0,z))

 - GPI implementation (2 GPUs)

 - Local response normalization, Overlapping pooling

 - Data augmentation

 - Dropout

 

VGGNet

 - increasing depth with 3*3 convoltion filters

 - 1*1 convolution for fully connected layers

 - Dropout (p=0.5)

 

GoogLeNet

 - Inception blocks : parameter 수 감소

 - 22 layers

 

ResNet

 - add identity map ( skip connection : f(x) -> x + f(x) ) after nonlinear activations 차이 학습

 - Batch normalization after convolutions

 - Performance increases while parameter size decreases

 

DenseNet

 - concatenation instead of addition : 채널이 커짐 

 

6.  Computer Vision Applications

Sementic Segmetation

Fully Convolutional Network

 - dense layer 없애기

Deconvolution ( conv transpose)

 

Detection

R-CNN ( Regional CNN )

 - input image

 - extract region proposals

 - compute features for each proposals

 - classifies with linear SVMs

 

SPPNet (Spatial Pyramid Pooling)

 - CNN runs once

 

Fast R-CNN

 = Region Proposal Network(bounding box) + Fast R-CNN

 

YOLO

 - extremely fast object detection algorithm

 - multiple bounding boxes and class probabilities

2. Peer Session

1. AI Boost camp

• DL Basic 4 ~ 6강, Data Viz 2-1 ~ 2-3강
• DL Basic 4강 CNN에서의 Parameter수 계산

1. 알고리즘 스터디
2. 백준 5710 문제 코드 리뷰

1. Q & A

• Q : CNN에서 output이 나누어 졌을 때 filter가 어떻게 적용되어 parameter의 수가 계산되는 것인가