본문 바로가기

전체 글264

[Week 2 - Day 5] DL Basic - Generative Models 1. 강의 내용 Generative models 생성 모델 Generation : 만들어 내는 것 Density estimation : 어떤 이미지가 주어졌을 때 구분 (anomaly detection) Unsupervised representation learning : feature learning n개의 변수를 표한하기 위해서는 n-1개 파라미터 수 필요 가정 ) n개의 픽셀들이 모두 independent 하다면 possible state 2^n, 필요한 parameter 수는 n개 이렇게 파라미터 수 줄이기 위해, Chain rule Bayes' rule Conditional independence - Autoregressive model Auto regressive Model 이전 n개 비교 o.. 2021. 8. 13.
[Week 3 - Day 4] DL Basic - RNN, Transformer 1. 강의 내용 7. Recurrent Neural Network Sequential Model - Naive sequence model - Autoregressive model fix the past timespan - Markov model ( first order autoregressive model) 현재는 바로 전 과거에만 dependent - Latent autoregressive model hidden state : summary of the past Recurrent Neural Network Long Short Term Memory (LSTM) - forget gate : 버릴 정보 선택 - input gate : cell state에 저장할 정보 결정 - update cell : upd.. 2021. 8. 12.
[Week 2 - Day 3] DL Basic - CNN 1. 강의 내용 4. CNN - convolution layer, pooling layer : feature extractino - fully connected layer - decision making (ex, classification) stride - 필터를 순회하는 간격 padding -입력 데이터의 외곽에 특정값(보통 0)으로 채워넣어 convolution 레이어의 출력 데이터의 크기가 줄어드는 것 방지 학습 파라미터 수 : 입력 데이터의 채널 * 필터 크기 * 출력 데이터의 채널 1*1 Convolution - Dimension reduction - reduce the number of paraeters while increasing the depth 5. Modern CNN AlexNet -.. 2021. 8. 11.
[Week 2 - Day 2] DL Basic - Optimization 1. 강의 내용 1) DL Basic 3. Optimization Generalization 학습 데이터와 훈련 데이터의 gap 만약 학습 데이터가 안 좋으면 훈련데이터가 좋아도 모델이 좋은 성능이라고 할 수 없다 (학습데이터와 훈련 데이터의 차이이기 떄문에) Under fitting vs. Over fitting Cross validation K-Fold 검증 : 데이터를 k개로 나눠서 k-1개의 훈련데이터, 1개의 test 데이터 Bias Variance tradeoff Bias : target에 얼마나 가까운지 Varience : 얼마나 일관적인지 Bias 와 Varience 가 모두 낮아야 좋은데 하나가 낮으면 하나는 높아짐 Bootstrapping random sampling Bagging an.. 2021. 8. 10.
[Week 2 - Day1] Deep Learning Basic 1. 강의 내용 딥러닝 기본 용어 설명 Artificial Intelligence( 사람의 지능 모방) > Machine Learning (데이터를 통한 학습) > Deep Learning The data that the model can learn from The model how to transform the data The loss function that quantifies the badness of the model - 모델을 어떻게 학습할지 - Regression Task : MSE (최소제곱법) - Classification Task : CE(Cross Entropy) - Probabilistic Tast : MLE ( 최대가능도추정법) The algorithm to adjust the pa.. 2021. 8. 9.
[Week 1 - Day 5] AI Math 5-10 확률론, 통계학, CNN, RNN 1. 강의 내용 5. 딥러닝 학습방법 이해하기 신경망 ( 비선형모델 ) 소프트맥스 함수 - 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산 - 분류 문제를 풀 때 선형모델과 소프트맥스 함수를 결합하여 예측 신경망은 선형모델과 활성함수를 합성한 함수 활성함수 - 실수값의 입력을 받아서 실수값으로 출력 (비선형 함수) - 시그모이드 - tanh - ReLU : 딥러닝에서 많이 쓰임 MLP ( multi layer perceptron) : 신경망이 여러층 합성된 함수 층이 깊을수록 목적함수를 근사하는데 필요한 뉴런의 숫자가 훨씬 빨리 줄어들어 효율적으로 학습 가능 역전파 알고리즘 - 각 층 파라미터의 그레디언트 벡터는 윗층부터 역순으로 계산 - 역전파 알고리즘은 합성함수 미분법인 연쇄법칙 기반 자동 미분.. 2021. 8. 6.
반응형

티스토리툴바