역전파1 [Week 1 - Day 5] AI Math 5-10 확률론, 통계학, CNN, RNN 1. 강의 내용 5. 딥러닝 학습방법 이해하기 신경망 ( 비선형모델 ) 소프트맥스 함수 - 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산 - 분류 문제를 풀 때 선형모델과 소프트맥스 함수를 결합하여 예측 신경망은 선형모델과 활성함수를 합성한 함수 활성함수 - 실수값의 입력을 받아서 실수값으로 출력 (비선형 함수) - 시그모이드 - tanh - ReLU : 딥러닝에서 많이 쓰임 MLP ( multi layer perceptron) : 신경망이 여러층 합성된 함수 층이 깊을수록 목적함수를 근사하는데 필요한 뉴런의 숫자가 훨씬 빨리 줄어들어 효율적으로 학습 가능 역전파 알고리즘 - 각 층 파라미터의 그레디언트 벡터는 윗층부터 역순으로 계산 - 역전파 알고리즘은 합성함수 미분법인 연쇄법칙 기반 자동 미분.. 2021. 8. 6. 이전 1 다음 반응형