역전파 알고리즘과 Optimizer 관련 개념

Error Backpropagation Algorithm 역전파 알고리즘

목적 : 수치미분을 수행하지 않고, 학습에 필욯나 편미분값을 획득 가능

원리 : 1) chain rule
   2) Backpropagation



Optimizatino Method
경사하강 수식을 조금씩 조정하면 학습이 더 잘 이루어지더라~~~

1) SGD :  Stochastic Gradient Desent 확률적 경사하강법. 
학습용 Data를 다른 방식으로 적용함. 식은 바꾸지 않고 데이터를 조정하는 방식. 일부만 빼서 경사하강함.
ex. 105개를 빼서 한번 학습시키는 게 아니라, 7개씩 15번 학습시킴.
쪼개서 하면 Batch GD보다 부정확, But 같은 시간에 더 많은 학습 할 수 있음

2-1) Momentum
2-2) Nesterov Momentum

3-1) Adaptive Gradient(Adagrad) 학습률을 감쇠하는 방식
Learning Rate가 작으면 안정적이지만 학습 속도는 느려짐. --> 보완 : 학습 횟수가 증가함에 따라 학습률을 조절하도록
3-2) RMSProp
Adagrad의 단점인 Gradient 제곱합을 지수평균으로 대체
3-3) AdaDelta

4) Adam (Adaptive Moment Estimation)

모멘텀과 RMSProp의 장점을 개선시켜서 합친 알고리즘