07-1. Learning rate, Feature scailing, Overfitting, and Regularization

이 포스트는 모두를 위한 딥러닝 - Tensor Flow를 정리한 내용을 담았습니다. 누구나 이해할 수 있는 수준으로 설명하고자 하였으며 LAB의 코드는 TF2.0에 맞추어 재작성되었습니다. · learning rate (학습 속도) 이전의 포스트들에서 우리는 다양한 모델에서 Gradient descent를 적용할 때 learning rate(학습 속도)를 설정하였고 이 과정을 텐서플로우에서 직접 구현도 해보았습니다. 이번 포스트에서는 먼저 learning rate가 너무 작거나 클 때의 문제를 다뤄보고, 적절한 learning rate를 설정하는 방법을 알아보겠습니다. 아래 그래프 1.1은 일반적인 비용 함수(cost function)의 한 예시입니다. 먼저 learning rate가 너무 작은 경우입..

2020.04.30