경사 하강법

[머신 러닝] 경사 하강법 (Gradient descent)

앞서 선형 회귀를 다룰 때 경사 하강법을 간단하게 설명한 적이 있는데, 경사 하강법은 많은 머신 러닝 및 딥러닝 알고리즘에 사용되므로 좀 더 자세히 설명하고 넘어가겠습니다. 데이터 준비 HTML 삽입 미리보기할 수 없는 소스 배치 경사 하강법 경사 하강법을 구현하려면 각 모델 파라미터에 대해 비용 함수의 그레이디언트를 계산해야 합니다. 다시 말해서, 모델 파라미터가 조금 변경될 때 비용 함수가 얼마나 바뀌는지를 계산해야 합니다. 배치 경사 하강법에서는 매 경사 하강법 스텝에서 전체 훈련 세트에 대해 계산합니다. 그래서 이 알고리즘을 배치 경사 하강법이라고 합니다. 매 스텝에서 훈련 데이터 전체를 사용하기 때문에 매우 큰 훈련 세트에서는 아주 느립니다. 이 알고리즘을 간단하게 구현해보겠습니다. HTML 삽..