반응형 경사하강법1 경사하강법 (Gradient descent) 경사 하강법 (Gradient descent) Gradient Descent 방법은 1차 미분계수를 이용하여 함수의 최소 값을 찾아가는 iterative 방법입니다. Gradient Descent는 함숫값이 낮아지는 방향으로 진행이 되는데 최종적으로는 최소 함숫값을 갖도록 하는 독립 변수를 찾는 방법입니다. 때문에 이러한 진행방법 때문에 앞이 안개로 덮인 산에서 가장 낮은 위치를 찾기 위해서 산을 더듬으며 내려오는 것과 비슷하다고 해서 Steepest Descent라고도 불립니다. Gradient Descent의 주목적은 함수의 최솟값을 찾는 것입니다. 함수는 머신러닝에서 예를 들면 Sum of Squared Residual이 될 수 있습니다. 때문에 경사 하강법을 통해서 Residual의 합이 최소가 .. 2021. 1. 23. 이전 1 다음 반응형