경사하강법

왜 배우는가: 경사하강법은 인공신경망 학습의 기본 최적화 원리이며, 딥러닝 가중치 갱신의 바탕이 된다. 학습률, 배치 크기, 지역 최소점 문제는 모델 학습 실패의 원인을 진단하는 데 직결되어 기술사 시험에서 반복적으로 출제된다.

출제 이력: 제122회 3교시 6번, 제119회 4교시 3번

1. 한 줄 정의와 핵심 키워드

경사하강법은 비용함수의 기울기 반대 방향으로 가중치를 반복 갱신하여 비용을 최소화하는 최적화 기법이다.

비용함수의 기울기 반대 방향으로 가중치를 반복 갱신해 비용을 최소화하는 최적화 기법

핵심 키워드

• 경사하강법(Gradient Descent)
• 비용함수(Cost Function)
• 기울기(Gradient)
• 학습률(Learning Rate)
• 편미분(Partial Derivative)
• 배치경사하강법(Batch GD)
• 확률적경사하강법(SGD)
• 미니배치경사하강법(Mini-batch GD)

2. 개념 풀이

쉬운 말로 하면 산비탈에서 가장 가파른 내리막을 따라 한 걸음씩 내려가 가장 낮은 골짜기를 찾는 방법이다. 현재 위치에서 기울기를 재고, 그 반대 방향으로 보폭만큼 이동하는 과정을 반복한다.

정식으로는 미분 가능한 함수의 함숫값을 반복적으로 줄여 최솟값을 찾는 1차 최적화 방법이다. 기울기는 각 변수에 대한 편미분을 모은 벡터이며, 함숫값이 가장 빠르게 증가하는 방향을 가리킨다. 그래서 그 반대 방향으로 이동한다.

비용함수는 모델의 예측값과 정답의 차이를 하나의 스칼라로 나타낸 함수다. 인공신경망에서는 가중치의 함수가 된다.

학습률은 한 번의 갱신에서 기울기를 얼마나 반영할지 정하는 보폭 계수다. 너무 작으면 수렴이 느리고, 너무 크면 최솟값을 지나쳐 진동하거나 발산한다.

편미분은 여러 가중치 가운데 하나만 변화시켰을 때 비용함수가 변하는 비율이다. 신경망은 가중치가 수만에서 수억 개이므로 기울기는 편미분 벡터로 계산된다.

갱신식은 다음과 같다.

$w \leftarrow w - \eta \cdot \frac{\partial E}{\partial w}$

여기서 w는 가중치, \eta는 학습률, E는 비용함수다. 일부 교재는 학습률을 \alpha로 쓰므로 기호를 한 가지로 통일해 사용한다.

3. 등장 배경과 필요성

신경망 학습은 가중치를 조정해 예측 오차를 줄이는 문제다. 가중치가 많으면 해를 닫힌 형태(closed form)로 구하기 어렵다. 그래서 기울기 정보만으로 점진적으로 해에 접근하는 반복 기법이 필요했다.

기울기 방향 탐색의 기원은 19세기 코시(Cauchy)가 연립방정식의 수치해를 구하는 데 기울기를 이용한 연구까지 거슬러 올라간다. 이 원리가 기계 학습으로 옮겨오면서 역전파(Backpropagation)와 결합해 신경망 학습의 표준 방법이 되었다.

역전파는 연쇄 법칙으로 각 가중치의 기울기를 출력층에서 입력층 방향으로 계산한다. 경사하강법은 이렇게 얻은 기울기로 가중치를 갱신한다. 두 기법은 역할이 다르며 함께 쓰인다.

대규모 데이터에서는 전체 데이터로 기울기를 매번 계산하는 비용이 크다. 이 한계 때문에 확률적·미니배치 변형이 등장했다. 학습률 설정, 지역 최소점, 기울기 소실 같은 문제도 이 방법의 한계로 함께 논의된다.