강화학습

왜 배우는가: 강화학습은 정답 데이터 없이 시행착오로 행동 정책을 찾는 방법이어서 자율주행, 로봇 제어, 추천 시스템 등 순차적 의사결정 문제에 널리 쓰인다. 가치기반, 정책기반, 액터-크리틱의 차이와 정책경사 원리는 두 회차 기출에서 반복해 물었으므로 개념 구분과 수식을 함께 정리해야 한다.

출제 이력: 제131회 4교시 1번, 제114회 1교시 13번

1. 한 줄 정의와 핵심 키워드

강화학습은 에이전트가 환경과 상호작용하며 누적 보상을 최대화하는 행동 정책을 시행착오로 학습하는 기계학습 방법이다.

핵심 키워드

• 에이전트(Agent): 환경에서 행동을 선택하는 학습 주체다.
• 상태(State): 에이전트가 관찰한 환경의 현재 상황이다.
• 행동(Action): 상태에서 에이전트가 선택하는 조작이다.
• 보상(Reward): 행동 결과로 환경이 주는 수치 신호다.
• 정책(Policy): 상태에서 행동을 고르는 규칙 π(a|s)다.
• 가치 함수(Value Function): 정책을 따를 때 얻는 미래 보상의 기댓값이다.
• 마르코프 결정 프로세스(MDP): 강화학습 문제를 수학적으로 정의한 틀이다.
• 감가율(Discount Factor): 미래 보상을 현재 가치로 줄이는 계수 γ이며 0 이상 1 이하이다.

2. 개념 풀이

쉬운 말로 하면 강화학습은 잘한 행동의 확률은 높이고 못한 행동의 확률은 낮추는 학습이다. 훈련받는 동물이 보상을 받아 행동을 익히는 과정과 같은 원리다.

정식 정의는 다음과 같다. 에이전트가 MDP로 정의된 환경에서 정책 π를 학습해, 감가된 누적 보상의 기댓값을 최대화하는 것이다. 시점 t의 리턴은 $G_t=\sum_{k=0}^{\infty}\gamma^{k} r_{t+k+1}$ 로 정의하며, 여기서 r_t는 시점 t의 보상, \gamma는 감가율이다.

핵심 용어 풀이는 다음과 같다.

• 마르코프 결정 프로세스(MDP): 상태 S, 행동 A, 상태 전이 확률 P, 보상 함수 R, 감가율 γ의 다섯 요소로 이루어진 순차 의사결정 모형이다. 현재 상태만으로 다음 상태가 정해진다는 마르코프 성질을 가정한다.
• 정책(π): 상태 s에서 행동 a를 선택할 확률 π(a|s)다. 확률 분포로 주는 확률적 정책과 행동 하나를 주는 결정적 정책이 있다.
• 벨만 기대 방정식: 상태 가치를 즉시 보상과 다음 상태 가치의 기댓값으로 재귀 정의한 식이다. $V^{\pi}(s)=\sum_a \pi(a|s)\sum_{s'} P(s'|s,a)[R(s,a,s')+\gamma V^{\pi}(s')]$
• 탐험(Exploration)과 활용(Exploitation): 새 행동을 시도할지, 지금까지 가장 좋은 행동을 쓸지의 균형이다. ε-greedy 같은 방법으로 조절한다.

3. 등장 배경과 필요성

지도학습은 입력마다 정답 레이블이 있어야 한다. 그러나 로봇이 장애물을 피하거나 게임을 두는 문제는 한 번의 행동마다 정답을 알기 어렵고, 결과가 여러 단계 뒤에 나타난다. 강화학습은 이런 순차적 문제를 보상 신호만으로 풀기 위해 발전했다.

이론적 기원은 두 갈래다. 하나는 제어 이론의 동적 프로그래밍이다. 리처드 벨만은 제어 문제를 재귀 형태로 정의했고, 비용 최소화 문제를 보상 최대화 문제로 바꿔 보는 관점이 강화학습으로 이어졌다. 다른 하나는 행동주의 심리학의 보상 개념이다. MDP는 이 보상 구조를 확률적 의사결정 문제로 수학화한 틀이다.