강화학습 기초

강화학습이란

강화학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 학습이다.

정답 데이터 없이 시행착오로 행동 정책을 찾는 방법이다.

자율주행, 로봇 제어, 추천 시스템처럼 순차적 의사결정 문제에 널리 쓰인다.

구성요소와 MDP

에이전트는 상태를 관찰하고 정책에 따라 행동을 고른다.

환경은 그 행동에 대한 다음 상태와 보상을 돌려준다.

이 상호작용을 반복해 누적 보상을 최대화하는 정책을 찾는다.

상태 전이와 보상이 확률적이면 MDP로 정의한다.

누적 보상과 감가율

시점 t의 리턴 G_t는 미래 보상을 감가율로 할인해 더한 값이다.

여기서 r_t는 시점 t의 보상이고, γ는 감가율이다.

감가율 γ는 0 이상 1 이하이며, 1에 가까울수록 장기 보상을 중시한다.

그래서 강화학습의 목표는 누적 보상의 기댓값을 최대화하는 것이다.

세 가지 방식 비교

강화학습은 학습 대상을 무엇으로 두느냐에 따라 세 방식으로 나뉜다.

가치기반은 가치함수 Q를 학습하고, 정책기반은 정책을 직접 학습한다.

액터-크리틱은 Actor가 정책을, Critic이 가치를 맡아 두 방식을 결합한다.

표의 핵심은 행동 공간이다. 이산 행동은 가치기반, 연속 행동은 정책기반이 적합하다.

정책 경사와 어드밴티지

어드밴티지는 행동 가치에서 상태 가치를 뺀 값이다.

행동 가치 Q가 5, 상태 가치 V가 3이면 어드밴티지는 2가 된다.

어드밴티지가 양수이면 파라미터 θ는 행동 a의 확률을 높이는 방향으로 움직인다.

음수이면 같은 식으로 확률이 내려간다. 베이스라인은 이 분산을 줄인다.

헷갈리는 점

가치기반과 정책기반을 구분하지 않는 실수가 많다.

Q-러닝은 가치기반이다. 정책을 직접 학습하지 않는다.

정책경사의 리턴은 단순 보상이 아니라 누적 리턴 G_t를 써야 한다.

액터-크리틱에서 Actor와 Critic의 역할을 바꾸면 감점된다.

정리

세 방식의 차이는 학습 대상과 행동 공간에 있다.

가치기반은 이산 행동, 정책기반은 연속·확률적 행동에 적합하다.

액터-크리틱은 분산을 줄이는 장점이 있으나 구조가 복잡하다.

답안에서는 유형을 나누고 장단점을 표로 비교한다.