베이즈 정리

정의

베이즈 정리는 사전 확률을 새로운 증거로 갱신해 사후 확률을 구하는 조건부 확률 공식이다.

관측 전 믿음을 관측 후에 고쳐 쓰는 원리라서 스팸 필터와 의료 진단 등에 쓰인다.

시험에서는 조건부 확률 계산과 함께 용어형, 논술형 문항으로 반복 출제되었다.

식과 구성요소

식은 P(A|B)=P(B|A)P(A)/P(B)로 쓴다. 두 사건 A, B가 서로 종속일 때 쓴다.

사전 확률과 가능도를 곱하고 증거로 나누면 사후 확률이 된다.

가능도는 가설이 참일 때 관측 증거가 나타날 조건부 확률이다.

증거 P(B)는 전확률 법칙으로 구하며, 사후 확률의 합이 1이 되도록 맞춘다.

갱신 절차

구성 요소는 사전 확률, 가능도, 증거를 거쳐 사후 확률을 얻는 흐름이다.

사전 확률과 가능도를 곱하고 증거로 나누면 사후 확률이 된다.

얻은 사후 확률은 다음 갱신의 사전 확률로 넣어 반복한다. 그래서 데이터가 쌓일수록 추정이 개선된다.

구제역 계산 예제

구제역 문항으로 계산해 보자. 구제역 감염의 사전 확률은 0.3이다.

수포 발생 가능도는 0.5이고, 수포 발생 전체 확률은 0.6이다.

분자는 0.5 × 0.3 = 0.15이고, 이를 분모 0.6으로 나눈다.

사후 확률은 0.25, 즉 25%다. 전체 수포 확률 0.6이 가능도 0.5보다 커서 0.3에서 낮아졌다.

빈도주의와 베이즈 비교

베이즈 추론은 확률을 믿음의 정도로 해석한다. 빈도주의와 비교하면 차이가 분명하다.

베이즈 추론은 모수를 확률분포로 다루고, 사전 정보를 명시적으로 반영한다.

그래서 사후 분포를 직접 해석할 수 있다. 빈도주의는 반복에서의 성질로 결론을 평가한다.

시험에서 가장 흔한 실수는 가능도와 사후 확률을 뒤바꾸는 것이다.

한계와 개선

베이즈 정리의 한계는 사전 확률과 가능도 설정이 주관적이라는 점이다.

사전 확률이 부정확하면 사후 확률도 편향될 수 있다. 증거 계산도 어렵다.

그래서 사후 분포는 MCMC나 변분 추론 같은 근사 기법으로 구하고, 반복 갱신으로 추정을 개선한다.

정리

정리하자. 베이즈 정리는 사전 확률을 새 증거로 갱신하는 조건부 확률 공식이다.

사후 확률은 다음 갱신의 사전 확률로 재사용하며 반복 갱신한다.

시험에서는 식, 구성요소, 계산 과정을 함께 쓰는 것이 채점 포인트다.