정보이론

정의

정보이론은 불확실성을 줄이는 양을 bit 단위로 재는 이론이다.

정보량은 몰랐던 것을 알게 된 양이다.

동전 한 번의 결과는 1 bit다. 확률이 낮은 사건일수록 정보량이 크다.

정보량 식

발생 확률이 p인 사건 하나의 정보량은 log2(1/p) bit이다.

여러 대안 전체의 평균 정보량은 엔트로피이며 각 항을 확률로 가중해 더한다.

p_i는 대안 i의 발생 확률이며, 모든 확률의 합은 1이다.

대안이 모두 같은 확률이면 H = log2 N bit로 간단해진다.

계산 예제

예제로 확률이 0.5, 0.25, 0.125, 0.125인 네 대안을 계산한다.

각 항은 확률에 log2(1/p)를 곱한 값이고 이를 모두 더한다.

합은 1.75 bit다. 등확률 네 대안의 2 bit보다 작다.

전달정보량

전달정보량은 자극과 반응이 공유하는 정보량이며 T = H(x) + H(y) - H(x,y)다.

예를 들어 H(x) = 2 bit, H(y) = 2 bit, H(x,y) = 3 bit라고 하자.

그러면 T = 2 + 2 - 3 = 1 bit다.

손실은 H(x) - T, 소음은 H(y) - T이며 둘 다 1 bit다.

헷갈리는 정보량

정보량은 네 가지가 있어 헷갈리기 쉽다. 표로 구분한다.

자극정보량과 반응정보량은 한쪽의 불확실성을 잰다.

결합정보량은 둘을 함께 본 값이고, 전달정보량은 공유된 부분이다.

결합정보량과 전달정보량의 범위도 함께 기억한다.

정리

앞 문제의 정답은 3 bit다. 8개 등확률 대안은 log2 8 = 3 bit이다.

정보량은 불확실성을 줄이는 양이며 단위는 bit다.

등확률 N개면 H = log2 N bit이고, 확률이 다르면 평균을 쓴다.

전달정보량은 T = H(x) + H(y) - H(x,y)로 구한다.

중복율은 최대 정보량에 견준 낭비 비율이다.