정보량

정보량의 뜻

정보량은 사건이 일어났을 때 줄어드는 불확실성의 크기다.

드물게 일어나는 사건일수록 놀라움이 커서 정보가 많다.

정보이론은 이 놀라움의 감각을 확률의 로그로 옮겨 잰다.

자기정보량

자기정보량은 확률 p인 사건 하나가 가진 정보량이다.

확률이 1/2이면 1 bit다. 같은 확률의 동전 한 번 던지기와 같은 양이다.

확률이 1/8이면 3 bit다. 확률이 절반으로 줄 때마다 1 bit씩 늘어난다.

밑을 2로 쓰기 때문에 단위가 bit가 된다.

정보 전달 구조

정보 전달 구조는 자극, 채널, 반응으로 이루어진다.

자극 X가 들어오면 사람의 식별과 판단을 거쳐 반응 Y가 나온다.

여기에 잡음 N이 끼어들면 자극과 무관한 반응이 섞인다.

전달 정보량 T는 자극 정보량에서 손실을 뺀 값이고, 반응 정보량에서 소음을 뺀 값과 같다.

계산 예제

가상의 부품 분류 작업으로 계산 순서를 확인해 본다.

먼저 주변확률로 H(x)를 구하면 자극 정보량은 1.473 bit다.

결합 정보량은 칸 확률로 구하며 1.952 bit가 된다.

두 주변 정보량을 더하고 결합 정보량을 빼면 전달 정보량 0.885 bit다.

손실은 입력 쪽에서 잃은 정보이며 정답은 0.588 bit다.

헷갈리는 점

정보량 계산에서 흔한 실수는 손실과 소음을 바꿔 쓰는 것이다.

손실정보량은 입력 쪽에서 잃은 정보라서 H(x) − T로 구한다.

소음정보량은 출력 쪽에 끼어든 정보라서 H(y) − T로 구한다.

전달, 손실, 소음을 더하면 결합 정보량과 같아지므로 이것으로 확인한다.

정리

정보량은 불확실성이 해소되는 양을 bit 단위로 잰다.

자기정보량과 엔트로피, 전달 정보량을 식으로 기억한다.

중복도는 최대 정보량 대비 낭비된 비율을 백분율로 쓴다.

정보량은 의미가 아니라 불확실성의 감소량을 잰다는 한 줄이면 충분하다.