정보량

왜 배우는가: 정보량은 확률표만 있으면 계산되는 기준이라 기출에서 여러 회차에 걸쳐 계산형으로 나왔다. 자극·반응·전달 정보량을 한 틀로 정리해 두면 여러 문항에 같은 방식으로 답할 수 있다.

출제 이력: 제136회 4교시 4번, 제133회 4교시 4번, 제130회 3교시 5번, 제100회 1교시 7번

1. 한 줄 정의와 핵심 키워드

정보량은 사건이 일어났을 때 줄어드는 불확실성의 크기이다. 답안 첫 줄에는 이 정의를 그대로 쓰고, 바로 이어서 확률과 로그를 잇는 식을 한 줄 덧붙인다. 핵심 키워드는 다음과 같다.

• 자기정보량(self-information): 개별 사건 하나가 가진 정보량
• 엔트로피(entropy): 정보원 전체의 평균 정보량
• 비트(bit): 두 대안 중 하나를 고르는 데 드는 정보의 단위
• 조건부 엔트로피(conditional entropy): 출력을 알고 난 뒤에도 남는 입력의 불확실성
• 상호정보량(mutual information): 입력을 알았을 때 출력에서 줄어든 불확실성
• 채널용량(channel capacity): 잡음 있는 채널이 전달할 수 있는 정보량의 상한
• 중복도(redundancy): 최대 정보량에 비해 낭비된 비율

자기정보량과 엔트로피는 계산의 출발점이다. 나머지 다섯 가지는 입력과 출력, 잡음을 나누어 보는 틀이다. 시험에서는 이 틀을 먼저 세운 뒤 계산에 들어가는 순서가 중요하다.

2. 개념 풀이

쉬운 말로 하면 정보량은 결과를 알았을 때 얼마나 놀랐는지를 수로 잰 것이다. 자주 일어나는 일은 놀랍지 않아서 정보가 적다. 드물게 일어나는 일은 놀라워서 정보가 많다. 정보이론은 이 감각을 확률의 로그로 옮긴다.

정식 정의는 다음과 같다. 확률이 p인 사건의 자기정보량은 I(p)=\log_2(1/p) bit 이다. 확률 1/2 이면 1 bit 이고, 확률 1/8 이면 3 bit 이다. 확률이 절반으로 줄 때마다 정보량은 1 bit 씩 늘어난다. 밑을 2로 쓰기 때문에 단위가 bit 가 된다. 자연로그를 쓰면 같은 양이 nat 단위로 나온다.

엔트로피는 정보원이 내는 기호들의 평균 정보량이다. 기호 i가 확률 p_i로 나온다면 H=\sum_i p_i\log_2(1/p_i) 이고, 단위는 bit/기호 이다. 모든 기호의 확률이 같을 때 H = log₂N 으로 최대 가 된다. 불확실성이 가장 클 때 엔트로피가 가장 크다는 원리가 이 식에 그대로 들어 있다.

비트는 두 대안 가운데 하나를 고르는 데 필요한 질문 수로 이해하면 쉽다. 앞면과 뒷면이 같은 확률인 동전 한 번 던지기는 1 bit 이다. 네 가지 대안이 같은 확률이면 2 bit 이다.

조건부 엔트로피 H(X|Y)는 출력 Y를 알고 난 뒤 입력 X에 남은 불확실성이다. 잡음이 없으면 0이 되고, 잡음이 커질수록 커진다. 이 값이 잡음이 더한 정보량이다.

상호정보량 I(X;Y)=H(X)-H(X|Y)는 입력을 알았을 때 출력의 불확실성이 얼마나 줄었는지를 나타낸다. 실제로 제대로 전달된 정보량이며, 인간공학 표기에서는 이를 전달 정보량 T(x,y)로 쓴다.

채널용량은 잡음 있는 채널이 오류 없이 보낼 수 있는 정보량의 상한이다. 섀넌의 잡음 채널 부호화 정리는 이 상한보다 낮은 속도로 보내면 오류를 얼마든지 줄일 수 있다고 말한다.

중복도는 최대 정보량에 대해 실제 정보량이 얼마나 부족한지를 나타낸다. 중복도(%) = (H_{max}-H)/H_{max}\times100 으로 구한다. 중복도가 높으면 같은 내용을 더 많은 기호로 보내고 있다는 뜻이다.

압축 기술도 같은 원리로 설명된다. 자주 나오는 문자에 짧은 부호를 주면 평균 길이가 엔트로피에 가까워진다. 영문 알파벳 26자를 같은 확률로 쓰면 \log_2 26 약 4.70 bit 이다. 글자 빈도를 고려하면 평균 정보량은 등확률일 때보다 줄어든다. 이미 압축된 파일을 다시 압축해도 크기가 거의 줄지 않는 것은 중복이 이미 제거되어 엔트로피가 최대에 가까워졌기 때문이다.