정보이론

왜 배우는가: 정보이론은 자극과 반응 사이의 정보 전달, bit 단위, 중복율, 대역폭을 묻는 기본 틀이라 기출에서 여러 회차에 걸쳐 나온 개념이다. 이 틀을 모르면 Hick-Hyman 법칙이나 표시장치 설계의 정량 평가를 설명할 수 없다. 실무에서는 인터페이스가 사용자에게 주는 정보의 양을 재고 중복을 관리하는 판단에 쓰인다.

출제 이력: 제124회 3교시 2번, 제118회 3교시 2번

1. 한 줄 정의와 핵심 키워드

정보이론은 사건이나 자극이 줄여 주는 불확실성을 수량으로 재는 이론이다. 답안 첫 줄은 다음처럼 쓴다. 정보이론은 불확실성을 줄이는 양을 bit 단위로 정량화하는 이론이다.

정보이론은 통신 공학에서 출발했다. 메시지를 적은 비용으로 정확히 보내는 문제를 다루면서 정보를 측정 가능한 양으로 만들었다. 인간공학은 이 틀을 사람에게 적용한다. 사람을 자극을 받아 반응을 내보내는 채널로 보고, 자극과 반응 사이에서 얼마나 많은 정보가 제대로 전달되는지를 잰다.

핵심 키워드는 다음과 같다.

• 정보량: 어떤 사건이 일어났을 때 줄어드는 불확실성의 크기이다.
• bit: 동일하게 가능한 두 대안 중 하나를 고를 때 필요한 정보량이다.
• 엔트로피: 모든 대안의 정보량을 발생 확률로 가중해 평균한 값이다.
• 자극정보량: 자극 X가 가진 평균 정보량 H(x)이다.
• 반응정보량: 반응 Y가 가진 평균 정보량 H(y)이다.
• 전달정보량: 자극과 반응이 실제로 주고받은 정보량 T(x,y)이다.
• 중복율: 가능한 최대 정보량에 비해 낭비된 정보의 비율이다.
• 대역폭: 통신 채널이 한 번에 실어 나를 수 있는 주파수 폭이다.

2. 개념 풀이

쉬운 말로 풀면 정보는 몰랐던 것을 알게 된 양이다. 동전을 던지기 전에는 앞면인지 뒷면인지 알 수 없다. 결과를 듣는 순간 불확실성이 없어지고, 그 결과가 주는 정보는 1 bit이다. 확률이 낮은 사건일수록 일어났을 때 더 많은 정보를 준다. 늘 일어나는 일은 새로운 정보를 주지 않는다.

정식 정의는 다음과 같다. 발생 확률이 p인 사건 하나의 정보량은 I = log2(1/p) bit이다. 여러 대안을 가진 자극이나 반응 전체의 평균 정보량은 엔트로피로 정한다. 대안 i가 확률 p_i로 나타날 때 평균 정보량은 다음 식과 같다.

$H = \sum_i p_i \log_2(1/p_i)$

여기서 p_i는 대안 i의 발생 확률이고, 모든 p_i의 합은 1이어야 한다. 각 항은 확률이 작을수록 커진다. 그래서 치우친 분포는 평균 정보량을 낮춘다.

대안이 모두 같은 확률 1/N으로 나타나면 식이 간단해진다. 이때 N개 등확률 대안은 log2 N bit이다. 대안이 4개면 2 bit이고, 8개면 3 bit이다. 0부터 9까지 숫자 하나를 고르면 log2 10 = 3.32 bit이고, 알파벳 26자 중 하나를 고르면 log2 26 = 4.70 bit이다.

정보량은 서로 독립인 사건끼리 더해진다. 동전 두 개를 던져 결과를 모두 알면 정보량은 1 bit와 1 bit를 합쳐 2 bit이다. 이 덧셈 성질 때문에 bit는 정보를 재는 단위로 쓰기 좋다. 정보량이 많다는 것은 결정이 어렵다는 뜻이기도 하다. 선택지가 많을수록 사람은 더 많은 정보를 처리해야 하고, 그만큼 반응이 늦어진다. 정보량은 확률이 낮을수록 커진다.

3. 등장 배경과 필요성

정보이론은 1940년대 말 K. Shannon이 통신 채널의 능력을 수학으로 정리하면서 세워졌다. 이 이론은 이후 심리학, 통계, 컴퓨터 과학으로 퍼졌다. 인지심리학자들은 지각 연구의 데이터가 이 틀로 설명된다는 것을 보였다. 감각 수용기에 들어온 신호가 반응으로 나오기까지 정보가 어떻게 줄고 바뀌는지를 설명하는 데 쓰였다.

인간공학에서 이 틀이 필요한 이유는 사람의 처리 능력에 한계가 있기 때문이다. 같은 시간에 받아들이는 정보가 많아지면 오류가 늘고 반응이 느려진다. 정보이론은 이 한계를 bit라는 공통 단위로 재게 해 준다. 그래서 계기판 눈금 수, 경고등 색의 가짓수, 조작 버튼의 배열을 같은 척도로 비교할 수 있다. 선택지가 많을수록 반응이 늦어진다.

Hick와 Hyman의 선택반응시간 연구가 이 필요를 보여 준다. 자극의 수를 늘리면 반응시간이 늘었다. 그 증가를 bit로 환산해 반응시간과 맞대어 보니 두 값은 직선에 가까운 관계였다. 대안의 수를 그대로 두고 출현 확률만 바꿔도 같은 직선이 나왔다. 이에 따라 선택반응시간은 대안의 수가 아니라 자극 정보량의 선형 함수로 설명된다. 이를 Hick-Hyman 법칙이라 한다.

Bishu와 Drury도 배선 과업에서 bit 단위 정보량으로 과업 완수 시간을 추정했다. 정보량이 골라야 하는 선의 수와 단자의 수에 달려 있으므로, 작업 시간을 정보량으로 예측할 수 있다는 것이 이 연구의 요지다.

4. 구성요소·원리·절차

정보 전달 관계는 자극, 인간, 반응의 세 부분으로 보는 것이 기본이다. 자극 X가 들어와 인간의 처리 과정을 거쳐 반응 Y로 나온다. 이때 자극과 반응을 함께 봤을 때의 정보량은 결합정보량 H(x,y)이고, 각각의 정보량은 H(x)와 H(y)이다. 전달 관계를 도식으로 그리면 다음과 같다.

구성요소를 표로 정리하면 다음과 같다.

표에서 보듯 네 값은 서로 묶여 있다. 결합정보량은 두 개별 정보량의 합보다 크지 않고, 전달정보량은 둘 중 작은 쪽을 넘지 않는다. 결합정보량은 H(x,y) = H(x) + H(y|x)로도 나타낼 수 있다. 여기서 H(y|x)는 자극을 알고 난 뒤에 남은 반응의 불확실성이다.

전달정보량은 자극과 반응이 서로 얼마나 겹치는지로 정해진다. 두 값이 완전히 독립이면 전달정보량은 0이다. 두 값이 완전히 같이 움직이면 전달정보량은 자극정보량과 같다. 전달정보량은 자극과 반응이 공유하는 정보량이다. 식은 다음과 같다.

$T(x,y) = H(x) + H(y) - H(x,y)$

T = H(x)+H(y)-H(x,y)는 이 관계를 한 줄로 쓴 것이다. 손실정보량은 자극이 가진 정보 가운데 반응으로 옮겨 가지 못한 부분이다. 소음정보량은 반응 안에 자극과 무관하게 섞여 나온 부분이다. 두 값은 다음 식으로 구한다.

$H(x|y) = H(x) - T(x,y)$

$H(y|x) = H(y) - T(x,y)$

자극 측 확률은 신호가 나타나는 빈도에서 정한다. 반응 측 확률은 조작자가 실제로 누른 선택지의 빈도에서 정한다. 같은 자극이라도 조작자가 잘못 누르는 일이 많으면 결합 확률표가 달라지고, 그에 따라 전달정보량이 줄어든다. 그래서 손실과 소음은 설계 문제이자 훈련 문제로 함께 봐야 한다.

채널의 대역폭과 용량도 함께 본다. 통신 채널의 용량은 다음 식으로 주어진다.

$C = W\log_2(1 + S/N)$

여기서 C는 bit/s 단위의 용량, W는 대역폭(Hz), S/N은 신호 대 잡음의 진수 비이다. C = W log2(1+S/N)에서 대역폭이 넓을수록 단위 시간에 실을 수 있는 정보가 늘어난다. 이 때문에 대역폭은 정보를 실어 나르는 능력의 척도로 쓰인다.

절차는 다음과 같다.

• 자극의 확률 분포 p(x)를 정한다.
• 자극과 반응의 결합 확률표를 만든다.
• H(x), H(y), H(x,y)를 각각 계산한다.
• T(x,y)를 구한 뒤 손실정보량과 소음정보량을 식에 대입한다.
• 결과가 0 이상이고 어느 개별 정보량도 넘지 않는지 확인한다.

5. 관련 법령·기준·표준

정보이론 자체에는 법령으로 정한 기준값이 없다. 정보이론은 수학적 정의이고, 설계 현장에서는 계산한 bit 값을 비교 기준으로 쓴다. 아래 표는 등확률 대안의 정보량을 정리한 것이다.

표의 값은 모두 등확률을 가정한다. 실제 자극의 확률이 치우치면 대안 수가 같아도 정보량은 등확률일 때보다 작아진다. 따라서 설계 비교에서는 대안의 수와 확률을 함께 적어야 값이 의미를 가진다.

등확률일 때 정보량이 가장 크다는 점도 기준으로 기억해 둘 만하다. 같은 대안 수에서 정보량의 최댓값은 등확률일 때다. 이 성질 때문에 최대 정보량은 중복율을 계산하는 기준이 된다.

인간-시스템 상호작용의 정보 제시와 설계 원칙은 ISO 9241 계열 표준이 다룬다. 이 표준은 정보 제시의 명확성과 일관성을 다루며, 정보량을 bit로 계산하는 식을 규정하지는 않는다. 그래서 정보이론은 계산 도구로 쓰고, 표준은 제시 원칙의 근거로 쓰는 것이 맞다.

국내 작업 설계 기준서는 항목마다 다르고, 정보량 자체를 법정 기준으로 정한 조항은 없다. 답안에서는 bit 값을 법정 기준처럼 쓰지 않고 계산 결과로 제시한다. 기준을 말할 때는 어떤 값을 계산했는지와 그 가정을 함께 적어야 채점자가 따라올 수 있다.

설계에 적용하면 중복을 의도적으로 두는 방법이 있다. 색, 모양, 문자를 함께 써서 한 가지 신호가 놓쳐도 다른 신호가 전달되게 하는 방식이다. 이 방법은 전달 효율을 조금 낮추지만 오류 가능성을 크게 줄인다.

6. 유형과 비교

정보량은 네 가지가 이름이 비슷해 헷갈리기 쉽다. 자극정보량, 반응정보량, 결합정보량, 전달정보량은 각각 다른 것을 잰다. 다음 표로 구분한다.