평가척도 요건

왜 배우는가: 평가척도가 잘못 정해지면 설계가 좋아졌는지 판정할 수 없고, 사람이 관여한 시스템에서는 측정되는 지표에 맞춰 행동이 바뀐다. 그래서 기준척도가 갖춰야 할 요건은 인간공학 설계 평가 문제에서 반복해서 묻는 핵심이다.

출제 이력: 제121회 1교시 7번, 제109회 1교시 10번

1. 한 줄 정의와 핵심 키워드

평가척도 요건은 기준척도가 시스템의 실제 목표를 대표하고 측정으로 판정할 수 있도록 갖춰야 할 조건이다.

핵심 키워드

• 기준척도(criterion measure): 시스템의 성능이나 작업자의 수행을 판정하는 측정 기준이다.
• 적절성(relevance): 기준이 시스템의 실제 목표와 직접 연결되는 성질이다.
• 민감도(sensitivity): 설계 대안 사이에 차이가 있을 때 값이 그 차이를 드러내는 성질이다.
• 진단성(diagnosticity): 값이 나쁠 때 원인이 어디인지 짚어 주는 성질이다.
• 신뢰성(reliability): 같은 조건에서 반복 측정하거나 다른 측정자가 재도 값이 일관되는 성질이다.
• 실용성(practicality): 측정에 드는 시간·장비·비용이 현실적으로 감당 가능한 성질이다.
• 수용성(acceptability): 측정 대상과 이해관계자가 기준의 타당성을 받아들이는 성질이다.

2. 개념 풀이

쉬운 말로 하면 평가척도는 잘 되었는지를 재는 자다. 설계 대안 A와 B 중 어느 쪽이 나은지 가리려면 무엇으로 잴지를 먼저 정해야 한다. 그 자가 엉터리이면 좋은 설계가 나쁜 점수를 받고, 나쁜 설계가 좋은 점수를 받는다. 그래서 자를 고르는 일 자체가 설계 평가의 절반을 차지한다.

정식 정의는 다음과 같다. 기준척도는 시스템 평가에서 목표 달성 정도를 나타내는 종속 측정치로서, 설계 대안을 비교하고 목표 달성 여부를 판정하는 데 쓰는 척도다. 답안에는 이 정의를 먼저 쓰고 요건을 잇는다.

Meister(1985)는 기준척도가 현실적이고 실질적이기 위한 요건을 정리했다. 답안에 이 요건들을 항목으로 쓸 때는 각 요건이 무엇을 막으려는지 한 문장씩 덧붙인다.

• 적절성(relevance): 기준은 시스템의 실제 목표와 직접 연결돼야 한다. 목표가 오류 감소인데 처리 속도만 재면 적절성이 없다.
• 민감도(sensitivity): 대안 사이에 차이가 실제로 있을 때 값이 그 차이를 드러내야 한다. 값이 변하지 않으면 기준으로 쓸 수 없다.
• 진단성(diagnosticity): 값이 나쁠 때 설계의 어느 부분이 문제인지 알려 줘야 한다. 총점만 있고 원인이 보이지 않으면 개선이 어렵다.
• 신뢰성(reliability): 같은 조건에서 되풀이 측정하거나 다른 측정자가 재도 값이 같아야 한다.
• 실용성(practicality): 측정에 드는 시간, 장비, 비용이 현실적이어야 한다. 이론상 완벽해도 현장에서 잴 수 없으면 쓸 수 없다.
• 수용성(acceptability): 피측정자와 관리자가 기준의 타당함을 받아들여야 한다. 받아들이지 않으면 측정이 왜곡되거나 거부된다.

이 요건들은 서로 독립적이지 않다. 적절성이 없으면 민감도가 높아도 쓸모가 없고, 신뢰성이 낮으면 민감도로 본 차이가 측정 잡음에 묻힌다. 답안에서는 요건을 나열한 뒤 두 요건 이상이 얽힌다는 점을 한 문장으로 덧붙이는 것이 좋다. 한 요건을 높이려고 다른 요건을 낮추는 경우가 흔하기 때문이다. 예를 들어 진단성을 높이려고 측정 항목을 늘리면 실용성이 떨어진다.

3. 등장 배경과 필요성

사람이 관여한 시스템에서는 평가척도를 무엇으로 정하느냐에 따라 시스템의 목표가 왜곡될 수 있다. 구성원은 측정되는 지표를 올리는 방향으로 행동을 맞추기 쉽기 때문이다. 예를 들어 가상의 콜센터 사례에서 평가 기준을 처리 건수로만 정하면, 상담 품질을 낮추면서 건수를 채우는 행동이 나타난다. 이처럼 측정치가 목표를 대신하게 되면 그 측정치는 시스템의 실제 상태를 말해 주지 못한다.

인간공학 설계 평가도 같은 문제를 안고 있다. 설계가 실제 사용자에게 얼마나 안전하고 쉬운지 판정하려면, 현장 목표를 대표하는 기준이 있어야 한다. 기준이 없으면 설계자는 자신이 만든 설계를 좋다고 믿기 쉽고, 발주자는 서로 다른 설계를 같은 자리에서 비교하지 못한다.

평가 기준이 현실적이어야 하는 이유도 여기에 있다. 실험실에서만 재는 기준은 현장에 옮기면 쓸 수 없다. 반대로 현장에서 쉽게 재는 지표가 시스템 목표와 어긋나면 이해관계자는 그 지표를 따르다가 목표를 잃는다. 그래서 적절성과 실용성을 함께 보는 것이 필요하다.

평가척도를 정하는 일은 설계 초기부터 함께 해야 한다. 설계가 끝난 뒤에 기준을 고르면 설계 결과를 기준에 맞춰 설명하는 일이 되기 쉽다. 설계 목표에서 기준을 도출하고, 그 기준으로 설계를 검증하는 순서가 옳다. 이 순서가 지켜져야 평가가 설계를 바로잡는 도구가 된다.

4. 구성요소·원리·절차

기준척도는 네 가지 구성요소로 이루어진다. 각 구성요소가 맡는 역할을 표로 정리해 두면 답안에서 빠뜨리는 항목이 줄어든다.

목표는 기준의 출발점이다. 목표 정의가 흐리면 측정 변수를 아무리 잘 골라도 기준이 빗나간다. 측정 변수는 목표를 대표해야 하며, 그 값을 실제로 얻을 수 있어야 한다. 측정 절차는 같은 조건에서 되풀이할 수 있도록 적어 둔다. 판정 기준은 값이 어디를 넘으면 목표 달성인지 정하는 경계다.

원리는 간단하다. 목표를 먼저 정하고, 목표를 대표하는 변수를 고르고, 그 변수가 요건을 만족하는지 점검한 뒤에 판정 경계를 둔다. 목표 없이 변수부터 고르면 측정하기 쉬운 값을 기준으로 삼게 되고, 그 결과 목표 왜곡이 생긴다. 앞 절에서 본 왜곡 문제가 여기서 생긴다.

기준 설정 절차는 다음 순서로 진행한다.

• 시스템 목표를 한 문장으로 쓴다.
• 목표를 나타내는 측정 변수 후보를 두세 개 고른다.
• 후보마다 적절성·민감도·진단성·신뢰성·실용성·수용성을 대조한다.
• 요건에 맞지 않는 후보는 버리고 다시 고른다.
• 설계 대안별로 측정해 민감도를 확인하고 판정 경계를 확정한다.
• 측정 결과가 목표와 어긋나는지 주기적으로 재검토한다.

흐름도에서 중요한 것은 되돌아가는 화살표다. 요건 점검에서 미달한 변수는 버리고 후보를 다시 고른다. 한 번 고른 기준을 끝까지 밀고 가면 적절성이 없는 기준이 살아남는다. 대안별 측정에서 차이가 드러나지 않으면 민감도가 부족한 것이므로 역시 변수를 바꾼다.

판정 기준을 확정할 때는 값이 목표와 맞는지를 한 번 더 본다. 경계를 너무 엄격하게 두면 좋은 설계가 떨어지고, 너무 느슨하게 두면 나쁜 설계가 통과한다. 그래서 경계는 측정 결과의 분포를 보고 정하며, 확정 뒤에도 주기적으로 되돌아본다.

5. 관련 법령·기준·표준

평가척도 요건은 인간공학 원리로 정리된 것이며, 법령이 정한 기준값으로 있는 항목이 아니다. 따라서 이 절에서 외울 숫자는 없다. 대신 현장에서 판정 경계로 쓰는 기준의 종류를 구분해 두면 답안에서 혼동을 막을 수 있다.

법정 노출기준은 고용노동부 고시로 정한다. 측정 변수와 판정 경계가 이미 정해져 있으므로, 평가척도 요건은 그 기준이 해당 작업에 맞는지 점검하는 데 쓴다. 측정 조건이 기준의 전제와 다르면 그 기준을 그대로 적용해도 되는지 적절성부터 따져야 한다.

설계 기준값은 인체 치수나 작업역처럼 설계 대상이 정해진 경우에 쓴다. 이 기준은 설계안을 검증하는 기준이므로 진단성이 중요하다. 치수가 기준에서 벗어났을 때 어느 부분을 고쳐야 하는지 알려 주기 때문이다.

사용성 평가 척도는 제품이나 인터페이스가 사용자에게 얼마나 쉬운지 본다. 같은 설계라도 과제를 다르게 주면 값이 달라지므로, 대안 사이의 차이를 드러내는 민감도와 측정 과제를 현실적으로 정하는 실용성이 함께 중요하다.

법정 기준은 개정될 수 있다. 따라서 적용 시점의 고시를 기준으로 쓰고, 답안에 기준값을 쓸 때는 기준 이름과 적용 조건을 함께 적는다. 숫자를 기억에 의존해 쓰면 틀릴 위험이 크다.

6. 유형과 비교

평가 기준은 무엇을 재느냐에 따라 세 유형으로 나눈다. 결과 기준은 목표 달성의 결과를, 과정 기준은 수행 절차와 행동을, 주관 기준은 사용자의 판단을 잰다. 세 유형의 차이를 표로 보면 어느 유형이 어떤 요건에 강한지 한눈에 들어온다.