기준척도의 요건

기준척도란

기준척도는 시스템 평가에서 목표 달성 정도를 나타내는 종속 측정치다.

설계 대안을 비교하고 목표 달성 여부를 판정하는 데 쓰는 척도다.

그 자가 잘못되면 좋은 설계가 나쁜 점수를 받고, 나쁜 설계가 좋은 점수를 받는다.

기준척도의 여섯 가지 요건

기준척도가 갖춰야 할 요건은 여섯 가지다.

적절성은 목표와 직접 이어져야 하고, 민감도는 대안 사이의 차이를 드러내야 한다.

진단성은 나쁜 값의 원인을 짚어야 하고, 신뢰성은 같은 조건에서 일관돼야 한다.

실용성은 현장에서 감당할 수 있어야 하고, 수용성은 이해관계자가 받아들여야 한다.

요건은 서로 얽혀 있어 한 요건을 높이려다 다른 요건을 낮추는 경우가 흔하다.

기준 설정 절차

기준은 목표에서 출발해 요건을 점검하면서 정한다.

요건을 만족하지 못한 후보는 버리고 다시 고른다.

대안별로 측정해 차이가 드러나야 판정 경계를 확정한다.

경계는 측정 결과의 분포를 보고 정하며, 확정 뒤에도 되돌아본다.

처리 시간 기준과 오류율 기준

측정 기준은 요건별로 나눠 비교하면 강약이 드러난다.

처리 시간 기준은 측정이 쉬워 실용성이 높지만, 적절성은 낮다.

오류율 기준은 안전 목표와 직접 이어져 적절성이 높고, 신뢰성도 높다.

이 표는 일반적인 경향이다. 목표와 측정 조건에 따라 평가가 달라진다.

흔한 실수와 채점 포인트

정답은 오류율 기준이다. 안전 목표와 직접 이어지기 때문이다.

흔한 실수 하나는 신뢰도와 타당도를 같은 뜻으로 쓰는 것이다.

일관되게 틀린 척도는 신뢰도는 높아도 타당도가 낮다.

민감도는 평균 차이가 아니라 조건 차이를 구별해 내는 능력이다.

천장 효과나 바닥 효과가 있으면 민감도가 떨어진다.

정리

평가척도는 목표를 대표하고 측정으로 판정할 수 있어야 한다.

여섯 요건은 얽혀 있어 한 요건을 높이려다 다른 요건이 낮아지기 쉽다.

측정 때문에 행동이 바뀌어 목표가 틀어지는지 정기적으로 되돌아본다.