측정의 신뢰도와 타당도

핵심 정리

측정은 어떤 속성을 수나 범주에 대응시키는 과정이며, 그 결과가 쓸모 있는지는 신뢰도와 타당도라는 두 기준으로 판단한다. 정확한 측정을 하려면 측정도구가 타당도와 신뢰도를 모두 확보하여야 한다.

신뢰도는 측정도구가 측정하고자 하는 현상을 일관되게 측정하는 정도다. 신뢰도가 확보되었는지는 측정 결과가 흔들리지 않는지로 가늠하며, 이 기준은 측정이 얼마나 믿을 만한지를 묻는 출발점이 된다.

타당도는 측정하고자 한 것을 실제로 재는 정도다. 두 개념의 관계는 한쪽으로만 정리된다. 신뢰도가 낮으면 타당도도 낮을 수밖에 없으므로 신뢰도는 타당도의 상한선을 정한다. 반대로 신뢰도를 지나치게 높이면 타당성이 희생될 수 있다. 본질적으로 같은 질문을 되풀이해 신뢰도를 올리면 내용 타당성이 떨어지는 상충관계가 생기며, 완벽한 신뢰도를 가진 측정은 오히려 타당성이 결여되는데 이를 attenuation paradox라고 부른다.

타당도는 크게 내적 타당도와 외적 타당도로 나누어 본다. 외적타당도는 서술된 인과관계가 연구 조건을 넘어 일반화될 수 있는 정도를 말한다. 내적 타당도를 저해하는 요인은 아래에서 따로 본다.

측정 오류를 줄이려면 신뢰도와 타당도가 확보된 측정 도구를 활용해야 한다. 측정 도구를 고르는 일이 출발점이며, 질문을 어떻게 구성하고 응답자가 어떤 상태에서 답하는지를 점검하는 일이 그다음 단계다.

자세히

측정 오류를 줄이는 조사 설계

측정 오류는 조사 설계 단계에서 상당 부분 줄일 수 있다. 질문 문항을 분명하게 작성해 모호성을 줄이고 측정항목을 구체화하면 신뢰도가 높아지고 일관된 측정이 가능해진다. 문항이 모호하면 응답자마다 다른 뜻으로 답하게 되고, 그 차이가 측정값의 흔들림으로 나타난다. 이런 흔들림이 줄어들 때 비로소 문항의 모호성 줄이기가 신뢰도 향상으로 이어진다고 볼 수 있다. 표준화된 측정도구를 사용하면 측정의 신뢰도가 높아진다. 표준화는 도구를 누가 쓰든 같은 방식으로 적용되게 한다는 점에서 일관성과 맞닿아 있다.

응답자 쪽의 조건도 오류를 좌우한다. 조사대상자가 이해할 수 있는 수준의 어휘를 사용하면 측정 오류를 줄일 수 있다. 편견이 개입될 수 있는 용어를 배제하여 설문지를 구성하면 측정 오류를 줄일 수 있다. 응답자가 무관심하거나 잘 모르는 내용은 측정하지 않는 것이 좋다.

문항 쪽 조치는 측정값의 일관성을 높이는 데 초점이 있고, 응답자 쪽 조치는 응답자가 질문을 이해하고 답할 수 있는 상태를 만드는 데 초점이 있다. 두 측면을 함께 점검하는 것이 측정 오류를 줄이는 출발점이 된다.

신뢰도의 의미와 무작위 오류

신뢰도는 측정값들의 일관성을 의미한다. 신뢰도 검사는 측정도구가 일관성 있는 결과를 내는지 확인하는 것이다. 두 문장은 대상이 측정값이냐 측정도구냐의 차이가 있을 뿐, 일관성을 기준으로 삼는다는 점에서 같다.

오류를 우연에 의한 것과 한쪽으로 치우친 것으로 나누어 보면, 신뢰도와 직접 연결되는 쪽은 우연에 의한 무작위 오류다. 측정의 무작위적 오류가 적을수록 신뢰도가 높아진다. 무작위 오류는 우연에 의한 것으로 측정의 신뢰도와 관련되며 내적 타당도 저해요인이 아니다. 무작위 오류는 측정할 때마다 방향이 일정하지 않게 생기므로, 여러 번 재어도 결과가 한쪽으로 쏠리지 않는다. 그러나 결과가 일관된다고 해서 측정이 옳다고 보장되지는 않는다는 점은 앞에서 본 타당도 문제와 이어진다.

척도의 수준과 간격

측정 결과는 척도의 수준에 따라 해석의 폭이 달라진다. 등간척도는 속성들 간의 거리를 일정한 간격으로 구분한 척도이다. 등간척도는 값 사이의 차이는 의미가 있으나 비율은 의미가 없으며, 토익 점수와 지능지수가 그 예시이다.