교육평가의 양호도

핵심 정리

교육평가의 양호도는 검사나 평가 도구가 좋은 도구인지를 판단하는 기준이다. 대표적인 양호도는 타당도와 신뢰도, 그리고 객관도와 실용도까지 네 가지다. 네 양호도는 서로 다른 물음에 답하므로 하나가 확보되었다고 나머지가 저절로 확보되지는 않는다. 그래서 검사를 설계하는 쪽은 네 기준을 따로 점검해야 하고, 수험생은 선지가 어느 기준을 말하는지 먼저 가려야 한다.

타당도는 검사가 본래 재려는 것을 충실히 재는지의 문제이다. 신뢰도는 반복 측정에서 결과가 일관성 있게 나타나는 정도이다. 두 양호도는 따로 떼어 판단할 수 없는 관계에 있다. 신뢰도는 타당도의 필요조건이지만 충분조건은 아니다. 이 관계 때문에 신뢰도 점검은 타당도 검토의 출발점으로 쓰이지만, 신뢰도 점검만으로 검토가 끝나는 것은 아니다.

타당도 증거는 검사가 의도한 특성을 측정하는지를 보여 주는 자료를 모으는 과정이다. 이 증거는 검사 점수를 다른 준거와 맞춰 보는 방식으로도 얻을 수 있다. 증거를 모으는 단계에서는 요인분석 등 여러 통계적 방법이 쓰인다.

검사를 고를 때는 실시 목적에 적합한 내용의 검사를 선택해야 한다. 선택 기준은 한두 가지에 그치지 않는다. 검사는 타당도·신뢰도·객관도·실용도를 고려하여 선택해야 한다. 어느 한 기준만 높은 검사는 다른 기준에서 약점을 드러내기 쉬우므로, 네 기준을 함께 놓고 비교하는 것이 기본 태도다.

자세히

준거·공인·예언·내용 타당도

타당도 증거를 외적 기준과의 관계로 얻는 방법은 여러 갈래다. 내용타당도는 상관계수가 아니라 전문가의 판단에 기대는 검증이다. 내용 전문가가 측정하려는 속성을 제대로 재고 있는지 판단하여 검증한다. 이 점이 공인타당도와 예언타당도와 가장 큰 차이다. 공인타당도는 새 검사의 점수를 이미 타당도가 검증된 외적 준거와 같은 시점에 상관으로 비교하여 확인한다. 공인타당도의 핵심은 비교 대상인 기존 도구의 타당성이 먼저 입증되어 있어야 한다는 점이다. 예언타당도도 상관으로 따지지만 기준이 되는 행동이 미래에 나타난다는 점이 다르다. 예언타당도는 시점이 미래이고 공인타당도는 같은 시점이라는 점에서 두 유형은 구분된다.

구인타당도의 구조

구인타당도는 직접 관찰되지 않는 심리적 특성을 다루는 타당도다. 그래서 구인타당도는 구인을 어떻게 드러내고 검사와 연결할지부터 살펴야 하는 작업이다. 조작적 정의를 먼저 세운다 직접 관찰되지 않는 심리적 특성인 구인을 분석해 조작적 정의를 부여하고, 검사가 이를 측정하는지 검증하는 타당도가 구인타당도다. 구인타당도의 증거를 모으는 데는 준거타당도를 활용할 수 있다. 상관관계분석과 요인분석을 통해 구인타당도를 검증하는 것도 가능하다. 다만 측정하려는 구인과 무관한 내용이 검사도구에 포함되면 구인타당도가 낮아진다. 이 점은 문항이 구인의 범위를 벗어나지 않도록 골라야 한다는 뜻으로 읽어야 한다.

신뢰도의 개념과 해석

신뢰도는 측정이 오차 없이 얼마나 정확하고 일관되게 이루어지는가와 관련된다. 여기서 일관성은 반복 측정의 결과가 같은 방향으로 나오는지를 가리킨다. 그러나 점수 일관성이 곧 타당도는 아니다. 반복 측정에서 결과가 일관되더라도 측정하려는 것을 충실히 재지 못하면 신뢰도는 높고 타당도는 낮을 수 있다. 따라서 신뢰도 수치를 보고 타당도를 짐작하는 것은 위험하다. 반분신뢰도는 문항을 두 부분으로 나누는 방법에 따라 신뢰도 값이 달라지는 단점이 있다. 이 단점은 같은 검사라도 나누는 방식에 따라 결과가 흔들릴 수 있음을 보여 준다.