실험연구 설계

왜 배우는가: 실무에서 새 제품이나 새 인터페이스가 기존 것보다 낫다는 주장을 증거로 뒷받침하려면 실험연구 설계가 필요하다. 기출에서도 독립변수와 종속변수의 정의, 평가 기준의 구분을 묻는 문항이 반복해 나왔다. 실험 조건과 집단 배치를 정확히 쓰는 능력이 답안의 점수를 좌우한다.

출제 이력: 제115회 2교시 4번, 제97회 2교시 1번

1. 한 줄 정의와 핵심 키워드

실험연구 설계는 독립변수를 연구자가 조작하고 나머지 변수를 통제해 종속변수의 변화로 인과관계를 확인하는 계획이다.

핵심 키워드는 다음과 같다.

• 독립변수
• 종속변수
• 통제변수
• 무작위 배치
• 통제집단
• 사전검사·사후검사
• 인과성
• 통계적 유의성

쉽게 말하면 원인을 바꿔 보고 결과가 바뀌는지 확인하는 조사다. 새 방식이 기존 방식보다 낫다는 주장을 말로만 하지 않고, 두 방식을 같은 조건에서 비교해 증명하는 틀이 실험연구 설계다. 답안 첫 줄에는 정의 문장을 그대로 쓰고, 이어서 독립변수와 종속변수를 바로 짝지어 제시한다.

2. 개념 풀이

실험연구 설계를 풀면 세 가지 질문에 답하는 과정이다. 무엇을 바꿨는가, 무엇을 측정했는가, 바꾼 것 말고 다른 이유는 없었는가. 이 세 질문에 답할 수 있으면 실험 설계가 된다.

정식 정의는 다음과 같다. 실험연구는 연구자가 원인 변수를 직접 조작하고, 그 밖의 변수는 일정하게 묶어 두며, 결과 변수의 차이를 집단 간에 비교하는 방법이다. 이 정의 안에 핵심 용어가 모두 들어 있다.

• 독립변수: 연구자가 직접 조작하는 원인 변수다. 두 가지 문자 입력 방식을 비교하면 입력 방식 자체가 독립변수다. 실험 시작 전에 정해야 한다.
• 종속변수: 독립변수의 영향을 받아 나타나는 결과 변수다. 입력 속도, 오류율, 만족도 점수가 이에 해당한다. 측정 방법을 미리 정의해야 한다.
• 통제변수: 실험 내내 값을 같게 묶어 두는 변수다. 화면 크기, 실험 환경, 피험자 연령대를 고정하면 결과 차이를 독립변수 탓으로 돌릴 수 있다.
• 무작위 배치: 피험자를 우연에 따라 집단에 나누는 절차다. 집단 사이의 특성 차이가 결과를 흔드는 것을 줄인다.
• 통제집단: 독립변수 조작을 받지 않는 비교 기준 집단이다. 실험집단의 변화가 조치 때문인지 가려낼 때 쓴다.
• 사전검사·사후검사: 조치 전과 후에 종속변수를 측정하는 것이다. 두 측정의 차이를 보면 조치의 효과를 확인할 수 있다.
• 인과성: 독립변수가 종속변수를 바꾼다는 원인과 결과의 관계다. 실험연구 설계가 존재하는 가장 큰 이유다.
• 통계적 유의성: 집단 간 차이가 우연으로 설명되기 어렵다는 판단이다. 보통 유의수준을 정해 검정한다.

독립변수 하나만 조작하고 나머지를 통제해야 인과관계를 말할 수 있다.

3. 등장 배경과 필요성

현장에서는 새 제품이나 새 입력 방식이 기존 것보다 낫다고 주장하는 일이 많다. 그러나 사용자 몇 명이 좋다고 말하는 것만으로는 우열을 가리기 어렵다. 주관적 느낌은 기대, 순서, 피로에 따라 쉽게 바뀌기 때문이다. 그래서 같은 조건에서 비교하는 실험으로 근거를 만든다.

인간공학에서는 이 필요가 더 크다. 사용자의 작업 성능과 반응은 환경과 개인 차이에 민감하다. 사용성을 효과성, 효율성, 만족도 세 측면으로 보는 국제 표준의 틀도 결과 변수를 여러 개 두고 비교해야 한다는 요구를 담는다. 국제표준화기구의 인간공학 기술위원회(TC-159)도 인간 특성과 인터페이스의 평가 기준을 표준화하고 있다.

A사의 입력 방식 사례로 보면 쟁점은 명확하다. 새 방식이 더 효과적인지를 입증하려면 두 방식을 같은 사용자 집단에 적용하고, 작업 성능과 사용자 반응을 함께 측정해야 한다. 실험연구 설계가 없으면 더 편하다는 주장은 검증되지 않은 인상에 머문다.

실험조사설계는 다른 조사 설계를 평가하는 기준 모델이 된다는 점에서도 필요하다. 현장 관찰이나 설문 조사가 가진 한계를 파악하려면 인과성을 확인하는 실험의 구조를 먼저 알아야 한다. 따라서 이 개념은 조사 방법론 전체의 출발점이다.

4. 구성요소·원리·절차

실험연구 설계는 네 가지 구성요소가 갖춰져야 성립한다. 표로 정리하면 다음과 같다.

표의 각 행이 빠지면 결과 해석이 흔들린다. 독립변수가 흐릿하거나 통제변수를 고정하지 않으면 차이의 원인을 말할 수 없다.

원리는 세 가지다. 첫째, 조작과 통제다. 독립변수만 바꾸고 나머지는 같게 둔다. 둘째, 무작위 배치다. 피험자의 특성 차이가 집단에 고르게 흩어지도록 한다. 셋째, 비교와 검정이다. 두 집단의 사후 차이가 통계적으로 의미 있는지 판단한다. 이 세 원리가 실험의 인과 판단을 떠받친다.

절차는 다음 다섯 단계다.

• 연구대상자를 난선화 방법으로 실험집단과 통제집단에 배치한다.
• 종속변수에 대한 사전검사를 두 집단에 실시한다.
• 실험집단에만 독립변수를 바꾼 조치를 적용하고 통제집단에는 적용하지 않는다.
• 두 집단 모두에 사후검사를 실시해 종속변수를 다시 측정한다.
• 두 집단의 사후 차이가 통계적으로 유의한지 검정한다. 유의한 차이가 있으면 독립변수의 인과적 영향이 지지되고, 없으면 인과관계 가설은 기각된다.

집단 차이의 크기는 두 집단 평균의 차이로 본다. 공식은 차이 = 실험집단 평균 - 통제집단 평균이다. 부호는 조치의 방향을 보여 주고, 크기는 유의성 검정과 함께 해석한다.

5. 관련 법령·기준·표준

이 개념은 특정 법령이 기준값을 직접 정하지 않는다. 대신 국제 표준과 통계 검정의 관례가 평가의 틀을 준다. 아래 표에 정리한다.

ISO 9241-11은 사용성을 사용자가 목표를 달성하는 정확성, 그 과정에 드는 노력, 만족의 세 측면으로 나눠 본다. 따라서 실험에서 종속변수를 한 가지로 좁히지 않고 적어도 두 측면을 함께 재는 것이 바람직하다. 국제 표준은 사용성을 사용 맥락에 따라 재야 한다고 본다.

국제표준화기구의 인간공학 기술위원회는 인간의 기본 특성, 인체 측정과 생체 역학, 인간과 기계 설비의 인터페이스, 작업 환경으로 표준 영역을 나눠 검토한다. 실험 설계에서는 이 영역 가운데 연구 질문에 해당하는 것을 골라 종속변수를 정한다.

통계 검정에서는 유의수준을 미리 정한다. 관례적으로 유의수준 0.05 이하를 많이 쓴다. 검정 결과의 p값(p-value)이 유의수준보다 작으면 두 집단의 차이를 의미 있다고 본다. 검정이 끝난 뒤 유의수준을 바꾸면 결과의 신뢰가 떨어진다.

산업안전 관련 법령이나 제품 안전 규격도 인간공학 표준과 연계되는 경우가 있으나, 이 개념 자체는 개별 법령의 수치를 정하지 않는다.

6. 유형과 비교

가장 단순한 실험 설계는 독립변수 하나를 두 수준으로 두고 종속변수 하나를 재는 두 조건 설계다. 여기서 출발해 설계의 엄밀성에 따라 유형을 나눈다. 아래 표는 대표 설계 세 가지를 비교한다.

진실험 설계는 무작위 배치와 통제집단을 모두 갖춘다. 그래서 인과 판단의 근거가 가장 강하다. 준실험 설계는 현장에서 무작위 배치가 어려울 때 쓰며, 집단 차이를 따로 보정해야 한다. 단일집단 사후 설계는 비교 기준이 없어 효과를 단정하기 어렵다.

두 개 이상의 독립변수를 함께 조작하는 요인 설계도 있다. 이 설계는 한 변수의 효과가 다른 변수의 수준에 따라 달라지는지까지 본다. 문자 입력 실험에서 입력 방식과 화면 크기를 함께 바꾸면 이런 설계가 된다.