사용성 평가방법

왜 배우는가: 사용성 평가방법은 설계자가 놓친 사용 문제를 실제 사용자로 찾아내는 도구라서 설계 검증의 기본이 된다. 키오스크처럼 사용자 특성이 다양한 제품에서는 전문가 판단만으로 부족하다. 기출에 여러 번 나온 개념이라 평가 목적, 방법, 통계 판단을 한 묶음으로 익혀야 한다.

출제 이력: 제139회 2교시 6번, 제130회 2교시 5번

1. 한 줄 정의와 핵심 키워드

쉬운 말로 풀면 사용성 평가방법은 “만든 사람의 눈이 아니라 쓰는 사람의 눈으로 제품을 재는 방법”이다. 설계자는 자기 기준으로 쉽다고 느끼지만, 실제 사용자는 메뉴 이름을 헷갈리거나 버튼의 위치를 찾지 못한다. 평가방법은 이 차이를 찾아내는 도구다.

답안 첫 줄에 쓸 정식 정의는 다음과 같다.

사용성 평가방법은 사용자가 제품을 쓰는 과정에서 효과성·효율성·만족도를 조사·관찰·측정해 설계 문제를 찾는 기법이다.

핵심 키워드는 다음과 같다.

• 사용성(usability): 특정 사용자가 특정 목적을 달성하는 정도
• 효과성: 과제를 정확하게 끝내는 정도
• 효율성: 적은 시간과 노력으로 끝내는 정도
• 만족도: 사용자가 느끼는 편안함과 수용 정도
• 사용자 조사: 사용자의 경험과 의견을 묻거나 관찰하는 활동
• 사용성 평가실험: 정해진 과제를 주고 수행을 재는 실험
• 에스노그라피: 실제 작업 현장에서 사용 흐름을 관찰하는 방법
• 포커스 그룹 인터뷰: 소집단 토론으로 의견과 욕구를 모으는 방법

2. 개념 풀이

사용성 평가는 설계안을 실제 사용자 앞에 놓고 과제를 수행하게 하거나, 사용 맥락을 보거나, 의견을 묻는 활동이다. 평가 결과는 “어디서 헷갈렸는가”와 “왜 헷갈렸는가”라는 두 질문에 답해야 한다. 그래야 설계자가 고칠 지점이 나온다.

평가방법은 자료를 얻는 방식으로 나눌 수 있다. 질문형은 사용자가 말로 답하게 하고, 실험형은 과제 수행을 수치로 재며, 관찰형은 사용자가 하는 행동을 그대로 본다. 세 방식은 서로 보완되므로 한 가지만 쓰기보다 목적에 맞춰 골라 쓴다.

포커스 그룹 인터뷰는 6~10명 정도의 사용자를 모아 진행하는 방법이다. 진행자가 주제별 질문을 던지며 토론을 이끈다. 제품 기획 단계에서 사용자가 무엇을 원하는지 파악하는 데 쓰인다. 결과는 수치가 아니라 집단의 의견과 표현이므로 아이디어를 찾는 데 강하다. 다만 한두 사람의 목소리가 토론을 끌고 갈 수 있어 진행자의 역할이 중요하다. 토론은 영상으로 기록해 인용문을 얻기도 한다.

사용성 평가실험은 실험실에서 사용자에게 정해진 과제를 주고 수행을 측정하는 방법이다. 완료 여부, 완료 시간, 오류 횟수를 기록하고, 사용자가 생각을 소리 내어 말하는 발화 프로토콜을 함께 쓰기도 한다. 조건을 통제할 수 있어 두 설계안을 비교하기에 좋다. 표본이 작은 편이라 정성 자료를 얻기 쉽고, 결과를 수치로 판정하려면 통계적 가설검정을 이어 쓴다.

설문조사와 인터뷰(survey and interview)는 많은 사용자에게 같은 질문을 주어 응답을 모으는 설문과, 소수와 깊이 대화하는 인터뷰를 묶은 방법이다. 설문은 넓은 범위의 응답을 짧은 시간에 모으고, 인터뷰는 응답의 이유를 파고든다. 설문은 응답자가 질문을 잘못 이해해도 알기 어렵지만, 인터뷰는 면담자가 질문을 고칠 수 있다. 두 방법을 섞으면 서로의 약점을 메운다.

관찰 에스노그라피(observer ethnography)는 사용자가 실제로 일하거나 생활하는 현장에 들어가 관찰하는 방법이다. 메모지, 책상 위 물건, 단축키 흔적, 휴지통 같은 작업의 흔적을 함께 본다. 작업 순서와 중간에 끼어드는 방해 요인을 기록해 사용자의 하루 흐름을 그린다. 관찰자가 활동에 끼어들지 않는 관찰형과, 직접 활동에 참여하는 참여형으로 나뉜다. 관찰형은 사용자에게 방해가 적고, 참여형은 사용자가 말하지 않는 암묵적 지식까지 드러낸다.

방법은 목적에 따라 고른다. 아이디어와 욕구를 찾을 때는 포커스 그룹이, 두 설계안의 수행 차이를 재려면 실험이, 넓은 집단의 인식을 보려면 설문이, 실제 맥락의 문제를 찾으려면 에스노그라피가 맞다. 평가는 한 번으로 끝나지 않고 설계가 바뀔 때마다 반복하는 과정이다.

3. 등장 배경과 필요성

제품이 복잡해지면서 사용자가 익숙하지 않은 조작을 해야 하는 상황이 늘었다. 가전과 자동차 계기판, 모바일 기기에 이어 키오스크와 무인 발급기까지 생기면서 사용자의 나이, 경험, 능력이 다양해졌다. 같은 화면을 두고도 어떤 사용자는 쉽게 끝내고 어떤 사용자는 중간에 멈춘다.

설계의 관점도 바뀌었다. 기술 중심 설계에서 사용자 중심 설계로 옮겨 가면서, 기능을 많이 넣는 것보다 사용자가 목적을 쉽게 이루는지가 제품의 성패를 가르게 되었다. 이 변화가 사용성 평가를 설계 과정의 필수 단계로 만들었다.

전문가 점검만으로는 부족하다. 전문가가 기준에 따라 화면을 점검하는 방법은 빠르고 비용도 적게 든다. 그러나 실제 사용자가 어디서 헷갈리는지는 알 수 없다. 사용성 테스트는 실제 사용자가 시스템을 어떻게 쓰는지에 대한 직접적인 정보를 준다. 그래서 사용자 참여형 방법이 전문가 점검을 보완하는 방법으로 자리 잡았다.

출시 뒤의 수정 비용도 문제다. 설계 단계에서 발견한 문제는 화면 몇 장을 고치면 되지만, 출시 뒤에 발견하면 양산, 교육, 고객 지원까지 다시 바꿔야 한다. 그래서 평가는 개발 초기 프로토타입 단계부터 반복된다.

문제에 나온 키오스크 실험이 이 필요를 잘 보여 준다. 고령자가 처음 쓰는 키오스크는 같은 메뉴를 주문해도 화면 구성에 따라 완료 시간과 오류가 달라진다. 이런 차이를 근거 있게 비교하려면 실험을 설계하고, 결과를 통계로 판단해야 한다. 이 지점에서 평가방법은 질문형, 관찰형, 실험형을 목적에 따라 나누어 쓰는 실천 지식이 된다.

4. 구성요소·원리·절차

사용성 평가는 여섯 가지 구성요소로 짠다. 첫째는 평가 목적이다. 무엇을 알고 싶은지 한 문장으로 정해야 방법과 지표가 정해진다. “수행이 얼마나 빠른가”를 묻는지, “왜 헷갈리는가”를 묻는지에 따라 쓸 방법이 달라진다.

둘째는 사용자다. 실제 제품을 쓸 사람과 같은 특성을 가진 참여자를 모집한다. 키오스크라면 기기 경험이 적은 고령자가 기준이 된다. 설계자나 동료가 대신 해 보는 것은 실제 사용자 평가를 대신하지 못한다.

셋째는 과제다. 사용자가 실제로 해야 할 목적을 과제로 정한다. 메뉴를 고르고 결제해 주문서를 출력하는 일처럼 시작과 끝이 분명해야 완료 여부와 시간을 잴 수 있다.

넷째는 환경이다. 실험실인지 실제 현장인지, 사용하는 기기와 화면 크기, 조명, 소음을 정한다. 환경이 바뀌면 같은 설계안도 다른 결과를 낸다.

다섯째는 측정 지표다. 효과성은 과제 완료율과 오류 횟수로, 효율성은 완료 시간과 필요한 조작 수로, 만족도는 설문 점수로 잰다. 세 지표는 서로 다른 것을 보므로 한 지표만 좋아졌다고 설계가 좋아졌다고 판단하지 않는다.

여섯째는 기록 방법이다. 영상, 관찰 기록지, 발화 기록을 쓴다. 발화 기록은 사용자가 과제 도중 생각을 소리 내어 말하게 해서 판단 과정을 남긴다.

평가에는 세 가지 원리가 따른다. 첫째 원리는 실제 사용자가 참여해야 한다는 것이다. 사용성 테스트는 사용자가 직접 제품을 써 보게 하여 평가하는 기법이고, 이전에 제품에 노출된 적이 없는 사용자를 대상으로 하는 경우가 많다. 둘째 원리는 과제 중심으로 행동을 관찰해야 한다는 것이다. 사용자가 무엇을 말했는지보다 실제로 무엇을 했는지가 설계 문제를 드러낸다. 셋째 원리는 평가가 반복되어야 한다는 것이다. 사용성 테스트는 한 번의 사건이 아니라 지속적으로 이어지는 과정이다.

둘째 원리는 설계자가 놓치기 쉬운 부분을 드러낸다. 설계자는 자신이 쓰는 기준으로 제품을 보기 때문에 사용자의 혼란을 알아채기 어렵다. 그래서 평가는 설계자의 눈 밖에서 얻은 행동 자료를 필요로 한다.

평가 절차는 다음과 같다.

• 평가 목적과 대상 기능을 정한다.
• 실제 사용자 특성에 맞춰 참여자를 모집한다.
• 실제 과제를 만들고 측정 지표와 기록 방법을 정한다.
• 과제를 수행하게 하고 완료 여부, 시간, 오류, 발화를 기록한다.
• 기록을 분석해 문제와 원인을 찾고, 설계 개선안에 반영한다.

절차의 핵심은 5번에서 다시 4번으로 돌아가는 되먹임 고리다. 개선안은 같은 과제로 다시 재어야 효과가 확인된다. 완료 시간이 줄었더라도 오류가 늘었다면 효율성은 좋아졌지만 효과성은 나빠진 것이므로, 세 지표를 함께 놓고 판단한다.

가상의 예로 보자. 개선 화면에서 주문 완료 시간은 줄었는데 잘못 주문하는 사례가 늘었다면, 화면은 빨라졌지만 정확하게 쓰이지 않는 것이다. 이때 설계자는 완료 시간을 근거로 채택하지 않고, 오류가 생긴 단계를 기록에서 찾아 그 원인을 고친다. 지표를 하나씩 따로 보면 이런 판단이 빠지기 쉽다.

5. 관련 법령·기준·표준

사용성과 관련된 기준은 국제 표준과 국내 법령으로 나뉜다. 국제 표준은 사용성의 정의와 인간중심 설계 절차를 정한다. 국내에서는 장애인·노인·임산부 등의 편의증진 보장에 관한 법률(편의증진법)이 고령자와 장애인의 시설과 정보 이용을 다룬다. 이 절은 기준의 이름과 핵심 내용만 정리한다.

ISO 9241-11은 사용성을 효과성·효율성·만족도로 정의한다. 이 정의 때문에 사용성 평가의 지표는 완료율, 시간, 설문 점수로 정해진다.

ISO 9241-210은 인간중심 설계 절차를 규정한다. 설계안을 만들고 실제 사용자로 평가한 뒤 다시 고치는 반복이 그 핵심이다.