계수형 MSA

왜 배우는가: 실무에서 계수형 측정시스템은 합격과 불합격을 판정하는 검사 설비와 게이지에서 가장 흔하게 쓰인다. 판정이 틀리면 부적합품 유출이나 양품 폐기로 비용이 커지므로, 판정 설비의 신뢰성을 검증하는 방법으로 중요하다. 시험에서도 판정 오류의 종류와 Kappa 판단 기준을 묻는 문항이 자주 나온다.

출제 이력: 제124회 1교시 2번, 제119회 1교시 12번, 제119회 2교시 3번, 제109회 2교시 1번, 제104회 1교시 12번, 제103회 3교시 1번, 제95회 3교시 5번

1. 한 줄 정의와 핵심 키워드

계수형 MSA는 합격과 부적합처럼 범주로 판정하는 측정시스템의 정확성과 일관성을 평가하는 분석이다.

• 계수형 측정시스템: 측정 결과가 합격·부적합, 적합·부적합처럼 범주 값으로 나오는 측정시스템이다.
• 계수치: 개수나 범주로 세어 얻는 데이터이며, 연속된 측정값과 구분된다.
• 일치율: 전체 판정 가운데 기준값과 판정 결과가 같은 비율이다.
• Kappa 계수: 우연에 의한 일치를 보정한 평가자 간 일치도 지표이다.
• 오분류율: 합격품을 부적합으로, 부적합품을 합격으로 잘못 판정하는 비율이다.
• 1종 과오: 양품을 불량으로 판정하는 오류이다.
• 2종 과오: 불량을 양품으로 판정하는 오류이다.

계수형 MSA는 연속형 게이지 반복성·재현성(Gage R&R)을 적용하기 어려운 검사 상황에서 쓰인다. 기준값을 알고 있는 시료를 평가자가 판정했을 때 그 판정이 기준과 얼마나 맞는지, 평가자끼리 얼마나 같은 판정을 내리는지를 함께 본다. 두 판정 결과의 일치 여부가 평가의 출발점이 되므로 이 분석은 맞는가와 같은가를 동시에 묻는다.

2. 개념 풀이

계수형 MSA의 정식 정의는 측정값이 연속된 수치가 아니라 두 개 이상의 범주로 판정되는 측정시스템을 대상으로, 판정의 정확성과 일관성을 통계적으로 평가하는 절차이다. 측정시스템의 변동은 기준값에 대한 편의와 같은 판정을 반복하는 능력으로 나누어 볼 수 있으며, 계수형에서는 이 둘을 판정 결과의 일치 여부로 측정한다. 따라서 오차가 수치 편차가 아니라 맞고 틀림의 형태로 나타나는 점이 연속형과 가장 큰 차이이다.

계수형 MSA의 핵심은 판정이 기준값과 일치하는지와 평가자끼리 일치하는지를 동시에 보는 것이다.

원리는 다음과 같다. 기준값과의 일치는 정확성에 대응하고, 같은 평가자가 같은 시료를 여러 번 판정했을 때의 일치는 일관성(반복성)에 대응하며, 평가자들 사이의 일치는 재현성에 대응한다. 기준값을 알고 있는 시료에 대해 판정을 여러 번 반복하면 각 평가자가 얼마나 일관되게 맞히는지가 드러나고, 평가자 간 결과를 비교하면 방법이나 교육에서 생기는 재현성 문제를 찾을 수 있다.

일치율은 전체 판정 수 대비 기준값과 판정이 같았던 횟수의 비율이다. 일치율은 계산이 간단하지만, 판정 결과가 우연히 맞았을 가능성을 제거하지 못한다는 한계가 있다. 이 한계를 보완하는 지표가 Kappa 계수이다.

Kappa 계수는 관측된 일치율에서 우연에 의해 기대되는 일치율을 뺀 값을, 우연 일치를 제외한 최대 여지로 나눈 값이다. 식으로 쓰면 κ = (관측 일치율 − 기대 일치율) ÷ (1 − 기대 일치율)이다. 값이 1이면 완전 일치를 뜻하고 0이면 우연 수준의 일치를 뜻한다. 일반적으로 Kappa 0.75 이상이면 일치도가 양호하고, 0.40 미만이면 판정 능력이 부족한 것으로 본다.

오분류는 두 종류로 나뉜다. 양품을 불량으로 판정하는 1종 과오는 생산자 위험에 해당하며 불필요한 재작업과 폐기 비용을 낳는다. 불량을 양품으로 판정하는 2종 과오는 소비자 위험에 해당하며 불량 유출과 고객 클레임으로 이어진다. 두 오류는 서로 반대 방향으로 작용하므로, 판정 기준을 한쪽으로만 조정하면 다른 쪽 오류가 커진다.

자료 구조는 시료별로 평가자와 반복 횟수에 따라 판정 결과를 행과 열로 배열하는 형태이다. 시료 수가 적으면 우연 변동의 영향이 커지므로, 부적합품과 합격품을 고루 포함하도록 시료를 선정한다. 평가자는 실제 작업을 하는 사람 중에서 선발하고, 시료의 반복 측정 순서를 무작위로 섞어 평가자가 이전 판정을 기억하지 못하도록 한다. 이 설계 절차가 결과의 신뢰도를 좌우하므로 분석 전에 정해 둔다.

3. 등장 배경과 필요성

제조 현장에서는 한계게이지나 기능게이지처럼 합격과 불합격만 판정하는 검사 설비가 많다. 이런 설비는 측정값을 수치로 남기지 않으므로 연속형 Gage R&R을 바로 적용하기 어렵다. 그래서 판정 결과 자체를 데이터로 삼아 평가하는 계수형 분석이 필요해졌다.