머신러닝 성능지표

왜 배우는가: 머신러닝 모델은 정확도 하나로 평가하면 불균형 데이터에서 잘못된 결론을 내리기 쉽다. 정밀도·재현율·F1 같은 지표를 혼동행렬에서 정확히 계산하고 해석하는 능력은 실무에서 모델 선정과 비용 판단의 기준이 되며, 시험에서는 용어 정의와 지표 간 트레이드오프를 묻는 문제로 반복해 나온다.

출제 이력: 제134회 1교시 3번, 제116회 1교시 10번

1. 한 줄 정의와 핵심 키워드

머신러닝 성능지표는 혼동행렬(Confusion Matrix)의 네 값을 조합해 모델의 예측 정확성과 오류 유형을 수치로 나타내는 척도다.

• 혼동행렬(Confusion Matrix)
• 정밀도(Precision)
• 재현율(Recall)
• F1 Score
• 정확도(Accuracy)
• 위양성(False Positive)·위음성(False Negative)
• ROC-AUC

2. 개념 풀이

쉽게 말하면, 모델이 맞게 맞힌 비율만 보지 않고 어떤 종류의 틀림이 많은지를 따져 보는 도구다. 분류 문제에서 예측 결과는 실제 값과 예측 값의 조합에 따라 네 칸으로 나뉘며, 이를 표로 정리한 것이 혼동행렬(Confusion Matrix)이다. 참양성(TP), 거짓양성(FP), 거짓음성(FN), 참음성(TN)이 기본 단위가 된다.

정밀도(Precision)는 양성으로 예측한 것 중 실제 양성인 비율이다. 식은 TP를 TP와 FP의 합으로 나눈 값이며, 거짓 경보를 얼마나 줄였는지를 뜻한다. 스팸 필터처럼 정상 메일을 스팸으로 잘못 분류하는 비용이 큰 경우에 중요하다.

재현율(Recall)은 실제 양성 중 모델이 양성으로 찾아낸 비율이다. 식은 TP를 TP와 FN의 합으로 나눈 값이며, 민감도(Sensitivity)라고도 부른다. 질병 진단처럼 양성을 놓치는 비용이 큰 경우에 중요하다.

$\text{Precision}=\frac{TP}{TP+FP},\qquad \text{Recall}=\frac{TP}{TP+FN}$

여기서 TP는 참양성 수, FP는 거짓양성 수, FN은 거짓음성 수다. 두 값은 분모가 다르므로 한쪽을 높이면 다른 쪽이 떨어지는 경우가 많다.

F1 Score는 정밀도와 재현율의 조화평균이다. 두 값 중 하나라도 낮으면 F1이 크게 낮아지므로, 한쪽만 높은 모델을 걸러내는 데 쓴다. 정밀도와 재현율이 모두 0이 아니어야 의미가 있으며, 가능한 최대값은 1.0이다.

3. 등장 배경과 필요성

초기에는 정확도(Accuracy)로 모델을 평가하는 경우가 많았다. 정확도는 전체 중 맞힌 비율이라 직관적이지만, 양성이 극히 드문 데이터에서는 모두 음성이라고 답해도 정확도가 높게 나온다. 예를 들어 양성 비율이 1%인 데이터에서 항상 음성을 예측하는 모델은 정확도가 99%이지만 실제 양성은 하나도 찾지 못한다.

이 문제를 해결하려고 클래스 불균형에 강한 지표가 필요해졌다. 정밀도와 재현율은 양성 클래스에 초점을 맞추어 오류의 종류를 나누어 보게 한다. 또한 두 지표는 서로 반비례하는 경향이 있어, 하나의 숫자로 균형을 보는 F1 Score가 함께 쓰이게 되었다. 실무에서는 오류 비용에 따라 FP와 FN 중 무엇을 더 줄일지 정하고, 그에 맞는 지표를 고른다.

4. 구성요소·원리·절차

머신러닝 성능지표는 분류 모델의 예측 결과를 혼동행렬(Confusion Matrix) 의 네 칸으로 나누어 계산한다. 네 칸은 참 양성(TP), 거짓 양성(FP), 거짓 음성(FN), 참 음성(TN)이다. 모든 지표는 이 네 값의 조합이다.

표의 네 칸은 모든 분류 지표의 출발점이다. FP와 FN의 비용이 다르므로 한 값만으로 성능을 판단하지 않는다.

정밀도(Precision) 는 양성으로 예측한 것 중 실제 양성의 비율이다. 재현율(Recall) 은 실제 양성 중 양성으로 찾아낸 비율이다. 두 값은 서로 반비례하는 경향이 있다. 임계값을 높이면 정밀도는 오르고 재현율은 내려간다. 임계값을 낮추면 반대가 된다.

F1 점수는 정밀도와 재현율의 조화평균이다. 조화평균은 두 값 중 작은 쪽에 더 민감하다. 따라서 한쪽이 극단적으로 낮으면 F1도 낮게 나온다.

원리는 다음과 같다. 모델은 각 데이터에 양성일 확률을 출력한다. 임계값을 정해 확률이 임계값을 넘으면 양성으로 판정한다. 임계값을 바꿀 때마다 TP, FP, FN, TN이 달라지고 정밀도와 재현율이 함께 움직인다. 이 궤적을 정밀도-재현율 곡선(PR curve)으로 그린다.

계산 절차는 다음과 같다.

• 테스트 데이터의 실제 라벨과 예측 라벨을 비교하여 혼동행렬을 만든다.
• TP, FP, FN, TN 네 값을 센다.
• 정밀도 P = \frac{TP}{TP+FP} 를 계산한다.
• 재현율 R = \frac{TP}{TP+FN} 를 계산한다.
• F1 점수 F_1 = \frac{2PR}{P+R} 를 계산한다.
• 정확도 Acc = \frac{TP+TN}{TP+FP+FN+TN} 와 함께 불균형 여부를 확인한다.

계산 예제는 다음과 같다. 주어진 값은 TP=70, FP=4930, FN=13930, TN=981070이다. 정밀도는 P = 70/(70+4930) = 0.014 이다. 재현율은 R = 70/(70+13930) = 0.005 이다. F1은 F_1 = 2\times0.014\times0.005/(0.014+0.005) \approx 0.0074 이다. 정확도는 (70+981070)/1000000 = 0.98114 이다. 정확도는 0.98로 높지만 정밀도와 재현율은 매우 낮다. 결과는 양성이 극소수인 불균형 데이터에서 정확도가 모델을 잘못 보여준다는 것을 보인다.

5. 관련 법령·기준·표준

머신러닝 성능지표는 법령으로 수치가 정해진 영역이 아니다. 기준은 학계 정의와 평가 관행에 따른다. 다만 AI 시스템의 신뢰성 확보 맥락에서 성능 보고 체계를 정하는 국내외 기준이 있다.

위 표의 값은 0~1 범위의 정의이며 조문 기준 수치가 아니다. AUC의 0.5 기준은 무작위 분류기 수준을 뜻한다. 정밀도와 재현율의 조화평균 정의는 F 스코어 문헌과 일치한다. 관련 제도로는 AI 신뢰성 검인증과 생성형 AI 이용자 보호 가이드라인이 있으며, 구체적 성능 수치 요건은 해당 문서 원문을 따른다.

개정 연혁은 본 절에서 다루지 않는다. 지표 정의 자체는 오랫동안 동일하다.

6. 유형과 비교

머신러닝 성능지표는 문제 유형(분류·회귀)과 목적(오류 비용, 클래스 불균형)에 따라 달리 고른다. 분류 지표는 혼동행렬(Confusion Matrix)의 TP·FP·FN·TN 네 칸에서 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score로 나뉜다. 회귀 지표는 오차의 크기를 기준으로 한다.

분류 지표의 정의와 수식을 비교하면 다음과 같다.

정확도는 클래스 비율이 한쪽으로 치우치면 무의미해진다. 따라서 불균형 데이터에서는 정밀도와 재현율을 함께 본다.

F1-Score는 정밀도와 재현율의 조화평균이다. 조화평균은 두 값 중 작은 쪽에 가까운 값을 내므로 한쪽만 높은 모델을 걸러낸다. 비가중 F1은 두 지표를 동등하게 보며, 가중치를 둔 F_β는 β에 따라 재현율 쪽 또는 정밀도 쪽에 무게를 준다.