혼동행렬

혼동행렬이란

혼동행렬은 분류 모델의 성능을 한 장의 표로 보여 주는 기본 평가 도구다.

정확도만 보고 모델을 고르면 불균형 데이터에서 잘못된 결론을 내리기 쉽다.

그래서 정밀도·재현율·F1-score를 함께 읽는 법을 알아야 한다.

시험에서는 TP·FP·FN·TN 정의와 지표 계산이 반복해서 출제된다.

2×2 표의 네 칸

혼동행렬은 예측값과 실제값을 TP·FP·FN·TN 네 칸으로 나눈 2×2 표다.

행은 실제값, 열은 예측값으로 두는 방식이 널리 쓰인다. 답안에 이를 명시한다.

TP는 양성을 양성으로, TN은 음성을 음성으로 맞힌 경우다.

FP는 음성을 양성으로 잘못 낸 제1종 오류, FN은 양성을 놓친 제2종 오류다.

네 칸의 합은 전체 테스트 건수와 같다.

성능 지표 산식

정확도는 전체 건수 중 맞힌 비율이다.

정밀도는 양성이라고 예측한 것 중 실제 양성의 비율이다.

재현율은 실제 양성 중 찾아낸 비율이다.

F1-score는 정밀도와 재현율의 조화평균이라 산술평균과 다르다.

두 지표의 분모가 다르다는 점을 답안에 분명히 써야 한다.

계산 예제

TP=100, FP=5, FN=7, TN=9라고 하자. 전체는 121건이다.

정확도는 (100+9)/121로 약 90%다. 음성이 14건뿐이라 과대평가될 수 있다.

정밀도는 100/105로 95%, 재현율은 100/107로 93%다. 분모가 서로 다르다.

F1-score는 200/212로 약 94%다. 정밀도와 재현율 사이에 놓인다.

정답은 107이다. 실제 양성 107건 중 100건을 찾았으므로 재현율은 93%다.

헷갈리는 점과 정리

흔한 실수는 정확도만 보고 모델이 우수하다고 결론짓는 것이다.

양성 107건, 음성 14건인 데이터에서 모두 양성으로 예측해도 정확도는 약 88%다.

그러므로 정밀도·재현율·F1을 함께 보고하는 것이 답안의 요점이다.

FP는 제1종 오류, FN은 제2종 오류이며 두 오류는 반비례하는 경향이 있다.

정밀도 분모는 TP+FP, 재현율 분모는 TP+FN이다.