PR 곡선과 ROC 곡선

왜 배우는가: PR 곡선과 ROC 곡선은 이진 분류 모델을 임계값 전 범위에서 평가하는 대표 도구다. 데이터가 한쪽 클래스로 치우친 실무 문제에서는 두 곡선의 해석이 달라지므로 비교 문항으로 반복 출제된다.

출제 이력: 제135회 1교시 1번, 제102회 1교시 9번

1. 한 줄 정의와 핵심 키워드

ROC 곡선은 FPR과 TPR의, PR 곡선은 재현율과 정밀도의 관계를 임계값 변화에 따라 그린 이진 분류 성능 곡선이다.

핵심 키워드는 다음과 같다.

• 임계값: 모델의 연속 점수를 양성과 음성으로 가르는 기준값이다.
• 혼동행렬: 실제값과 예측값을 TP, FP, FN, TN 네 칸으로 정리한 표다.
• 진양성률(TPR): 실제 양성 중 양성으로 맞게 판정한 비율이다.
• 위양성률(FPR): 실제 음성 중 양성으로 잘못 판정한 비율이다.
• 정밀도: 양성으로 판정한 것 중 실제 양성인 비율이다.
• 재현율: 실제 양성 중 찾아낸 비율이며 TPR과 같은 식이다.
• AUC: 곡선 아래 면적으로, 임계값 전 범위의 판별력을 한 수로 요약한다.

2. 개념 풀이

쉬운 말로 풀면 이렇다. 분류 모델은 입력마다 점수를 내고, 그 점수가 기준선을 넘으면 양성이라고 판정한다. 기준선을 낮추면 양성을 더 많이 찾지만 잘못 잡는 양성도 늘어난다. 기준선을 바꿀 때마다 두 지표가 함께 움직이고, 그 궤적을 그린 것이 두 곡선이다.

정식 정의로 ROC 곡선은 수신자 조작 특성(ROC) 곡선이다. 임계값을 0부터 1까지 바꾸면서 얻은 (FPR, TPR) 점들을 연결한 곡선이다. 신호탐지이론에서 신호 탐지의 민감도와 반응 편향이 함께 만드는 특성을 나타내는 데서 출발했다. 이 곡선은 판별 공간(ROC space)에 그려지며, x축이 FPR, y축이 TPR이다.

PR 곡선은 정밀도-재현율 곡선이다. 같은 임계값 변화에서 재현율을 x축, 정밀도를 y축에 그린다. 정밀도는 양성 예측의 신뢰도를, 재현율은 양성을 찾아내는 능력을 나타낸다. 두 곡선 모두 혼동행렬에서 계산하므로 같은 자료로 함께 그릴 수 있다.

기본 식은 다음과 같다. TP는 양성을 양성으로 맞힌 수, FN은 양성을 음성으로 놓친 수, FP는 음성을 양성으로 잘못 판정한 수, TN은 음성을 음성으로 맞힌 수다.

$TPR = Recall = \frac{TP}{TP+FN}$

$FPR = \frac{FP}{FP+TN}$

$Precision = \frac{TP}{TP+FP}$

ROC 곡선에서 완벽한 분류기는 좌상단 (0, 1) 점을 지난다. 무작위 분류기는 대각선 위에 놓이며 AUC 0.5 이다. AUC가 0.5보다 낮으면 무작위 판별보다 못한 것이므로 모델 성능을 다시 점검해야 한다.

ROC 곡선은 각 집단 내 비율로 계산하므로 양성 비율이 바뀌어도 곡선 모양이 변하지 않는다.

반면 정밀도는 양성 개수에 따라 값이 달라진다. 따라서 PR 곡선은 양성 비율의 영향을 받는다. 이 차이가 두 곡선의 쓰임을 가른다.

3. 등장 배경과 필요성

정확도(Accuracy) 하나로 분류기를 평가하면 한계가 크다. 양성이 극히 드문 문제에서는 모두 음성이라고 답해도 정확도가 높게 나온다. 가상의 예로, 양성 비율이 1%인 데이터에서 전부 음성으로 예측하면 정확도는 99%가 된다. 그러나 양성을 하나도 찾지 못한다. 그래서 혼동행렬의 여러 칸을 함께 보는 지표가 필요해졌다.

단일 임계값에서의 지표도 한계가 있다. 임계값을 바꾸면 TPR과 FPR, 정밀도와 재현율이 모두 바뀐다. 모델을 비교하려면 임계값 전 범위의 성능을 한 번에 보여주는 도구가 필요하다. ROC 곡선과 PR 곡선은 이 요구에서 나왔다.

ROC 곡선은 신호탐지이론에서 발전했다. 신호와 잡음을 구별하는 능력을 평가하던 방식이며, 의료 진단에서 민감도와 특이도의 균형을 정하는 데 쓰였다. 이후 머신러닝의 이진 분류 평가 도구로 자리 잡았다.

PR 곡선은 양성이 드문 문제에서 필요성이 커졌다. 사기 탐지, 설비 결함 탐지처럼 찾아야 할 대상이 소수인 문제가 대표적이다. 이런 문제에서는 음성을 많이 맞힌 성과가 평가를 가리므로, 양성 쪽 정밀도와 재현율이 더 민감한 평가가 된다. 그래서 불균형 데이터 평가에서는 PR 곡선과 그 면적인 평균 정밀도(AP)를 함께 쓴다.

운영 단계에서도 곡선이 필요하다. 실제 업무에서는 오탐의 비용과 미탐의 비용을 저울질해 임계값을 정한다. 곡선을 보면 목표 재현율이나 허용 오탐률에 맞는 임계값 구간을 찾을 수 있다. 따라서 두 곡선은 모델 비교와 임계값 결정의 근거를 함께 제공한다.

4. 구성요소·원리·절차

PR 곡선과 ROC 곡선은 같은 예측 결과를 서로 다른 두 축으로 바라본다. 둘 다 분류 임계값(threshold)을 0에서 1까지 움직이며 혼동행렬(혼동행렬)의 값을 다시 계산해 점으로 찍는다. 점들을 이으면 곡선이 된다. 따라서 구성요소는 임계값, 혼동행렬의 네 칸(TP, FP, TN, FN), 그리고 두 축을 만드는 지표다.

ROC 곡선은 x축에 FPR, y축에 TPR을 둔다. 이 평면을 ROC 공간이라 한다. 점 (0,0)은 모든 것을 음성으로 판정한 경우, 점 (1,1)은 모든 것을 양성으로 판정한 경우다. 점 (0,1)이 가장 이상적이다. PR 곡선은 x축에 재현율, y축에 정밀도를 둔다. 완벽한 분류기는 (1,1) 점을 지난다.

원리는 다음과 같다. 임계값을 낮추면 양성 판정이 늘어 TPR과 FPR이 함께 오른다. 임계값을 높이면 둘 다 내려간다. 좋은 모델은 FPR이 작은 구간에서 TPR이 빠르게 오른다. 그래서 곡선이 왼쪽 위로 굽는다. 곡선 아래 면적(AUC)이 1에 가까울수록 판별력이 좋다. 무작위 분류기의 ROC는 대각선이며 AUC는 0.5다.

PR 곡선은 정밀도가 양성 개수에 크게 좌우된다. 음성 수가 많아져도 FP가 적으면 정밀도는 유지된다. 이 때문에 양성이 드문 문제에서 모델 차이가 더 잘 드러난다.

ROC 곡선은 FPR-TPR 평면, PR 곡선은 재현율-정밀도 평면에 임계값별 점을 이은 것이다

절차는 다음과 같다.

• 모델이 각 샘플에 대해 양성 확률 점수를 낸다.
• 점수를 내림차순으로 정렬하고, 임계값 후보를 정한다(고유 점수마다 또는 등간격).
• 임계값마다 TP, FP, TN, FN을 센다.
• ROC라면 (FPR, TPR), PR이라면 (재현율, 정밀도)를 계산해 점을 찍는다.
• 점을 이어 곡선을 그리고, 아래 면적을 사다리꼴 공식으로 적분해 AUC 또는 AP를 구한다.

도식 1개는 다음 흐름이다.

5. 관련 법령·기준·표준

PR 곡선과 ROC 곡선은 법령이나 고시로 정해진 기준이 없다. 데이터 분석 실무에서 쓰는 평가 관행과 소프트웨어 라이브러리의 정의를 따른다. 따라서 기준 수치는 판정 기준이 아니라 해석 관행이다. 아래 표는 그 관행을 정리한 것이다.

위 표에서 ROC의 무작위 기준선은 항상 0.5다. 반면 PR의 무작위 기준선은 데이터의 양성 비율에 따라 달라진다. 무작위 정밀도는 데이터의 양성 비율을 반영한다. 이 차이가 두 곡선을 비교할 때 가장 먼저 확인할 사항이다.