PR 곡선과 ROC 곡선
ROC 곡선과 PR 곡선은 이진 분류 모델을 임계값 전 범위에서 평가하는 곡선이다. 두 곡선은 임계값을 바꿀 때마다 계산한 값을 점으로 찍고, 그 점들을 이은 것이다. ROC 곡선은 FPR과 TPR의 관계, PR 곡선은 재현율과 정밀도의 관계를 그린다. 모델은 점수를…
주요 장면
대본
정의
ROC 곡선과 PR 곡선은 이진 분류 모델을 임계값 전 범위에서 평가하는 곡선이다.
두 곡선은 임계값을 바꿀 때마다 계산한 값을 점으로 찍고, 그 점들을 이은 것이다.
ROC 곡선은 FPR과 TPR의 관계, PR 곡선은 재현율과 정밀도의 관계를 그린다.
혼동행렬과 지표
모델은 점수를 내고, 기준선인 임계값을 넘으면 양성으로 판정한다.
정답과 판정을 짝지은 혼동행렬은 TP, FP, FN, TN 네 칸으로 정리된다.
TPR은 실제 양성 중 맞힌 비율이며 재현율과 같은 식이다.
FPR은 실제 음성 중 잘못 양성으로 본 비율이고, 정밀도는 양성 판정 중 실제 양성 비율이다.
ROC 곡선의 구조
ROC 곡선은 x축에 FPR, y축에 TPR을 둔 ROC 공간에 그린다.
임계값을 바꾸면 (FPR, TPR) 점이 움직이고, 그 점들을 이어 곡선이 된다.
좋은 모델은 FPR이 작은 구간에서 TPR이 빠르게 올라 곡선이 좌상단으로 굽는다.
무작위 분류기는 대각선이며 AUC는 0.5다.
PR 곡선과 불균형 데이터
정확도만 보면 문제가 생긴다. 양성이 1%인 데이터에서 전부 음성이라고 답하면 정확도는 99%다.
그래서 사기 탐지나 설비 결함 탐지처럼 양성이 극히 드문 문제에서는 PR 곡선을 함께 본다.
PR 곡선의 정밀도는 거짓 양성이 직접 들어가 양성 개수에 따라 값이 달라진다.
그래서 PR 곡선의 무작위 기준선은 데이터의 양성 비율에 따라 달라진다.
계산 예제
TP 8, FP 30, FN 2, TN 960인 임계값 하나를 예로 든다.
TPR은 8을 10으로 나눈 0.80이다. 재현율도 같은 값이다.
FPR은 30을 990으로 나눈 값으로 약 3%다. ROC 곡선에서는 좋은 점으로 보인다.
하지만 정밀도는 8을 38로 나눈 약 21%라서 탐지된 건의 약 4분의 3이 오탐이다.
같은 혼동행렬에서 두 곡선이 다른 인상을 주므로 불균형 데이터에서는 PR을 쓴다.
직접 풀기
앞의 예에서 정밀도를 직접 구해 보자.
정밀도는 양성으로 판정한 것 중 실제 양성인 비율이다. 분모는 TP와 FP의 합이다.
값을 골랐으면 다음 장면에서 정답을 확인한다.
정리
정답은 0.211이다. 8을 38로 나눈 값이며 약 21%다.
정리하면 ROC 곡선은 FPR과 TPR, PR 곡선은 재현율과 정밀도의 궤적이다.
균형 데이터는 ROC, 불균형 데이터는 PR을 우선하고 양성 비율을 함께 밝힌다.
AUC는 예측 확률의 순서만 반영하므로 확률 보정 품질은 따로 확인한다.