아웃라이어

왜 배우는가: 아웃라이어는 데이터 전처리와 이상 탐지의 출발점이며, 잘못 제거하면 분석 결과가 왜곡되고 그대로 두면 모델 성능이 떨어진다. 금융 이상거래, 설비 고장 예지 등 실무에서 반복적으로 다뤄지므로 시험에서도 정의, 노이즈와의 구분, 유형 분류 형태로 자주 출제된다.

출제 이력: 제136회 3교시 4번, 제102회 3교시 3번

1. 한 줄 정의와 핵심 키워드

답안 첫 줄에 쓸 정의: 아웃라이어는 다른 관측값들과 현저히 다른 값으로, 정상 데이터 생성 메커니즘과 다른 메커니즘에서 생성되었다고 의심되는 관측치이다.

핵심 키워드

• 아웃라이어(Outlier)
• 이상치 탐지(Anomaly Detection)
• 노이즈(Noise)
• 전역 아웃라이어(Global Outlier)
• 맥락 아웃라이어(Contextual Outlier)
• 군집 아웃라이어(Collective Outlier)
• 백분위수(Percentile)

2. 개념 풀이

쉬운 말로 하면 아웃라이어는 대부분의 데이터와 동떨어진 값이다. 한 반 학생들의 키가 160~175cm인데 한 명만 300cm로 기록되어 있다면, 그 값은 측정 실수일 수도 있고 실제 특이 사례일 수도 있다. 이처럼 아웃라이어는 정상 범위 밖에 있는 관측치를 가리키는 말이다.

정식 정의는 통계학에서 나온다. 아웃라이어는 표본 중 다른 대상들과 확연히 구분되는 관측치다. 데이터 분석에서는 이상치 탐지(Anomaly Detection)라고도 부르며, 희귀한 항목·사건·관측치가 대다수 데이터와 크게 달라 의심을 일으키는 경우를 가리킨다. 아웃라이어는 측정 변동, 실험 오류, 새로운 현상 중 어느 원인으로도 생길 수 있다.

아웃라이어는 데이터 집합의 다른 값들이 보이는 추세에서 벗어나 있다. 그래프에서 대부분의 점이 직선 추세를 이루는데 한 점만 멀리 떨어져 있으면 쉽게 눈에 띈다. 다만 시각적으로 보이지 않는 고차원 데이터에서는 통계적 기준이나 거리·밀도 기준으로 판단해야 한다.

노이즈(Noise)는 측정 오류나 무작위 변동으로 생긴 의미 없는 데이터다. 아웃라이어와 혼동되기 쉽지만 분석에서 다루는 방식이 다르다. 노이즈는 제거 대상이고, 아웃라이어는 원인을 분석해야 할 대상이다.

아웃라이어는 발생 형태에 따라 세 가지로 나뉜다. 전체 분포에서 개별 값이 벗어난 전역 아웃라이어(Global Outlier), 특정 맥락(시간·위치·상황)에서만 이상이 되는 맥락 아웃라이어(Contextual Outlier), 개별 값은 정상이지만 집단으로 나타날 때 이상이 되는 군집 아웃라이어(Collective Outlier)가 있다. 세 유형은 3절 이후 비교 항목으로 다시 다룬다.

3. 등장 배경과 필요성

데이터 양이 늘고 수집 경로가 다양해지면서 오류값과 특이값이 함께 쌓이게 되었다. 아웃라이어를 확인하지 않고 평균·분산을 계산하면 통계량이 한쪽으로 끌려간다. 회귀 모델에서도 소수의 극단값이 계수를 크게 바꿀 수 있다. 그래서 분석 전 단계에서 아웃라이어를 찾고 원인을 판단하는 절차가 필요해졌다.

반대로 아웃라이어를 무조건 제거하면 중요한 신호를 잃는다. 카드 부정사용, 네트워크 침입, 설비 고장 전조는 모두 정상 분포에서 벗어난 값으로 나타난다. 그래서 아웃라이어 탐지는 정제 작업이면서 동시에 이상 징후를 찾는 분석 과제가 되었다.

여기서 중요한 기준은 원인 구분이다. 측정 오류라면 정제하고, 실제 현상이라면 분석 대상으로 삼는다. 이 구분이 아웃라이어 문제에서 가장 자주 묻는 판단 기준이다.

이 때문에 아웃라이어의 개념과 탐지 기법은 데이터 전처리, 이상 탐지, 모델 평가 과정에서 함께 출제된다.

4. 구성요소·원리·절차

아웃라이어 탐지는 세 요소로 구성된다. 첫째는 정상 데이터의 기준 분포다. 둘째는 평균·표준편차·사분위수 같은 측정 통계량이다. 셋째는 정상 범위를 가르는 임계값이다. 세 요소가 정해지면 관측치마다 기준 분포 중심에서 벗어난 정도를 계산하고, 그 값이 임계값을 넘는지 판정한다. 판정 뒤에는 원인을 검토해 제거, 보정, 유지 중 하나를 고른다.

표의 구성은 기법이 달라도 같다. 기법은 측정 통계량과 임계값을 어떻게 정하느냐에 따라 나뉜다. 분포 기반 방법은 정규 분포 가정 아래 Z-score를 쓰고, 분포에 덜 민감한 방법은 IQR(사분위 범위)이나 백분위수를 쓴다.

아웃라이어 판정은 정상 분포에서 벗어난 정도를 임계값과 비교하는 것이다

원리는 거리 개념이다. 관측치 x와 기준 평균 μ의 차이를 표준편차로 나누면 표준화된 거리가 된다. 이 거리가 임계값을 넘으면 정상 메커니즘에서 나왔다고 보기 어렵다고 판단한다. Z-score 식은 다음과 같다.

$z_i = \frac{x_i - \bar{x}}{s}$

x_i는 i번째 관측값, \bar{x}는 표본 평균(단위는 관측값과 같음), s는 표본 표준편차(단위는 관측값과 같음)다. z_i는 무차원 수다. IQR 방법은 사분위수로 정상 범위를 정한다.

$IQR = Q_3 - Q_1$

Q_1은 제1사분위수, Q_3는 제3사분위수다. 정상 범위의 하한과 상한은 사분위수에 선택한 IQR 배수를 적용해 정한다. 상한을 넘거나 하한에 못 미치는 값을 아웃라이어 후보로 본다. 적용하는 배수는 상자그림(Box Plot)에서 쓰이는 관례값이다.

탐지 절차는 다음과 같다.

• 데이터 정제: 결측치를 처리하고 노이즈를 먼저 제거한다.
• 분포 확인: 히스토그램과 상자그림으로 데이터의 형태와 치우침을 본다.
• 척도 선택: 정규 분포에 가까우면 Z-score, 치우쳤으면 IQR이나 백분위수를 고른다.
• 임계값 설정: 도메인 지식을 반영해 경계를 정한다.
• 이상 판정: 임계값을 넘는 관측치를 후보로 표시한다.
• 원인 검토: 측정 오류면 제거하고, 실제 이상 현상이면 보존하거나 별도로 분석한다.

5. 관련 법령·기준·표준

국내 법령에서 아웃라이어 탐지 기준을 직접 정한 조항은 확인되지 않는다. 따라서 아래 값은 통계학과 데이터 분석 실무에서 널리 쓰이는 관례 기준이다. 분석 목적과 데이터 특성에 따라 조정할 수 있다. 각 기준은 가정하는 분포가 다르므로 함께 적는다.

표에서 IQR 기준은 상자그림의 수염 끝과 극단값을 구분하는 데 쓰인다. Z-score 기준은 평균과 표준편차에 민감하다. 아웃라이어 자체가 평균과 표준편차를 끌어당기므로, 치우친 데이터에서는 IQR이나 백분위수가 더 안정적이다. 백분위수 기준은 절단할 비율을 정하는 것이 핵심이며, 비율이 크면 정상 데이터까지 잘려 나갈 수 있다.

위 기준은 통계학 교재와 상자그림 관례에 따른 것이므로, 특정 기관의 지침이 필요한 답안에서는 해당 기관 기준을 따로 확인해야 한다.

Z-score, IQR, 백분위수는 답안에 반드시 쓰는 핵심어다. 기준 수치는 분포 가정과 함께 적어야 점수가 된다.