아웃라이어(Outlier) 설명

아웃라이어란?

아웃라이어는 다른 관측값들과 현저히 다른 값이다.

정상 데이터 생성 메커니즘과 다른 메커니즘에서 생성되었다고 의심되는 관측치다.

데이터 분석에서는 이상치 탐지라고도 부르며, 측정 변동, 실험 오류, 새로운 현상 중 어느 원인으로도 생길 수 있다.

노이즈와의 구분

노이즈는 측정이나 전송 오류, 무작위 변동으로 생긴 의미 없는 데이터다.

아웃라이어와 혼동되기 쉽지만 분석에서 다루는 방식이 다르다.

노이즈와 아웃라이어를 혼용하면 감점되므로 발생 원인으로 구분한다.

세 가지 유형

아웃라이어는 발생 형태에 따라 세 가지 유형으로 나뉜다.

전역 아웃라이어는 전체 분포에서 개별 값이 멀리 떨어진 경우다.

맥락 아웃라이어는 값은 평범해도 시간이나 위치 조건에 따라 이상이 된다.

군집 아웃라이어는 개별값이 정상이어도 묶음으로 나타날 때 이상이다.

맥락을 나누지 않으면 맥락 아웃라이어는 놓치기 쉽다.

탐지 기준

아웃라이어 판정은 정상 분포에서 벗어난 정도를 임계값과 비교하는 것이다.

Z-score는 관측치와 평균의 차이를 표준편차로 나눠 표준화한 거리다.

IQR은 사분위수로 정상 범위를 정하며 분포 형태에 좌우되지 않는다.

치우친 데이터는 극단값이 평균과 표준편차를 끌어당기므로 IQR이나 백분위수를 쓴다.

계산 예제

가상의 예로 일일 카드 사용액 1,000건을 생각한다.

제75백분위수는 40만 원, 제25백분위수는 15만 원이다. 따라서 IQR은 25만 원이다.

상한 경계는 Q3에 선택한 IQR 배수를 곱한 값을 더해 구한다.

500만 원 결제는 경계를 넘으면 아웃라이어 후보다. 배수 선택의 근거를 함께 적는다.

탐지 절차

아웃라이어 탐지는 여섯 단계로 진행된다.

먼저 결측치와 노이즈를 제거하고, 히스토그램과 상자그림으로 분포를 본다.

정규 분포에 가까우면 Z-score, 치우쳤으면 IQR이나 백분위수를 고른다.

임계값을 정하고 넘는 관측치를 후보로 표시한다.

원인을 검토해 측정 오류면 제거, 실제 현상이면 보존한다. 필요하면 재조정한다.

정리와 직접 풀기

아웃라이어 탐지 결과를 그대로 제거하면 중요한 신호를 잃는다.

측정 오류라면 정제하고, 사기 거래나 침입처럼 실제 현상이면 분석 대상으로 삼는다.

시험에서는 정의, 노이즈와의 구분, 세 가지 유형 설명이 자주 나온다.