데이터 마이닝

왜 배우는가: 데이터 마이닝은 빅데이터 분석에서 예측, 추천, 이상 탐지에 쓰이는 핵심 기법이다. 통계와의 차이, 절차, 기법을 묻는 문제가 여러 교시에 걸쳐 반복해서 출제되므로 개념의 정의와 구분을 정확히 익혀야 한다.

출제 이력: 제129회 3교시 3번, 제99회 1교시 8번, 제98회 1교시 12번, 제96회 4교시 3번

1. 한 줄 정의와 핵심 키워드

답안 첫 줄 정의: 데이터 마이닝은 대용량 데이터에서 사전에 알려지지 않은 패턴·규칙·지식을 자동 또는 반자동으로 찾아내는 기술이다.

핵심 키워드

• 대용량 데이터
• 패턴 발견
• 지식 발견(Knowledge Discovery in Databases, KDD)
• 군집·분류·연관·예측
• 전처리
• 기계 학습
• CRISP-DM

2. 개념 풀이

쉬운 말로 풀면 데이터 마이닝은 쌓여 있는 데이터라는 광산에서 쓸모 있는 정보를 캐내는 일이다. 원시 데이터는 그대로 보면 의미가 드러나지 않는다. 여러 변수를 묶어 보고 관계를 살펴봐야 규칙이 나타난다.

정식 정의는 다음과 같다. 데이터 마이닝은 대량의 데이터 집합에서 기계 학습과 통계 모델을 활용해 숨겨진 패턴을 찾아내는 과정이다. 데이터 분석이 세운 가설을 검증하는 데 주로 쓰인다면, 데이터 마이닝은 검증할 가설 자체를 찾아내는 데 쓰인다는 점이 다르다.

데이터 마이닝의 작업은 두 부류로 나뉜다. 기술형(descriptive) 작업은 군집과 연관처럼 데이터의 구조를 요약한다. 예측형(predictive) 작업은 분류와 회귀처럼 미래의 값이나 범주를 추정한다. 두 부류 모두 사전 가설 없이 데이터에서 패턴을 찾는 탐색 작업이라는 공통점이 있다.

핵심 용어는 다음과 같다.

• 지식 발견(Knowledge Discovery in Databases, KDD): 데이터베이스에서 유효하고 새로운 지식을 찾는 전체 과정이다. 선택, 전처리, 변환, 데이터 마이닝, 해석·평가의 단계로 정의된다. 데이터 마이닝은 이 과정의 핵심 단계다.
• 군집 분석(Clustering): 정답 레이블 없이 서로 비슷한 데이터를 묶는 작업이다. 고객 세분화에 많이 쓰인다.
• 연관 규칙(Association rule): 변수 사이에 함께 발생하는 관계를 찾는다. 장바구니 분석(market basket analysis)이 대표 예다.
• 이상 탐지(Anomaly detection): 정상 범위를 벗어난 기록을 찾아 데이터 오류나 특이 사례를 가려낸다.
• 분류와 예측(Classification, Prediction): 정답이 있는 학습 데이터로 범주를 판정하거나 값을 추정하는 모델을 만든다.

3. 등장 배경과 필요성

저장 장치 비용이 낮아지고 거래 기록과 로그가 자동으로 쌓이면서 데이터 양이 전통적 분석 방법으로 감당하기 어려운 수준에 이르렀다. 기존 통계 분석은 연구자가 가설을 먼저 세우고 표본으로 검증하는 방식이다. 변수가 많고 관계가 미리 알려지지 않은 데이터에서는 검증할 가설 자체를 세우기 어렵다. 데이터 마이닝은 이 한계를 메우기 위해 발전했다.