데이터 마이닝

데이터 마이닝이란

데이터 마이닝은 대용량 데이터에서 사전에 알려지지 않은 패턴을 찾는 기술이다.

패턴과 규칙을 자동 또는 반자동으로 찾아내며, 지식 발견 과정의 핵심 단계다.

답안 첫 줄에는 이 정의를 그대로 쓰고, 핵심 키워드를 함께 적는다.

두 부류의 작업

데이터 마이닝 작업은 두 부류로 나뉜다.

기술형 작업은 군집과 연관처럼 데이터의 구조를 요약한다.

예측형 작업은 분류와 회귀처럼 미래의 값이나 범주를 추정한다.

두 부류 모두 사전 가설 없이 패턴을 찾는 탐색 작업이다.

CRISP-DM 절차

데이터 마이닝 절차는 CRISP-DM의 여섯 단계로 정리한다.

업무 이해에서 분석 목표를 정하고, 데이터 이해에서 품질을 확인한다.

데이터 준비에서 분석용 데이터셋을 만들고, 모델링에서 기법을 적용한다.

평가 결과가 기준에 못 미치면 앞 단계로 되돌아간다.

배포 후에도 새 질문이 생기므로 과정은 반복 순환 구조다.

통계와의 차이

데이터 마이닝과 통계는 목적과 접근 방식이 다르다.

데이터 마이닝은 대용량에서 패턴과 규칙을 찾고, 통계는 가설을 검정하고 추론한다.

데이터 마이닝은 알고리즘 중심의 탐색적 접근이고, 통계는 확률 모델 중심의 확증적 접근이다.

두 기법은 대립하지 않는다. 마이닝으로 찾은 패턴을 검정하면 타당성이 높아진다.

탐색 결과를 그대로 일반화하면 과적합 위험이 있다.

정형과 비정형

정형 데이터는 RDBMS나 스프레드시트의 구조화된 데이터다.

정형 데이터는 속성이 명확해 전처리가 비교적 단순하다.

비정형 데이터는 텍스트·이미지·음성·로그처럼 구조가 없는 데이터다.

비정형 데이터는 전처리와 특징 추출에 비용이 집중되어 분석 단계가 길어진다.

연관 규칙 계산

가상의 쇼핑몰 거래로 연관 규칙 지표를 계산해 본다.

지지도는 전체 거래 중 A와 B가 함께 팔린 비율이다. 80을 1,000으로 나눠 0.08이 된다.

신뢰도는 A를 산 거래 중 B도 산 비율이다. 80을 200으로 나눠 0.4가 된다.

즉 A를 산 고객의 40%가 B를 함께 샀다. 두 지표를 함께 제시한다.

채점 포인트

앞 문제의 정답은 전체 거래 건수다. 지지도의 분모가 된다.

첫째, 데이터 마이닝과 통계를 같은 것으로 쓰면 안 된다.

둘째, 오피니언 마이닝은 텍스트 마이닝의 하위 영역이다.

셋째, 과정은 CRISP-DM이나 KDD의 단계 순서로 쓴다.

넷째, 오피니언 마이닝은 주관성, 극성, 극성의 정도 순으로 쓴다.