데이터 품질관리

데이터 품질관리란

데이터 품질관리는 데이터가 목적에 맞게 정확하고 일관되며 적시에 쓰이도록 관리하는 활동이다.

품질기준을 정하고, 진단·개선·모니터링을 상시 반복하는 것이 핵심이다.

핵심 키워드는 품질기준, 품질 진단, 프로파일링, 품질 개선, 데이터 거버넌스다.

품질관리 순환 구조

품질관리는 대상을 식별하고 기준을 정한 뒤 측정하는 순환으로 진행된다.

측정으로 찾은 오류는 원인을 분석하고 개선 활동으로 고친다.

개선 결과는 다시 모니터링으로 확인하며, 이 순환을 상시 반복하는 것이 핵심이다.

정형과 비정형 품질 기준

품질 기준은 데이터의 형태에 따라 다르게 세운다.

정형 데이터는 완전성·유효성·일관성·유일성 같은 규칙을 정해 자동으로 측정한다.

비정형 데이터는 내용의 의미를 판단해야 하므로 샘플링과 사람의 검수가 함께 필요하다.

사후 정제와 예방

품질관리는 개입 시점에 따라 사후 정제형과 예방형으로 나뉜다.

사후 정제형은 적재 이후 클렌징하고, 예방형은 입력과 설계 단계에서 검증한다.

사후 정제는 같은 오류가 반복되므로 두 방식을 병행하는 것이 실무다.

앞의 문제 정답은 예방형이다. 입력 단계에서 원인을 막는 방식이다.

DQM 시스템 구성

품질 관리를 상시 운영하려면 DQM 시스템이 필요하다.

DQM 시스템은 품질측정 엔진, 외부시스템 연계, 품질관리 기능, DQM DB로 구성된다.

측정 엔진이 규칙을 정기 실행해 오류를 찾고, 연계로 담당자에게 자동 전송한다.

결과와 이력은 DQM DB에 저장된다.

정리와 흔한 실수

데이터 품질관리는 기준 정의, 측정, 개선, 모니터링, 거버넌스의 순환 구조로 답한다.

흔한 실수는 정형 기준만 설명하는 것과 역할과 책임을 빠뜨리는 것이다.

데이터 소유자와 스튜어드의 구분과 책임 범위를 함께 써야 한다.