빅데이터 분석

빅데이터 분석이란

빅데이터 분석은 기존 데이터베이스 도구로 다루기 어려운 대량의 정형·비정형 데이터에서 가치를 추출하는 기술과 활동이다.

데이터가 많고 빠르고 다양해서 예전 방법으로는 다룰 수 없을 때, 쓸모 있는 답을 찾아내는 일이다.

데이터 양이 많다는 것만으로는 빅데이터라고 부르지 않는다.

3V 특성

빅데이터는 흔히 3V로 정의한다. 2001년 더그 레이니가 양, 속도, 다양성으로 정리했다.

Volume은 데이터의 크기다. 대략 수 테라바이트 이상을 기준 감각으로 본다.

Velocity는 데이터가 생성되고 이동하는 속도와 실시간으로 정보를 얻는 속도다.

Variety는 정형 데이터뿐 아니라 사진, 음성, 영상, 소셜 글 같은 비정형 데이터까지 포함하는 다양성이다.

분석 절차

빅데이터 분석은 수집, 저장·관리, 처리·분석, 시각화·활용의 네 단계를 거친다.

수집과 저장 단계는 데이터의 양과 형태를 감당한다. 가치는 처리·분석 단계에서 만들어진다.

분석 결과가 다시 수집 대상을 정하는 되먹임 구조가 생긴다.

시각화·활용 단계에서 결과가 실행되지 않으면 분석 투자의 효과가 나타나지 않는다.

경영정보 분석과의 차이

경영정보 분석은 고밀도 데이터의 기술통계로 측정과 추세 파악에 머문다.

빅데이터는 저밀도 대용량 데이터에서 법칙을 추론해 인과 효과와 예측까지 다룬다.

통계는 추론과 설명의 근거를, 머신러닝은 예측 성능을 높이는 계산 과정을 맡는다.

시험에서는 데이터 밀도와 분석 목적의 차이를 함께 써야 점수를 받는다.

정리와 쟁점

정답은 아니오다. 규모만 커서는 빅데이터가 되지 않는다.

빅데이터 분석은 3V로 데이터의 특성을 잡고, 마이닝과 머신러닝으로 예측한다.

개인정보 보호와 활용은 상충한다. 가명처리 조건과 목적 외 이용 제한을 함께 확인해야 한다.

3V와 한계를 함께 쓰는 것이 이 주제의 답안 핵심이다.