빅데이터 분석

왜 배우는가: 빅데이터 분석은 정보관리 분야에서 데이터 처리 기술과 경영 의사결정을 잇는 핵심 주제이며, 기존 경영정보 분석과 구분되는 특성 때문에 정의와 3V 개념을 정확히 쓸 수 있어야 한다. 3V(Volume·Velocity·Variety)와 확장 V는 기술사 시험에서 정의형 문항의 첫머리로 반복 출제된다.

출제 이력: 제98회 3교시 2번, 제96회 2교시 3번

1. 한 줄 정의와 핵심 키워드

빅데이터 분석은 기존 데이터베이스 관리도구로 수집·저장·관리·분석하기 어려운 대량의 정형·비정형 데이터에서 가치를 추출하는 기술과 활동이다.

• 빅데이터, 3V, Volume, Velocity, Variety
• 비정형 데이터, 데이터 마이닝, 예측 분석
• Value, 경영정보 분석(BI), 통계적 추론

2. 개념 풀이

쉽게 말하면 데이터가 너무 많고 빠르고 다양해서 예전 방법으로는 다룰 수 없을 때, 그 데이터에서 쓸모 있는 답을 찾아내는 일이다. 데이터의 양이 많은 것만으로는 빅데이터라고 부르지 않는다.

정식 정의는 다음과 같다. 빅데이터(Big Data)는 기존 데이터베이스 관리도구의 수집·저장·관리·분석 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합, 그리고 이 데이터에서 가치를 추출하고 결과를 분석하는 기술을 함께 가리킨다. 이 정의는 데이터 집합과 기술·인력을 함께 묶는다.

Volume(규모) 은 데이터의 크기다. Velocity(속도) 는 데이터가 생성되고 이동하는 속도와 실시간으로 정보를 얻는 속도다. Variety(다양성) 는 정형 데이터뿐 아니라 사진, 오디오, 비디오, 로그 파일, 소셜 미디어 글처럼 형태가 다른 비정형 데이터를 포함하는 특성이다.

3V 이후 Veracity(정확성) 와 Value(가치) 가 추가되었다. 가치는 분석을 거쳐 새로운 정보나 의사결정에 쓸 수 있는 결과를 얻는 조건을 말한다. 데이터가 크기만 하고 쓸모가 없으면 빅데이터의 가치가 없다는 뜻이다.

3. 등장 배경과 필요성

정보통신 기술이 발달하면서 소셜 미디어 성장과 모바일 기기 확산이 동시에 일어났다. 그 결과 다양한 형태의 대규모 데이터가 생성, 유통, 저장되기 시작했다. 대규모 데이터를 분석해 의미를 찾는 시도는 예전에도 있었지만, 현재는 데이터의 양과 질, 다양성 측면에서 패러다임이 바뀌었다.

2001년 메타그룹(현재 가트너)의 애널리스트 더그 레이니(Doug Laney)는 데이터 급성장에 따른 이슈를 양, 속도, 다양성의 세 차원으로 정리했다. 이 3V 모델은 이후 가장 널리 쓰이는 정의가 되었다. 가트너는 2012년에 이 정의를 개정해 큰 용량, 빠른 속도, 높은 다양성을 가진 정보 자산이며 이를 처리하려면 새로운 처리 방식이 필요하다고 설명했다.

필요성은 두 방향에서 나온다. 첫째, 기업은 경쟁력을 얻기 위해 고객 행동과 시장 변화를 빠르게 읽어야 한다. 둘째, 공공과 의료 분야는 정책 결정과 전염병 대응처럼 신속한 판단이 필요하다.

빅데이터가 산업혁명기의 석탄처럼 혁신과 생산성의 원천으로 간주된다는 비유도 자주 쓰인다. 다만 이것은 비유이므로 답안에서는 근거 수치와 구분해 쓴다.

4. 구성요소·원리·절차

빅데이터 분석은 원천 데이터에서 가치를 얻기까지 수집, 저장·관리, 처리·분석, 시각화·활용의 네 단계를 거친다. 각 단계는 앞 단계의 출력을 입력으로 받는 순환 구조이며, 분석 결과가 다시 수집 대상을 정하는 되먹임이 생긴다. 구성요소를 표로 정리하면 다음과 같다.

표 해설 1: 수집과 저장 단계는 데이터의 양과 형태를 감당하는 역할이다. 처리·분석 단계에서 가치가 만들어지므로 가장 많은 전문 지식이 필요하다.

표 해설 2: 시각화·활용 단계는 분석 결과를 의사결정에 연결하는 마지막 단계다. 결과가 실행되지 않으면 분석 투자의 효과가 나타나지 않는다.

빅데이터 분석의 원리는 대량의 데이터에서 패턴과 상관관계를 찾고, 이를 바탕으로 예측하는 데 있다. 기존 경영정보 분석이 과거 데이터의 요약에 머문다면, 빅데이터 분석은 밀도가 낮은 대용량 데이터에서 법칙을 추론해 결과와 행동을 예측한다. 따라서 분석 원리의 핵심은 통계적 추론과 머신러닝 기반 예측이다. 머신러닝은 예측 정확도를 높이기 위한 계산 과정으로 설명되며, 통계 기법은 가설과 추론의 근거를 제공한다.

분석 절차는 다음 순서로 진행한다.

• 분석 목적과 문제를 정의한다. 목표 지표와 의사결정 대상을 정한다.
• 원천 데이터를 수집하고 형태(정형·반정형·비정형)별로 분류한다.
• 결측치와 이상치를 처리하고 데이터를 통합한다.
• 분석 기법을 선택해 모델을 만들고 검증한다.
• 결과를 시각화하고 의사결정에 반영한다.
• 반영 결과를 다시 평가해 수집과 모델을 개선한다.

분석 기법 선택은 목적에 따라 다르다. 설명이 목적이면 기술통계와 군집분석을, 예측이 목적이면 회귀와 분류 모델을 우선한다. 모델의 성능은 정확도 같은 단일 지표보다 목적에 맞는 평가 지표로 판단해야 한다.

5. 관련 법령·기준·표준

빅데이터 분석은 특정 법령이 정한 기준값보다 개인정보 보호 관련 법체계의 제약을 받는다. 국내에서는 「개인정보 보호법」이 개인정보의 수집·이용·제공 조건을 정하며, 가명정보 처리 규정이 빅데이터 활용의 근거가 된다. 기술 기준은 국제표준과 국내 가이드라인을 함께 참고한다.

표 해설 1: 규모와 속도는 정량 기준이 없어 상대적으로 판단한다. 테라바이트 기준은 참고값이다. 기준이 아니라 기존 도구로 처리가 어려운지를 실무 판단 기준으로 쓴다.

표 해설 2: 개인정보 기준은 활용 가치와 보호가 상충하는 지점이다. 가명처리 조건과 목적 외 이용 제한을 함께 확인해야 한다.

본 절은 조항 번호를 특정하지 않았다.

6. 유형과 비교(비교표 2개 이상)

빅데이터 분석은 데이터의 형태, 분석 목적, 처리 방식에 따라 여러 유형으로 나뉜다. 먼저 데이터 형태에 따라 정형 데이터, 반정형 데이터, 비정형 데이터로 구분한다.