빅데이터 처리 기술

왜 배우는가: 빅데이터 처리 기술은 대용량·고속·다양한 데이터를 수집부터 시각화까지 하나의 파이프라인으로 다루는 기술 체계이며, 데이터 엔지니어링과 분석 인프라의 기반이다. 시험에서는 요소 기술의 나열과 각 단계의 역할 구분을 묻는 문제로 반복해서 출제된다.

출제 이력: 제119회 4교시 2번, 제102회 4교시 6번

1. 한 줄 정의와 핵심 키워드

빅데이터 처리 기술은 대용량·고속·다양한 데이터를 수집, 공유, 저장, 처리, 분석, 시각화하는 분산 기반의 기술 체계이다.

• 핵심 키워드: 빅데이터(Big Data), 3V(Volume·Velocity·Variety), 데이터 파이프라인(Data Pipeline), 분산 스토리지(Distributed Storage), 배치 처리(Batch Processing), 스트림 처리(Stream Processing), 지식 시각화(Knowledge Visualization)

2. 개념 풀이

쉽게 말하면 데이터를 한 곳에 모아 여러 대의 컴퓨터가 나눠서 가공하고, 결과를 사람이 볼 수 있는 그림으로 바꾸는 일련의 기술이다. 한 대의 서버로는 감당하기 어려운 양과 속도의 데이터를 다루기 위해 기술이 분업된 것이다.

정식 정의는 다음과 같다. 빅데이터 처리 기술은 대용량·고속·다양성(Volume·Velocity·Variety)을 가진 데이터를 데이터 파이프라인(Data Pipeline)을 따라 수집, 저장, 처리, 분석하여 가치를 얻는 분산 시스템 기반 기술 체계이다. 수집 단계에서는 데이터를 벌크형(Bulk)과 스트리밍형(Streaming)으로 전송한다. 저장 단계에서는 분산 스토리지(Distributed Storage)와 NoSQL(Not Only SQL) 데이터베이스가 쓰인다.

처리 단계는 두 방식으로 나뉜다. 스트림 처리(Stream Processing)는 들어오는 데이터를 실시간으로 처리한다. 배치 처리(Batch Processing)는 쌓인 데이터를 일정 주기로 한꺼번에 처리한다. 두 방식은 목적이 달라 함께 쓰인다.

마지막 단계인 지식 시각화(Knowledge Visualization)는 분석 결과를 대시보드, 그래프, 인포그래픽으로 표현해 의사결정을 돕는다. 같은 데이터라도 표현 방식에 따라 해석이 달라지므로 이 단계가 기술 체계의 마지막 고리가 된다.

3. 등장 배경과 필요성

기존 데이터 웨어하우스는 정형 데이터를 정해진 스키마에 맞춰 저장하는 구조였다. 모바일 기기와 센서가 늘면서 비정형·반정형 데이터가 급증했고, 실시간으로 들어오는 데이터의 양도 커졌다. 기존 방식으로는 이 데이터를 저장하고 처리하는 데 비용과 시간이 지나치게 많이 들었다.

이 문제를 해결하기 위해 여러 대의 서버에 데이터를 나눠 저장하고 병렬로 처리하는 분산 구조가 등장했다. 데이터 저장 방식도 달라졌다. 데이터 레이크(Data Lake)는 가공 전의 원시 데이터를 대규모로 모아 두고, 데이터 웨어하우스(Data Warehouse)는 목적에 맞게 가공된 데이터를 저장한다. NoSQL 데이터베이스는 처리 시점에 스키마를 바꿀 수 있는 유연성을 준다. 기업은 이 저장소들을 요구사항에 따라 조합해 사용한다.

또한 인메모리 데이터베이스(In-Memory Database)는 디스크 대신 RAM에서 처리와 분석을 수행해 응답 속도를 높인다. 이러한 기술이 함께 발전한 이유는 데이터 규모, 속도, 형태의 요구가 동시에 커졌기 때문이다.

4. 구성요소·원리·절차

빅데이터 처리 기술은 여러 서브 시스템을 데이터 파이프라인으로 묶어 데이터를 순차적으로 가공하는 구조다. 구성요소는 수집, 저장·관리, 처리, 분석·시각화의 4단계로 나뉘며 각 단계의 기술 선택은 데이터 전송 방식(벌크형·스트리밍형)과 처리 목적(실시간·장기 분석)에 따라 달라진다.

표 설명 1: 수집 단계는 전송 방식으로 나뉜다. 벌크형은 정기적으로 데이터를 한꺼번에 추출해 보내는 방식이고, 스트리밍형은 생성되는 데이터를 끊임없이 보내는 방식이다. 기존 데이터 웨어하우스는 주로 벌크형을 썼고, 모바일 애플리케이션이 늘면서 스트리밍형이 주류가 되었다.

표 설명 2: 저장 단계는 분산 스토리지가 담당한다. 객체 스토리지(예: Amazon S3)가 대표적이며, NoSQL 데이터베이스도 분산 스토리지로 쓰일 수 있다. 데이터 양이 늘어날 것을 대비해 확장성이 높은 제품을 고른다.

원리는 분산 처리다. 많은 데이터를 여러 컴퓨터에 나누어 병렬로 처리하고 결과를 합친다. 메타데이터 방식은 중앙(마스터) 서버가 데이터 배치 정보를 관리하는 구조이고, P2P 방식은 해시 함수로 키에 해당하는 서버를 찾는 구조다. 중앙 서버 방식은 관리가 편하지만 마스터 장애 시 전체 데이터 접근이 막히고, P2P 방식은 장애 범위가 지역적이다.

처리 방식은 목적에 따라 나뉜다. 스트림 처리는 데이터가 도착하는 즉시 처리하며 시계열 데이터베이스에 결과를 저장해 현재 상황을 본다. 그러나 데이터 양이 많아 장기 분석에는 적합하지 않다. 장기 분석에는 어느 정도 정리된 데이터를 묶어 처리하는 배치 처리가 적합하다.

절차는 다음과 같다.

• 원천 시스템에서 데이터를 벌크형 또는 스트리밍형으로 수집한다.
• 수집 데이터를 분산 스토리지(객체 스토리지, NoSQL 등)에 저장한다.
• 실시간 요구는 스트림 처리로, 장기 분석은 배치 처리로 가공한다.
• 가공된 데이터를 머신러닝 모델이나 시각화 도구에 넘겨 분석한다.
• 분석 결과를 대시보드로 제공하고 워크플로 관리로 전체 흐름을 통제한다.

시각화 도구 측면에서 대시보드는 실시간 모니터링과 여러 데이터 소스를 한 화면에 보여 주는 핵심 기능이다. 누적, 실시간, 예측 데이터를 함께 관리할 수 있다.

데이터 파이프라인은 수집에서 분석까지 단계별 기술을 순서대로 연결한 구조다.

5. 관련 법령·기준·표준

빅데이터 처리 기술은 단일 기술 기준보다 개인정보 보호와 데이터 활용 관련 법제의 영향을 크게 받는다. 수집·공유 단계에서는 개인정보 보호 법령을 지키는 범위 안에서 데이터를 연계해야 한다.

표 설명 1: 개인정보 보호 관련 법령은 수집과 공유 단계의 상한을 정한다. 수집한 정보는 법령을 지키는 범위에서만 기관 간에 연계할 수 있다.

표 설명 2: 서울시 조례는 인파 밀집도와 통행량 빅데이터를 수집·활용하는 근거를 두었다. 이 조례는 2026년 개정안이 공포·시행된 사례다.

다만 메시지 브로커의 신뢰성 연구에서는 체크포인트 간격 설정이 메시지 손실과 복구 시간을 좌우한다고 보고한다. 최적 체크포인트 간격을 정하는 방식이 핵심이다.

체크포인트 간격 최적화 는 메시지 손실과 복구 시간 사이의 균형을 맞추는 설계 변수다.

6. 유형과 비교(비교표 2개 이상)

빅데이터 처리 기술은 데이터 전송 방식, 처리 시점, 저장 구조에 따라 여러 유형으로 나뉜다. 수험에서는 두 축의 짝을 구분해 설명하는 문제가 자주 나온다. 첫째는 벌크형(bulk) 과 스트리밍형(streaming) 의 전송 방식 비교다. 벌크형은 쌓여 있는 데이터를 정해진 주기에 추출해 보내는 방식이고, 스트리밍형은 생성되는 데이터를 끊임없이 계속 보내는 방식이다. 기존 데이터 웨어하우스는 벌크형이 주로 쓰였고, 모바일 애플리케이션이 늘면서 스트리밍형이 주류가 되고 있다.

벌크형은 전송 구조가 단순하지만 결과가 나오기까지 시간이 걸린다. 스트리밍형은 즉시성을 얻는 대신 전송 장애와 중복 처리를 관리해야 한다.

둘째는 스트림 처리와 배치 처리의 비교다. 스트림 처리는 들어오는 데이터를 실시간으로 처리하므로 최신 상태를 보여 주는 데 적합하다. 다만 데이터양이 많아 장기 분석에는 맞지 않는다. 장기 분석에는 어느 정도 정리된 데이터를 대량으로 처리하는 배치 처리가 적합하다. 실무에서는 두 방식을 함께 쓰는 람다 구조(Lambda Architecture)와 같은 혼합 형태가 쓰인다.