빅데이터 처리 기술

한 줄 정의

빅데이터 처리 기술은 대용량·고속·다양한 데이터를 수집부터 시각화까지 다루는 기술 체계다.

한 대의 서버로 감당하기 어려운 데이터를 여러 대가 나눠 가공하도록 기술이 분업된 것이다.

핵심은 3V, 데이터 파이프라인, 분산 스토리지, 배치 처리와 스트림 처리다.

파이프라인 구조

빅데이터 처리는 여러 서브 시스템을 데이터 파이프라인으로 묶어 순서대로 가공하는 구조다.

구성요소는 수집, 저장·관리, 처리, 분석·시각화의 네 단계로 나뉜다.

수집은 벌크형과 스트리밍형으로, 저장은 분산 스토리지와 NoSQL로 이뤄진다. 처리는 스트림과 배치로 나뉜다.

배치 처리와 스트림 처리

처리 방식은 목적에 따라 배치 처리와 스트림 처리로 나뉜다.

스트림 처리는 데이터가 도착하는 즉시 처리해 현재 상황을 보여 주지만 장기 분석에는 맞지 않는다.

배치 처리는 어느 정도 정리된 데이터를 묶어 처리하므로 장기 분석에 적합하다.

두 방식은 목적이 달라 함께 쓰이며, 실무에서는 람다 구조 같은 혼합 형태도 쓰인다.

저장 계층

저장 단계에서는 요구사항에 따라 여러 저장소를 조합해 쓴다.

데이터 레이크는 가공 전의 원시 데이터를 대규모로 모아 두는 풀이다.

데이터 웨어하우스는 목적에 맞게 이미 처리된 데이터를 담는다.

NoSQL은 처리 시점에 스키마를 바꿀 수 있는 유연한 구조를 제공한다.

지연 계산 예제

스트림 처리의 메시지 처리 지연은 M/M/1 근사로 W = 1 / (μ − λ) 로 구한다.

도착률 2,000건/s, 처리 용량 2,500건/s를 대입하면 1/500초, 즉 2ms가 된다.

결과가 2ms이므로 실시간 처리에 충분하다.

도착률이 처리 용량에 가까워지면 지연이 급격히 커지므로 처리 노드를 늘려 μ를 키운다.

헷갈리는 부분

시험에서 자주 틀리는 부분을 정리한다. 가장 많이 틀리는 것은 스트림과 배치의 구분이다.

스트림 처리는 실시간 집계와 모니터링에, 배치 처리는 장기 분석에 쓰인다고 명시한다.

개인정보 보호는 처리 단계마다 쓰고, 제품 이름은 역할을 맞게 써야 한다.

직접 풀어 보자. 장기 추세 분석에 맞는 처리 방식을 고른다.

정리와 정답

정답은 배치 처리다. 장기 추세 분석에는 쌓인 데이터를 한꺼번에 처리하는 방식이 맞다.

정리하면 빅데이터 처리 기술은 수집부터 시각화까지 파이프라인으로 연결된 기술 체계다.

시험 답안에서는 단계별 요소 기술의 역할과 개인정보 보호를 함께 쓴다.