빅데이터 처리 기술(NoSQL·Hadoop)

핵심 정리

빅데이터 처리 기술의 바탕에는 분할 정복(Divide and Conquer) 원리가 있다. 데이터를 서로 독립된 형태로 나누어 병렬 처리하고, 작은 연산의 결과를 취합해 하나의 결과를 만드는 방식이다. 이 원리는 대용량 데이터를 다루는 분산 처리의 출발점이다. 빅데이터의 3V는 규모(Volume), 속도(Velocity), 다양성(Variety)이다. 규모(Volume)는 방대한 양의 데이터를 처리하는 특징이다. 다양성(Variety)은 정형·비정형 등 여러 유형의 데이터로 구성되는 특징이다. 속도(Velocity)는 데이터가 실시간으로 생산되어 빠르게 수집·분석되는 특징이다. NoSQL은 관계형 방식이 아닌 비관계형 데이터베이스를 통틀어 이르는 말이며, 데이터 모델에 따라 여러 방식으로 나뉜다. NoSQL은 동적 스키마를 지원할 수 있다. 다양한 형태의 비정형 데이터를 다룰 수 있다. NoSQL은 수평 확장에 적합하므로 빠르게 증가하는 대용량 데이터를 처리하는 데 적합하다. Hadoop은 대량의 자료를 처리하는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자바 소프트웨어 프레임워크이다. 대용량 데이터 처리 기술 가운데 Map-Reduce 방식을 이용한 분산 처리 프레임워크가 널리 알려져 있다. NoSQL과 Hadoop은 대규모 비정형 데이터를 처리하는 데 적합한 빅데이터 처리 기술이다. 분석 기술에는 기존 통계학과 전산학에서 쓰이던 데이터마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 있다. 자연 언어 처리는 빅데이터 분석 기술의 하나이다. 시각화는 데이터 분석 결과를 쉽게 이해할 수 있도록 표현하는 기술이다.

자세히

3V 특징과 제외되는 항목

3V의 세 특징은 각각 다른 기준을 나타낸다. 규모는 처리해야 할 데이터의 양을, 속도는 생산부터 수집·분석까지 걸리는 시간을, 다양성은 데이터의 형태를 기준으로 한다. 빅데이터의 특징을 고를 때에는 다음 항목을 구별해야 한다. 센싱 기술로 사물과 주위 환경에서 정보를 얻는 것은 빅데이터의 3대 특징이 아니다.

NoSQL의 데이터 모델과 적합한 데이터

NoSQL은 데이터 모델에 따라 와이드 컬럼 스토어, 도큐먼트, 키-값, 그래프 방식으로 나뉜다. 대표 제품은 아래 표와 같다.