NPU

왜 배우는가: NPU는 AI 서비스가 클라우드에서 단말 기기로 옮겨가면서 저전력·저지연 추론을 맡는 핵심 하드웨어로 자리 잡았다. 시험에서는 GPU·CPU와의 차이, 구조적 특징, 적용 사례를 묻는 형태로 반복해서 출제된다.

출제 이력: 제140회 1교시 2번, 제134회 1교시 8번

1. 한 줄 정의와 핵심 키워드

답안 첫 줄 정의 문장:

NPU는 인공신경망의 행렬곱·합성곱 등 반복 연산을 저전력으로 가속하도록 설계된 신경망 처리 전용 프로세서이다.

핵심 키워드

• 신경망 연산 가속기
• 행렬곱·합성곱
• 병렬 처리
• 온칩 메모리
• 저전력 추론
• 정수(INT8) 연산
• 엣지 AI

NPU는 별칭으로 AI 가속기(AI accelerator), 딥러닝 프로세서(deep learning processor)라고도 불린다. 독립 칩으로 존재하기도 하고 CPU 또는 GPU 내부의 한 블록으로 들어가기도 한다.

2. 개념 풀이

쉽게 말하면 NPU는 신경망 계산만 빠르게 처리하는 전용 계산기이다. 범용 CPU는 여러 종류의 명령을 처리하고 GPU는 그래픽과 대규모 병렬 계산을 맡는다. NPU는 그중 신경망 계산의 반복 패턴에 맞춰 회로를 단순하게 만든 것이다.

정식 정의는 다음과 같다. NPU(Neural Processing Unit, 신경망 처리장치)는 인공지능과 기계학습 응용, 특히 인공신경망과 컴퓨터 비전 연산을 가속하도록 설계된 특수 하드웨어 가속기이다. 독립 칩일 수도, CPU나 GPU의 일부일 수도 있다.

핵심 용어 풀이

• 신경망 연산 가속기: 신경망의 가중치 곱셈과 덧셈을 대량으로 처리하는 전용 하드웨어이다. 제어 기능은 최소화한다.
• 행렬곱·합성곱: 신경망 계층 연산의 기본 형태다. NPU의 연산기는 이 두 연산을 중심으로 배치된다.
• 병렬 처리: 다수의 연산기가 같은 연산을 동시에 수행하는 방식이다. 데이터 흐름을 맞추는 구조가 함께 쓰인다.
• 온칩 메모리: 칩 내부의 가중치·활성값 저장 공간이다. 외부 메모리 접근을 줄이는 데 쓰인다.
• 저전력 추론: 학습된 모델을 기기에서 실행하는 것이다. NPU가 가장 강점을 보이는 영역이다.

3. 등장 배경과 필요성

AI 모델이 커지면서 학습과 추론에 필요한 연산량이 급증했다. 범용 CPU로는 응답 시간과 전력 요구를 맞추기 어려웠고, 고성능 GPU는 가격이 높고 전력 소모가 커서 휴대 기기에 넣기 어려웠다. 이 때문에 연산 효율이 높고 저렴한 전용 가속기가 필요해졌다.

또 GPU는 그래픽 연산과 대규모 병렬 계산에 쓰이며, 추론 효율은 작업과 조건에 따라 달라진다. 학습은 부동소수점 연산이 유리하고 추론은 정수 연산으로 충분한 경우가 많기 때문이다. NPU는 이 점을 반영해 정밀도를 낮춘 정수 연산을 지원한다.

스마트폰에서 영상·이미지·음성 인식을 기기 내에서 처리하려면 클라우드를 거치지 않는 추론이 필요하다. 이 요구가 엣지 AI(Edge AI) 확산과 함께 NPU 도입을 이끌었다. 기기 내 처리는 응답 지연과 통신 비용을 줄이고 개인정보가 외부로 나가는 것도 막는다.

NPU가 빠르게 자리 잡은 이유는 다음과 같다.

• 전력 대비 연산 성능이 높다.
• 칩 면적과 제조 비용은 설계에 따라 달라진다.
• 스마트폰, 노트북, 자동차처럼 전력 예산이 빠듯한 기기에 맞는다.