NPU 신경망 처리 장치

NPU의 정의

NPU는 인공신경망의 반복 연산을 저전력으로 가속하도록 설계된 신경망 처리 전용 프로세서다.

AI 가속기나 딥러닝 프로세서라고도 부르며, 독립 칩이거나 CPU·GPU 내부의 한 블록이다.

내부 구조와 데이터 흐름

NPU 내부는 입력 데이터를 온칩 메모리에 적재하는 것으로 시작된다.

연산기 배열이 행렬곱과 합성곱을 병렬로 처리하고, 활성화 유닛이 결과를 받는다.

제어기는 신경망 계층 단위로 연산 순서와 데이터 이동을 정한다.

성능은 연산기 수보다 메모리 대역폭과 데이터 재사용률에 좌우된다.

처리 능력 비교

처리 능력은 TOPS, 초당 조 단위 연산으로 비교하며 연산 형식을 함께 적는다.

관련 자료에 따르면 한 칩 안에서 NPU는 48, GPU는 67, CPU는 5 INT8 TOPS를 낸다.

수치만 보면 GPU가 높지만 NPU의 강점은 전력 효율에 있다.

그래서 TOPS는 제품명과 정밀도 조건을 붙여 읽어야 한다.

CPU·GPU와의 비교

CPU는 범용 순차 제어, GPU는 그래픽과 대규모 병렬 계산, NPU는 신경망 연산에 특화된다.

NPU는 정밀도를 낮춘 INT8 같은 정수 연산을 지원하며, 비트 수가 줄수록 전력이 감소한다.

그래서 학습은 GPU, 저전력 추론은 NPU가 맡는 역할 분담이 일반적이다.

장단점과 한계

NPU는 전력 효율이 높고 기기 안에서 추론하는 온디바이스 처리에 강점이 있다.

반면 신경망 노드를 하드웨어로 구현하므로 다른 AI 알고리즘을 담기 어렵다.

INT8은 효율을 높이지만 정확도 저하를 함께 검토해야 한다.

정리

NPU는 신경망 연산에 특화된 저전력 추론 가속기다.

구조는 연산기 배열과 온칩 메모리, 비교는 CPU와 GPU의 설계 목적 차이로 정리한다.

답안에서는 정의, 구조, 비교, 한계 순서로 쓴다.