HBM: 고대역폭 메모리

HBM이란

HBM은 고대역폭 메모리이며 영문으로 High Bandwidth Memory다.

DRAM 여러 다이를 TSV로 수직 적층하고 넓은 버스로 연결한 메모리다.

메모리 병목을 풀어 GPU와 AI 가속기에서 많이 쓰인다.

구조: 적층과 근접 배치

HBM은 DRAM 다이를 수직으로 쌓아 프로세서 가까이 붙인 메모리다.

다이 사이는 TSV라는 관통 전극으로 짧게 연결된다.

마이크로범프는 다이를 상하로 잇고, 인터포저는 스택과 GPU를 같은 기판에 올린다.

4-Hi 스택은 다이당 128비트 채널 2개씩, 총 8채널이다.

대역폭 계산

정답은 8이다. 1024비트를 128비트 채널로 나누면 8개가 된다.

대역폭은 버스 폭 W와 핀당 속도 R로 구한다. 8로 나누어 바이트 단위로 맞춘다.

HBM3는 1024 × 6.4 / 8이므로 819.2GB/s가 된다.

스택 4개를 쓰면 총 대역폭은 약 3.2TB/s가 된다.

DRAM 계열 비교

GDDR은 평면 칩을 보드에 직접 실장하고 칩당 32비트 인터페이스를 쓴다.

HBM은 DRAM을 3D로 적층하고 TSV로 이어 스택당 1024비트 이상의 폭을 얻는다.

DDR은 모듈 단위로 용량을 늘리기 쉬운 범용 메모리다.

답안에서는 이 차이를 구조 차이로 설명해야 한다.

장점과 한계

HBM의 장점은 대역폭과 전력 효율이다.

프로세서와 가까이 배치해 데이터 이동 거리도 줄인다.

반면 제조 비용과 패키징 복잡도가 한계다.

인터포저는 경로를 줄이지만 제조 비용을 높이는 대표 한계다.

세대 동향

HBM 규격은 JEDEC 표준으로 세대별로 정리된다.

HBM3는 스택당 819.2GB/s, HBM3E는 스택당 1TB/s로 기록된다.

세대가 올라갈수록 핀당 속도와 대역폭이 높아진다.

대역폭 값은 반드시 세대와 함께 써야 한다.

정리

정리하면 HBM은 3D 적층 DRAM과 TSV로 넓은 버스를 만든 메모리다.

버스 폭과 세대를 함께 기억하면 답안 구성이 쉬워진다.

정의, 구조, 장단점, 세대 순서로 답안을 짜면 된다.