HBM

왜 배우는가: HBM은 GPU·AI 가속기의 메모리 병목을 해결하는 핵심 메모리로, 실무 설계와 반도체 패키징 논의에서 반복 등장한다. 시험에서는 메모리 계층 구조, TSV 적층, 대역폭 비교 문항으로 자주 출제된다.

출제 이력: 제137회 1교시 7번, 제129회 1교시 9번

1. 한 줄 정의와 핵심 키워드

HBM은 DRAM 여러 다이를 TSV로 수직 적층하고 넓은 데이터 버스로 연결해 고대역폭·저전력을 구현한 고성능 메모리 규격이다.

• 핵심 키워드: HBM(고대역폭 메모리), 3D 적층, TSV(실리콘 관통 전극), 마이크로범프, 실리콘 인터포저, SiP(System in Package), 광대역 버스 폭, GPU 메모리 계층

2. 개념 풀이

쉬운 말로 하면, HBM은 메모리 칩을 층층이 쌓아 올리고 옆으로 넓게 통로를 낸 메모리다. 같은 시간에 많은 데이터를 옮길 수 있어서 GPU나 AI 가속기처럼 데이터를 한꺼번에 많이 읽는 장치에 쓴다.

정식 정의로는 고대역폭 메모리(High Bandwidth Memory, HBM)이다. 3D 스택(3D-stacked) 구조의 SDRAM을 기반으로 하며, 여러 DRAM 다이를 수직으로 쌓고 이를 CPU나 GPU와 같은 기판에 근접하게 배치하는 고성능 메모리 인터페이스다. 원래 DDR4나 GDDR5보다 전력을 적게 쓰면서 대역폭은 높고, 외형 크기는 작다.

핵심 원리는 두 가지다. 첫째, TSV(Through-Silicon Via)는 칩을 관통하는 미세 금속 통로로 다이 사이의 신호를 짧은 거리로 직접 전달한다. 둘째, 마이크로범프는 다이를 상하로 연결하는 미세 접점이다. 이 두 기술 덕분에 배선 길이가 짧아져 지연과 전력이 줄어든다.

이 구조에서 HBM은 기판 위에서 GPU와 가깝게 붙어 있다. 이를 실리콘 인터포저(Silicon Interposer) 방식이라 하며, 메모리 경로를 짧게 해 신호 손실을 줄인다. 다만 인터포저는 제조 비용을 높이는 요인이다.

다음은 HBM의 버스 폭(bus width)이다. 4-Hi 스택은 다이당 2개의 128비트 채널로 총 8채널, 1024비트 폭을 가진다. 스택 4개를 쓰면 4096비트 메모리 버스가 된다. 일반 GDDR의 버스 폭이 32비트인 것과 크게 다르다. 넓은 버스로 낮은 클록에서도 큰 대역폭을 얻는 것이 HBM의 핵심 아이디어다.

3. 등장 배경과 필요성

GPU와 AI 연산 장치는 수천 개의 코어가 동시에 데이터를 요구한다. 기존 DDR이나 GDDR은 버스 폭과 소비전력의 한계로 이 요구를 충분히 채우기 어려웠다. 메모리 대역폭이 연산 성능을 따라가지 못하는 현상을 메모리 장벽(memory wall)이라 부른다.

이 문제를 풀기 위해 DRAM을 수직으로 쌓고 넓은 인터페이스로 연결하는 방식이 제안됐다. 첫 HBM 칩은 2013년 SK하이닉스가 생산했다. 이후 JEDEC 표준으로 세대별 규격이 정리됐다.

• 배경 1: 연산 장치의 병렬성 증가로 메모리 대역폭 요구 급증
• 배경 2: 평면 배선으로는 버스 폭 확대와 전력 절감을 동시에 달성하기 어려움
• 배경 3: AI·HPC 확산으로 고성능 메모리의 시장 수요 확대

한 가지 주의할 점은 HBM이 용량보다 대역폭에 맞춰 설계된 메모리라는 것이다. 스택 하나당 최대 용량은 세대와 단수에 따라 다르며, HBM은 패키지당 최대 4GB를 지원하고 HBM2는 최대 8GB를 허용한다.