AI 가속기와 GPU 이야기에서 HBM이라는 단어가 자주 등장한다. 엔비디아 H100, B200, 그리고 각종 NPU 칩 사양표에서 “HBM3E 탑재”라는 문구가 눈에 띈다. 2026년 6월 기준, HBM은 AI 연산 인프라의 핵심 부품으로 자리잡았고 SK하이닉스, 삼성전자, 마이크론이 치열하게 공급 경쟁을 벌이고 있다. 그런데 HBM이 정확히 무엇이고, 왜 일반 메모리와 다른지 설명할 수 있는 사람은 의외로 드물다.
HBM이란 무엇인가
HBM은 High Bandwidth Memory의 약자로, 직역하면 “고대역폭 메모리”다. 대역폭(Bandwidth)은 데이터가 오가는 통로의 폭이다. 도로로 비유하면 일반 DRAM이 2차선 국도라면 HBM은 10차선 고속도로에 해당한다.
일반 GDDR(그래픽 DRAM) 메모리는 GPU 칩과 별도 기판 위에 나란히 배치되어 가는 전선으로 연결된다. HBM은 구조가 근본적으로 다르다. 여러 장의 DRAM 다이(die, 실리콘 칩 조각)를 케이크처럼 수직으로 쌓은 뒤, 이를 GPU나 AI 가속기 칩 바로 옆에 붙여 초광폭 통로로 연결한다.
이 구조 덕분에 데이터 이동 거리가 극도로 짧아지고, 한 번에 주고받을 수 있는 데이터 양이 폭발적으로 늘어난다. GDDR6가 단일 칩 기준 약 672 GB/s의 대역폭을 낼 때, HBM3는 스택(stack, 적층 묶음) 하나당 819 GB/s에 달한다. 실제 AI 가속기에는 HBM 스택이 여러 개 붙기 때문에 합산 대역폭은 수 TB/s에 이른다.
TSV – HBM의 핵심 기술
HBM 적층 구조를 가능하게 만드는 기술이 TSV(Through Silicon Via, 실리콘 관통 전극)다. TSV란 쉽게 말해 실리콘 칩에 아주 작은 구멍을 뚫고 그 안에 전도성 금속을 채워 넣어 층과 층을 수직으로 연결하는 방식이다.
기존의 와이어 본딩(Wire Bonding) 방식은 칩 위에 머리카락보다 얇은 금속 선을 구부려 기판과 칩을 연결한다. 신호가 기판 아래까지 내려갔다가 다시 올라오는 먼 길을 돌아야 한다. TSV는 칩을 관통해 신호가 수직으로 바로 전달되므로 경로가 비교할 수 없이 짧다.
DRAM 다이를 종이 두께의 절반 이하로 갈아낸 뒤 이 미세한 구멍들을 통해 층층이 연결하는 작업은 정밀도가 극도로 높아야 한다. 삼성전자가 2026년 개발을 발표한 12단 3D-TSV 패키징 기술이 화제가 된 것도 이 때문이다. 더 많이 쌓을수록 같은 면적에서 더 많은 용량과 대역폭을 확보할 수 있다.
- HBM1 – DRAM 다이 4단 적층
- HBM2 – 최대 8단 적층
- HBM3 – 최대 12단 적층
- HBM3E – 최대 16단 적층
TSV로 연결된 이 스택은 실리콘 인터포저(Interposer, 중간 연결 기판) 위에 GPU 칩과 나란히 올려진다. TSMC의 CoWoS(Chip on Wafer on Substrate) 패키징이 대표적인 방식으로, 이 기술이 없으면 HBM과 GPU를 하나의 패키지로 묶기 어렵다. TSMC CoWoS 패키징 기술과 엔비디아 GPU 연결 구조를 함께 살펴보면 이 그림이 더 명확해진다.
일반 메모리와 HBM의 차이
HBM이 일반 GDDR보다 항상 우월한 것은 아니다. 각자 최적화된 쓰임새가 다르다.
| 항목 | HBM3E | GDDR6X | LPDDR5X |
|---|---|---|---|
| 대역폭(스택/채널) | 1.15 TB/s | ~1 TB/s(복수 칩) | ~340 GB/s |
| 전력 효율 | 매우 높음 | 보통 | 높음 |
| 단가 | 매우 높음 | 보통 | 낮음 |
| 주요 용도 | AI 가속기, HPC GPU | 게임용 GPU | 모바일, 에지 AI |
| 구조 | TSV 수직 적층 | 단일 평면 칩 | 단일/소형 패키지 |
▲ AI 학습처럼 수백 GB의 모델 파라미터를 순식간에 읽고 써야 하는 연산에는 HBM이 필수다. 반면 게임용 GPU는 GDDR6X로도 충분하고 가격 대비 효율이 낫다. 최근에는 엣지 AI 칩들이 비용 절감을 위해 LPDDR5X를 채택하는 사례도 늘고 있다.
HBM 세대별 변화 – HBM2에서 HBM3E까지
HBM2에서 HBM3E까지 약 8년 사이 대역폭은 4배 이상 늘었고, 적층 단수도 8단에서 16단으로 두 배가 됐다. 주목할 점은 적층 단수가 늘어남에 따라 같은 패키지 면적에서 더 많은 용량을 담을 수 있게 됐다는 것이다. 엔비디아 H200 기준 HBM3E 6스택으로 141 GB의 메모리 용량을 확보한다.
SK하이닉스, 삼성, 마이크론의 공급사 구도
HBM 시장은 사실상 세 회사가 나눠 갖는다. 그 중에서도 현재 SK하이닉스가 가장 앞선 위치에 있다는 평가가 많다.
SK하이닉스는 HBM3 세계 최초 양산에 이어, HBM3E 역시 엔비디아에 가장 먼저 납품한 것으로 알려져 있다. 2026년에는 HBM4 양산을 TSMC와 공동으로 진행하는 내용의 협력을 발표했다. HBM4는 이전 세대 대비 대역폭이 약 2배, 전력 효율이 40% 개선될 것으로 예상된다.
삼성전자는 HBM3E 개발에 성공했으며, 2026년 엔비디아 퀄테스트를 통과했다는 보도가 나왔다. 다만 양산 일정과 납품 비중에서 SK하이닉스를 따라잡는 데 시간이 걸리는 상황이다.
마이크론은 2024년 HBM3E 12단 샘플을 공급하며 존재감을 높였다. 2026년에는 1b(10나노 5세대) D램 기반의 HBM4 샘플을 고객사에 공급하기 시작했는데, 이는 HBM3E 대비 성능 60%, 전력 효율 20% 이상 개선된 수준이라고 한다. 빅2로 불리던 삼성·SK하이닉스 구도에 마이크론이 뚜렷한 변수로 떠오른 셈이다.
이 세 회사 가운데 HBM 수율(정상 제품 비율)과 첨단 패키징 기술이 공급량을 결정하는 핵심 변수다. 엔비디아 GPU 출하량이 HBM 소비량과 직결되는 만큼, AI 인프라 투자 규모가 이 시장 전체를 좌우한다.
자주 묻는 질문 FAQ
Q1) HBM은 왜 일반 PC에 들어가지 않나?
HBM은 GPU나 AI 가속기 칩과 같은 패키지 안에 일체형으로 통합되는 구조다. 별도 슬롯에 꽂는 방식이 아니라 반도체 제조 단계에서 함께 패키징된다. 단가도 GDDR 대비 수십 배 이상 비싸서 게임용 PC에 넣으면 수백만 원이 메모리 하나에 쓰인다. PC용 그래픽 카드는 당분간 GDDR 계열이 유지될 가능성이 높다.
Q2) HBM4는 언제 나오나?
2026년 현재 SK하이닉스와 삼성전자가 HBM4 양산을 시작했거나 시작 직전 단계다. 마이크론도 HBM4 샘플 공급을 개시했다. HBM4는 기존 HBM3E 대비 대역폭이 약 2배 수준으로, 차세대 엔비디아 AI 가속기에 탑재될 것으로 보인다. TSMC의 CoWoS-L 같은 고급 패키징 기술과 함께 사용된다.
Q3) TSV와 HBM, 어느 회사가 처음 개발했나?
TSV 기술 자체는 반도체 업계에서 오래전부터 연구됐지만, 이를 실제 HBM 제품에 적용해 처음 양산한 것은 SK하이닉스다. 2013년에 HBM1 개발을 완료하고 AMD와 협력해 처음 상용화했다. 표준 규격 제정에는 JEDEC(국제 반도체 표준화 기구)이 관여해 HBM 인터페이스 스펙을 공표했다.