HBM 메모리란? – 미래 기술의 혁신 동력

HBM 메모리 요약

HBM 메모리는 High Bandwidth Memory의 약자로 고대역폭 메모리로, D램을 여러 개 쌓아(적층 구조) 속도를 높이면서 전력 소비를 줄인 고성능 반도체이다.
* HBM 약자에 메모리가 들어가 있는데 인식의 편의상 HBM 메모리라고 부르고 있다.

반도체 기술은 지속적으로 진화하고 있으며, 요즘 그 중심에 HBM(High Bandwidth Memory)이 자리잡고 있습니다. 대량의 정보를 한꺼번에 빠르게 처리할 수 있어 인공지능(AI) 반도체의 핵심 요소로 꼽힙니다. SK하이닉스가 2013년 처음 개발했고, 미국기업 마이크론은 최근 5세대인 HBM3E 양산에 돌입했습니다.

HBM은 높은 대역폭과 전력 효율성으로 주목받고 있습니다. 특히 AI, 그래픽스, 빅데이터 등 데이터 집약적 분야에서 HBM의 역할이 점점 커지고 있습니다. 이번 포스트에서는 HBM 구조와 장단점 등 주요 내용을 쉽게 설명드리겠습니다.

A-Dic

• 적층구조: 여러 개의 메모리 칩을 수직으로 쌓아올린 3차원 구조를 말합니다.
• 대역폭: 단위 시간당 데이터를 전송할 수 있는 용량을 의미합니다. 대역폭이 높을수록 데이터 전송 속도가 빨라집니다.

A-Book

AI 성능향상을 위해서는 고성능의 가속기의 역할이 매우 중요하다. 하지만 그렇다고 모든 문제가 해결되는 것은 아니다. 폰 노이만이 80년 전 예견했던 프로세서와 메모리 간 병목현상을 해결하지 못한다면, 데이터센터에 더 많은 AI 가속기를 투입한다 하더라도 성능 향상에는 한계가 있을 수밖에 없다. 인공지능은 대규모의 데이터를 분석하는 것에서 출발한다. 따라서 프로세서와 메모리 사이의 데이터 교환도 엄청나게 증가하게 되고, 그만큼 병목 이슈가 전체 컴퓨팅 성능을 저하시키는 요인이 될 수 있다. 따라서 메모리의 성능을 더 끌어올리고, 동시에 프로세서로 보내는 데이터양을 줄이기 위한 두 가지 방향으로 메모리 기술이 개발되고 있다. 이러한 AI에 최적화된 메모리로 HBM-PIM, CXL-PNM, SmartSSD 기술이 주로 거론된다.

HBM(High Bandwidth Memory)은 기본적으로 DRAM의 3D 입체 구조를 갖고 내부에 1,024개의 TSV(Through Silicon Via: 실리콘관통전극)를 만들어 버스 폭을 대폭 늘리는 방식이다. 클럭 스피드 자체는 GDDR6보다 낮지만, 버스 폭이 32배 늘어나 GPU와 메모리 사이의 대역폭이 크게 증가한다. ..중략.. 실제 HBM1 이후 HBM2, HBM2E, HBM3까지 모두 1,024개의 TSV를 사용하고 있다. ..중략.. 시장조사기관들은 HBM 시장의 규모가 향후 10년 간 CAGR 기준 최소 20~30%의고성장을 누릴 것으로 전망하고 있다.

이승우, 반도체 오디세이 중에서

엔비디아의 A100이 챗GPT 시장의 핵심으로 떠올랐지만 엔비디아의 1만 달러짜리 A100 칩셋은 200달러짜리 한국산 고대역폭 메모리(HBM)가 없으면 작동이 안 된다. 지금 엔비디아에 HBM을 공급하는 것은 SK하이닉스다.

전병서, 한국 반도체 슈퍼 乙 전략

그래픽 처리 칩인 GPU(Graphics Processing Unit)를 보조하기 위한 D램이 필요한데, 이들 D램은 GDDR 규격을 따른다. LPDDR이 낮은 전력 소모를 중점에 두고 성능을 개선하는 데 반해 GDDR은 그래픽카드의 성능 극대화에 중점을 둔다. 그러나 근래에는 컴퓨팅 사양이 더욱 높아져 GDDR만으로 그래픽 처리가 어려워졌다. 이에 따라 HBM이라는 새로운 표준이 등장했다. HBM은 고성능 GPU 시장을 중심으로 도입되었다. 그러나 GPU 외에도 CPU를 비롯하여 다양한 연산 처리 영역으로 사용처가 지속 확대되고 있다. 특히, 아직은 HBM의 가격대가 높아 서버용 GPU와 CPU 중에서도 가장 고가의 제품에만 제한적으로 HBM이 사용되고 있지만, 점차 제조 단가가 내려가며 일반 PC시장까지도 사용 영역이 확대될 예정이다.

우황제, 현명한 반도체 투자

HBM이란 D램들을 탑처럼 쌓아 올린 메모리 반도체를 말한다. 당연히 면적당 기억 능력이 매우 높을 수밖에 없다. 단층집보다는 20층짜리 아파트에 더 많은 사람이 들어갈 수 있는 것과 같은 이치다. 게다가 전력 소모도 적다. D램들에 구멍을 뚫은 다음 전선 역할을 하는 구리를 흘려 넣는 방법으로 만들기 때문에 누수되는 전력이 없다. 연장선에서 데이터 전송 속도도 매우 빠르다.

물론 그만큼 만들기도 어렵고 비싸다. 따라서 지금까지는 굳이 HBM을 쓰지 않았다. 대부분의 연산은 CPU와 D램의 조합만으로 감당할 수 있었기 때문이다. 그런데 인공지능이 고도화되면서 상황이 달라졌다. CPU 연산의 특징은 ‘직렬’이다. 비유하자면 매우 똑똑한 일꾼 한 명이 문제를 하나씩 풀어나간다. 따라서 연산할 것이 많아지면 아무리 똑똑한 CPU라도 느려질 수밖에 없다. 10차선 고속도로가 갑자기 1차선으로 좁아진다면? 그래서 자동차가 한 대씩만 지나갈 수 있다면? 제한 속도가 200킬로미터라도 전쟁 같은 교통 체증이 발생할 것이다. 인공지능 개발에 쓰인 CPU가 딱 이런 상황이었다. 이때 구원자로 나타난 것이 그래픽 처리에 쓰이던 GPU다. CPU와 달리 GPU 연산의 특징은 ‘병렬’이다. 한 번 더 비유하자면 적당히 똑똑한 수천 명의 일꾼이 비교적 단순한 문제를 각자 풀어낸다. CPU보단 덜하더라도 역시 똑똑한 데다가 동시에 수천, 수만 번의 연산을 수행할 수 있는 만큼, GPU의 사용처는 점점 다양해지고 있다. 단순 계산을 수천, 수만 번 반복해야 하는 비트코인 채굴이 대표적이다.

​오늘날 개발되는 인공지능 또한 단순 계산을 무수히 반복하는 것이 기본이다. 인간의 물음에 가장 알맞은 답을 찾아낼 때까지 엄청난 양의 데이터를 스스로 학습하고 피드백하고 다시 학습하는 과정을 끊임없이 반복한다. 이는 CPU보다는 GPU에 특화된 작업이다. 그런데 데이터의 양이 점점 늘어나다 보니 기존의 D램보다 더욱 빠르게 데이터를 기록하고 꺼내올 메모리 반도체가 필요해졌다. 그것이 바로 HBM이다. 이 때문에 오늘날 대부분의 인공지능 개발은 GPU와 HBM의 조합으로 이뤄진다.

  이때 가장 눈여겨보아야 할 점은 한국이 HBM의 종주국이란 사실이다. HBM 연구는 2010년대 초반부터 시작되었다. 당시는 삼성전자와 SK하이닉스, 미국의 마이크론(Micron)이 삼파전을 벌였는데, 결과적으로 한국의 두 반도체 기업이 HBM의 기술 표준을 점했다. 그중에서도 세계 최초 개발에 성공한 SK하이닉스가 좀 더 앞서 나가고 있다. 현재 전 세계 HBM 시장은 SK하이닉스가 50퍼센트 안팎, 삼성전자가 40퍼센트 안팎, 마이크론이 10퍼센트 안팎을 차지하고 있다. 물론 HBM 시장의 규모 자체는 아직 작다. 전체 D램 시장의 10퍼센트에 불과하다. 하지만 인공지능 고도화 덕분에 다른 어떤 반도체 시장보다 강하게, 또 빠르게 성장할 것으로 예상된다.

보통 반도체를 구성하는 소자들은 구리 배선, 즉 ‘와이어(wire)’를 이용해 연결하는데, 직관적이고 간편한 방법이지만, 반도체 구조가 복잡해질수록 와이어가 너무 많아져 서로 간섭하거나 물리적으로 연결할 공간이 부족해지는 문제가 발생한다. 하여 와이어를 없애고 소자들에 구멍을 뚫은 다음 구리를 충전, 즉 흘려 넣음으로써 연결하는 방식이 개발되었는데, 이를 ‘TSV(Through Silicon Via)’라고 한다. TSV는 소자와의 접촉면이 와이어보다 넓은 만큼 전력 공급이 효율적이고 신호 전달이 빠르다. 또한 소자를 안정적으로 쌓을 수 있어 집적도를 크게 높일 수 있다.

권순용, K반도체 대전략

HBM 주요 내용

HBM의 탄생 배경 및 세대별 히스토리

HBM은 데이터 센터, 슈퍼컴퓨터, AI 가속기, 그래픽 처리 장치(GPU) 등에서 대량의 데이터를 고속으로 처리할 필요성이 높아지면서 개발되었습니다. 초창기에는 GDDR 규격의 그래픽 처리용 D램이 사용되었지만, 인공지능 기술의 발전과 함께 메모리 처리 속도와 대역폭에 대한 요구가 급증했습니다. 이러한 수요에 대응하기 위해 HBM 기술이 개발되었습니다.

1세대 – HBM1 (2013)

• HBM의 시작점으로, 기존 GDDR 메모리의 대역폭 한계를 극복하기 위해 2013년 SK하이닉스가 AMD와 공동으로 세계 최초로 개발했습니다.
• 4개의 20나노급 D램을 수직으로 적층하여 높은 대역폭을 구현했으며, 최대 128GB/s의 대역폭과 1GB의 용량을 제공했습니다.
• HBM을 SoC(System on Chip)*와 같이 탑재해 한 시스템을 이루는 SiP(System in Package)** 형태로 공급했습니다.
  * SoC: 여러 가지 기능을 가진 시스템을 하나의 칩 속에 집적한 반도체
  ** SiP: 한 패키지를 여러 개의 칩으로 구성해 완전한 시스템을 구현한 것

2세대 – HBM2 (2015)

• HBM1의 성능을 개선한 2세대 제품으로, 최대 341GB/s의 대역폭과 8GB의 용량을 제공
• AMD, Nvidia, Intel 등 주요 반도체 기업들이 HBM2 기술을 채택하며 시장 확산이 되었음.

3세대 – HBM2E (2019)

• HBM2 개선 제품으로, 최대 460GB/s의 대역폭과 D램 단품 칩 8단 16GB의 용량을 제공합니다.
  (Full-HD급 영화(3.7GB) 124편을 1초에 전송하는 수준)
• 전력 효율성도 개선되었고, AI, 그래픽 등 고성능 컴퓨팅 분야에 널리 활용되고 있습니다.
  * 'E'는 Extended(확장된)의 약자로, 기존 세대 대비 성능이 향상되었음을 나타냅니다.

4세대 – HBM3 (2023)

• 최대 819GB/s의 대역폭과 D램 단품 칩 12단 24GB의 용량을 제공
  (Full-HD급 영화163편을 1초에 전송하는 수준)
• Advanced MR-MUF*와 TSV 기술 적용
  * MR-MUF: 반도체 칩을 쌓아 올린 뒤 칩과 칩 사이 회로를 보호하기 위해 액체 형태의 보호재를 공간 사이에 주입하고, 굳히는 공정. 칩을 하나씩 쌓을 때마다 필름형 소재를 깔아주는 방식 대비 공정이 효율적이고, 열 방출에도 효과적이라는 평가. 특히, SK하이닉스의 어드밴스드 MR-MUF는 기존 공정보다 칩을 쌓을 때 가해지는 압력을 줄이고, 휨 현상 제어(Warpage control)도 향상해 HBM 공급 생태계 내에서 안정적인 양산성을 확보하는 데 핵심이 되고 있음

5세대 – HBM3E (2024)

• 최대 9.2Gbps의 전송 속도와 최대 1.18TB/s의 대역폭을 제공
  (Full-HD급 영화(5GB) 230편 분량이 넘는 데이터를 1초만에 처리하는 수준)
• Adavanced MR-MUF 공정 적용으로 열 방출 성능을 이전 세대 대비 10% 향상시킴.
• Nvidia의 AI 칩 ‘H200’에 적용될 예정

HBM의 장단점

장점

• 높은 대역폭과 낮은 전력 소비: DRAM의 3D 입체 구조와 1,024개의 TSV(Through Silicon Via)를 통해 버스 폭을 대폭 늘려 대역폭을 크게 증가시키고 전력 소비를 크게 줄입니다.
• 고성능 데이터 처리: HBM은 대량의 데이터를 빠르게 처리할 수 있어 AI, HPC, 그래픽 등 고성능 데이터 처리 분야에 적합합니다.

단점

• 높은 가격: 일반 DRAM보다 2~3배 비싼 편입니다.
• 제한적인 용량: HBM은 최대 16GB의 용량으로 제한되어 있어, 대용량 메모리가 필요한 경우 적합하지 않을 수 있습니다.
• 복잡한 구조: HBM의 3D 적층 구조와 TSV 기술은 제조 공정이 복잡하여 생산성이 낮은 편입니다.

SK하이닉스, 삼성전자, 마이크론의 경쟁

SK하이닉스와 삼성전자는 HBM 분야에서 세계적인 선도 기업으로, 각자의 기술력과 전략을 바탕으로 시장을 이끌고 있습니다. 마이크론도 최신 HBM3E 양산을 세계 최초로 시작하며 HBM 경쟁에 적극 참여하고 있습니다. 이들 기업의 경쟁적인 관계 속에서 지속적인 기술 개발과 혁신을 통해 HBM 기술 발전이 지속되고 있습니다.

SK하이닉스

• SK하이닉스는 HBM 시장에서 선도적인 역할을 하고 있습니다.
• 2024년 상반기에 HBM3E 제품을 대량 생산하기 시작했으며, 이를 통해 Nvidia의 AI 칩에 공급할 예정입니다.
• HBM3E는 최대 대역폭 3.6TB/s, 최대 용량 24GB를 제공하며, HBM2E 대비 성능과 효율성이 크게 향상되는 등 HBM3E 시장에서 경쟁우위를 확보하기 위해 노력하고 있습니다.

삼성전자

• 삼성전자도 HBM 시장에서 주요 플레이어로 자리잡고 있습니다.
• HBM3E 제품인 ‘아이스볼트(Icebolt)’를 개발했으며(최대 대역폭 819GB/s, 최대 용량 36GB 제공) HBM2E 제품인 ‘플래시볼트(Flashbolt)’를 출시했습니다.(AI, 머신러닝, HPC 등 첨단 기술 지원)
• HBM 시장에서의 경쟁력 강화를 위해 새로운 HBM 개발실를 신설할 계획입니다.

마이크론

• 마이크론도 HBM 시장에 본격적으로 진출하고 있습니다.
• 2024년 2분기부터 HBM3E 제품을 대량 생산해서 Nvidia의 H200 AI 칩에 공급할 계획입니다.
• 마이크론의 HBM3E 제품은 기존 제품 대비 성능과 효율성이 크게 향상되었습니다.

정리하기

HBM은 AI 기술의 발전과 함께 고대역폭 메모리로서의 중요성이 높아지고 있습니다. SK하이닉스, 삼성전자, 마이크론은 HBM 기술을 주도하며 세계 시장에서 경쟁력을 갖추고 있습니다. HBM 시장은 향후 수년간 고성장을 이어갈 것으로 전망되며, 이를 바탕으로 인공지능 및 고성능 컴퓨팅 분야의 발전이 지속될 것으로 예상됩니다.

‘secondlife.lol’의 모든 콘텐츠는 저작권법의 보호를 받습니다. 무단 전재와 복사, 배포 등을 금합니다.