HBM은 일부 사용 사례에서는 곧 입지를 잃을 수 있다
메모리 스타트업 d-Matrix는 자사의 3D 적층 메모리가 HBM(High-Bandwidth Memory)보다 최대 10배 빠르고 최대 10배 높은 속도로 작동할 수 있다고 주장합니다. d-Matrix의 3D 디지털 인-메모리 컴퓨팅(3D Digital In-Memory Compute, 3DIMC) 기술은 인공지능(AI) 추론에 최적화된 메모리 유형을 제공하는 솔루션입니다.
고대역폭 메모리(HBM)는 AI 및 고성능 컴퓨팅 분야에서 필수적인 핵심 요소가 되었습니다. HBM은 메모리 다이(die)를 여러 개 쌓아 메모리 다이 간 연결 효율성을 높이고 더 높은 메모리 성능을 구현합니다. 그러나 HBM의 인기가 높아지고 사용 범위가 확장됨에도 불구하고, HBM이 모든 컴퓨팅 작업에 최적의 해결책은 아닐 수 있습니다. HBM이 AI 학습(training)에는 필수적일 수 있으나, AI 추론(inference) 영역에서는 성능적 한계를 보일 수 있기 때문입니다.
이에 d-Matrix는 실험실에서 d-Matrix Pavehawk 3DIMC 실리콘을 공개했습니다. 디지털 인-메모리 컴퓨팅 하드웨어는 현재 인터포저(interposer)를 통해 상단에 3DIMC 칩렛(chiplet)을 적층한 LPDDR5 메모리 다이와 유사한 형태를 띱니다. 이러한 구성을 통해 DIMC 하드웨어는 메모리 자체 내에서 직접 컴퓨팅을 수행할 수 있습니다. DIMC 로직 다이는 트랜스포머 기반 AI 모델의 작동에서 핵심적으로 사용되는 행렬-벡터 곱셈(matrix-vector multiplication)에 맞춰 정밀하게 조정되었습니다.
d-Matrix의 창립자이자 CEO인 Sid Sheth는 최근 LinkedIn 게시물에서 "AI 추론의 미래는 단순히 컴퓨팅 성능뿐만 아니라 메모 자체를 재고하는 것에서 비롯된다"고 언급했습니다. 이어 "AI 추론의 병목 현상은 FLOPs(Floating Point Operations)가 아닌 메모에서 발생한다. 모델은 빠르게 성장하고 있으며, 기존의 HBM 메모리 시스템은 비용이 매우 높고, 전력 소모가 크며, 대역폭이 제한적이다. 3DIMC는 이 판도를 바꾼다. 메모리를 3차원으로 적층하고 컴퓨팅 기능과 더 긴밀하게 통합함으로써, 지연 시간(latency)을 획기적으로 줄이고, 대역폭을 개선하며, 새로운 효율성 향상을 가능하게 한다"라고 강조했습니다.
Pavehawk가 현재 d-Matrix의 연구소에서 테스트되고 있는 가운데, 회사는 이미 차세대 제품인 Raptor를 준비하고 있습니다. 회사 블로그와 Sheth의 LinkedIn 발표에 따르면, 이 차세대 제품 역시 칩렛 모델로 구현되었으며, 추론 작업에서 HBM 대비 10배 향상된 성능을 보이면서도 전력 소모는 90% 절감할 수 있다고 주장하고 있습니다.
d-Matrix의 DIMC 프로젝트는 최근 스타트업이나 기술 이론가들 사이에서 관찰되는 패턴을 따릅니다. 즉, AI 학습 대 추론과 같이 특정 계산 작업은 오직 해당 작업을 효율적으로 처리하도록 특화된 하드웨어 설계가 필요하다는 관점입니다. d-Matrix는 현재 일부 하이퍼스케일러(hyperscaler)의 AI 워크로드 중 50%를 차지하는 AI 추론이 학습과는 충분히 다른 특성을 가지므로, 이를 위해 전용으로 제작된 메모리 유형이 필요하다고 역설합니다.
HBM의 대체재는 재정적인 관점에서도 매력적입니다. HBM은 SK hynix, 삼성, 마이크론 등 소수의 글로벌 기업만이 생산하며 가격이 만만치 않습니다. SK hynix는 최근 HBM 시장이 2030년까지 매년 30%씩 성장하여 수요에 따라 가격도 상승할 것으로 추정했습니다. 이러한 거대 시장의 대안은 비용에 민감한 AI 구매자들에게 매력적일 수 있지만, 특정 워크플로우와 계산만을 위해 만들어진 메모리는 시장 변화에 민감한 잠재 고객들에게는 지나치게 편협하게 비칠 위험도 있습니다.
최신 뉴스, 분석 및 리뷰를 받아보려면 Google News에서 Tom's Hardware를 팔로우하거나 선호 출처로 추가해 주세요. '팔로우' 버튼을 클릭하는 것을 잊지 마세요!