AI 메모리 문제를 새로운 각도에서 접근하다.
샌디스크와 SK하이닉스가 AI 메모리 인프라의 판도를 바꿀 핵심적인 진전이 될 수 있는 분야에서 협력을 위한 양해각서(MOU)를 체결했습니다. 보도 자료를 통해 발표된 이번 협약은 NAND 플래시 기반의 메모리 기술인 "High Bandwidth Flash"(HBF)의 표준화를 목표로 합니다. HBF는 HBM(High Bandwidth Memory)과 유사한 패키지에 내장되는 메모리 기술입니다. 이는 플래시 메모리와 DRAM급 대역폭을 단일 스택에 융합하려는 업계의 첫 번째 본격적인 시도로, AI 모델이 대규모로 데이터를 접근하고 처리하는 방식을 근본적으로 혁신할 잠재력을 지니고 있습니다.
전통적인 HBM이 오직 DRAM에만 의존하는 것과 달리, HBF는 메모리 스택의 일부를 NAND 플래시로 대체합니다. 이를 통해 순수한 지연 시간(raw latency)을 포기하는 대신, 훨씬 높은 용량과 비휘발성을 확보할 수 있게 되었습니다. 이러한 접근 방식은 HBF가 유사한 비용으로 DRAM 기반 HBM보다 최대 8~16배 더 많은 용량을 제공하면서도, 유사한 대역폭 수준을 목표로 할 수 있게 합니다. 또한, 데이터를 유지하기 위해 지속적인 전력이 필요한 DRAM과 달리, NAND는 비휘발성이므로 에너지 소비를 줄이면서 영구적인 스토리지를 가능하게 합니다.
이러한 차이점은 AI 추론(inference)이 전력 제약적인 환경으로 확장되면서 매우 중요성이 커지고 있습니다. 대규모 클라우드 인프라를 임대하는 기업인 하이퍼스케일러(Hyperscalers)들은 현재 추론 작업을 엣지(edge)로 확장하고 있으며, AI 데이터 센터의 냉각 예산은 이미 현실적인 한계에 직면해 있습니다.
실제로 몇 년 전, "LLM in a Flash"라는 제목의 연구 논문이 발표된 이후, 대규모 언어 모델(LLM)을 구동할 때 SSD를 추가 메모리 계층으로 활용하여 DRAM이 부담하는 메모리 압력을 일부 해소하는 아키텍처가 제안되기도 했습니다. 이에 착안하여 샌디스크와 SK하이닉스는 NAND 플래시의 높은 용량과 HBM의 대역폭 기능을 모방한 인터페이스 설계를 결합함으로써, 기존 HBM 스택이 가진 열적/비용적 오버헤드 없이 대규모 모델 추론을 지원할 수 있는 새로운 메모리 클래스를 제시하고 있습니다.
이러한 움직임은 광범위한 산업 변화 흐름과도 일치합니다. 예를 들어, 삼성은 최근 자체 플래시 기반 AI 스토리지 계층인 "PBSSD"를 공개했으며, 로직 다이 통합 및 잠재적 하이브리드 스택을 포함할 차세대 HBM4 DRAM 개발에 박차를 가하고 있습니다. 한편, 엔비디아(Nvidia)의 로드맵은 Rubin 및 Vera GPU를 통해 여전히 HBM에 크게 의존하고 있으며, 플래시를 통합하는 방식은 비용과 전력의 선형적 증가 없이 메모리 확장 경로를 제공할 대안이 될 수 있습니다. (자세한 내용은 삼성, 마이크론, SK하이닉스의 HBM 로드맵 심층 분석을 참고할 수 있습니다.)
샌디스크의 HBF 프로토타입은 2025년 플래시 메모리 서밋(Flash Memory Summit 2025)에서 공개되었으며, 회사의 독점적인 BiCS NAND 및 CBA 웨이퍼 본딩 기술을 활용해 개발되었습니다. 샌디스크는 이 행사에서 '최신 기술상(Most Innovative Technology)'을 수상하는 영예를 안았으며, HBF의 개발 및 생태계 전략을 안내하기 위한 기술 자문 위원회(Technical Advisory Board) 구성을 발표했습니다. 이 위원회는 샌디스크 내부 및 외부 인사들로 구성되어 있으며, 샌디스크가 HBF를 단순한 자체 제품을 넘어 산업 전반의 표준으로 확립하겠다는 강한 의지를 보여줍니다.
샘플 HBF 모듈은 2026년 하반기에 출시될 예정이며, 이 기술이 통합된 첫 AI 추론 하드웨어는 2027년 초에 등장할 것으로 예상됩니다. 구체적인 제품이나 파트너사명은 언급되지 않았지만, 업계 전문가들은 표준이 확립되면 SK하이닉스가 엔비디아 및 다른 AI 칩 제조업체들과 긴밀한 관계를 구축하고 있어 채택 속도가 빨라질 것으로 예측합니다. 과거 인텔의 전 그래픽 수석을 지냈으며 현재는 자체 스타트업을 운영하는 라자 코두리(Raja Koduri) 역시 샌디스크와 협력하여 AI GPU용 HBF 자문 역할을 수행한 바 있습니다.
만약 성공적으로 구현된다면, 이 협업은 DRAM, 플래시, 그리고 새로운 영구 메모리 유형까지 AI 가속기 내에서 공존하는 '이종 메모리 스택(heterogeneous memory stacks)'의 길을 열게 됩니다. 이는 하이퍼스케일러들에게 급증하는 HBM 비용에 대한 절실한 대안을 제시할 뿐만 아니라, 메모리 용량 한계에 점점 봉착하는 차세대 모델들을 안정적으로 구동하게 할 것입니다. 궁극적으로 SK하이닉스는 이미 세계 최고의 메모리 제조업체이기에, 사내에서 개발되는 잠재적인 대체재로부터 가장 큰 이익을 얻을 수 있는 위치에 있습니다.
이는 샌디스크에게도 생소한 영역이 아닙니다. 이 회사는 오랜 협력 역사를 가지고 있으며, 가장 최근에는 플래시의 발명가인 Kioxia와 협력하여 CMOS 공정을 사용한 BiCS9를 개발한 바 있습니다. HBF가 CBA 기반 BiCS NAND를 사용하고 있음에도 불구하고, 샌디스크 측은 이것이 Kioxia와 협력했던 것과 동일한 세대인지는 밝히지 않았습니다. 새로운 정보가 확인되는 대로 기사를 업데이트할 예정입니다.
(주: 최신 뉴스, 분석 및 리뷰를 받아보시려면 Google News에서 Tom's Hardware를 팔로우해주세요. 팔로우 버튼을 누르는 것을 잊지 마십시오.)