동일 용량 대비 RDIMM보다 2.5배 높은 대역폭
마이크론, 삼성, SK하이닉스가 LPDDR5X 메모리를 채택하고 AI 및 저전력 서버 시장을 겨냥한 소형 아웃라인 압축 첨부 메모리 모듈(SOCAMM)을 선보였습니다. SOCAMM은 Nvidia의 GB300 Grace Blackwell Ultra Superchip 시스템 기반 서버에 우선 적용될 예정이며, 고용량, 고성능, 작은 폼 팩터, 저전력 소비의 네 가지 강점을 통합하도록 설계되었습니다.
SOCAMM은 크기가 14x90mm로, 기존 RDIMM의 약 3분의 1 크기이며 최대 16-die LPDDR5X 메모리 스택 네 개를 장착할 수 있습니다. 마이크론의 초기 SOCAMM 모듈은 128GB 용량을 제공하며, 마이크론의 1β(1-beta, 5세대 10nm급) DRAM 공정 기술로 생산된 LPDDR5X 메모리 장치를 기반으로 합니다. 마이크론은 초기 SOCAMM 스틱의 데이터 전송 속도 지원 여부는 공개하지 않았으나, 메모리 자체는 최대 9.6 GT/s까지 지원된다고 밝혔습니다. 한편, GTC 2025에서 시연된 SK하이닉스의 SOCAMM은 최대 7.5 GT/s까지 지원하는 것으로 평가되었습니다.
서버에서 메모리는 전력 소비의 상당 부분을 차지합니다. 예를 들어, 소켓당 테라바이트급 DDR5 메모리가 장착된 서버의 DRAM 전력 소비는 CPU의 전력 소비량을 초과하는 경우도 있습니다. Nvidia는 LPDDR5X 메모리를 중심으로 Grace CPU를 설계했는데, 이는 DDR5보다 전력 효율이 높지만, 높은 메모리 대역폭을 확보하기 위해 와이드 메모리 버스(AMD 및 Intel의 데이터센터급 프로세서 기술을 차용한 것)를 구현했습니다. 하지만 GB200 Grace Blackwell 기반 시스템에서는 표준 LPDDR5X 메모리 모듈로는 필요한 용량을 충족할 수 없어, 불가피하게 솔더다운(soldered-down) LPDDR5X 메모리 패키지를 사용해야 했습니다.
마이크론의 SOCAMM은 네 개의 16-die LPDDR5X 메모리 스택을 수용할 수 있는 표준 모듈식 솔루션을 제시함으로써 이러한 한계점을 극복하며, 잠재적으로 매우 높은 용량을 제공할 수 있습니다. 마이크론에 따르면, 128GB SOCAMM은 128GB 용량의 DDR5 RDIMM이 소비하는 전력의 3분의 1 수준에 불과하여 전력 효율 면에서 큰 이점을 가집니다. 다만, 마이크론의 SOCAMM이 JEDEC에서 지원하는 산업 표준으로 자리 잡을지, 아니면 마이크론, 삼성, SK하이닉스, Nvidia가 Grace 및 Vera CPU 구동 서버를 위해 자체적으로 개발한 독점 솔루션으로 남을지는 아직 불분명합니다.
마이크론의 SOCAMM 스틱은 이미 대량 생산 단계에 진입했기 때문에, Nvidia의 GB300 Grace Blackwell Ultra Superchip 기반 시스템에 적용될 것이 확실시됩니다. 이러한 모듈식 메모리 방식은 서버의 생산 및 유지보수를 단순화하여 관련 장치 가격에 긍정적인 영향을 미칠 것으로 예상됩니다.
마이크론 컴퓨팅 및 네트워킹 사업부 수석 부사장 겸 총괄 매니저인 Raj Narasimhan은 "AI는 컴퓨팅 분야의 패러다임 전환을 주도하고 있으며, 메모리가 이러한 진화의 핵심에 있습니다"라며, "마이크론이 기여하는 Nvidia Grace Blackwell 플랫폼은 AI 학습 및 추론 애플리케이션에 상당한 성능 향상과 전력 절감 이점을 제공합니다. HBM 및 LPDDR 메모리 솔루션은 GPU의 컴퓨팅 역량을 끌어올리는 데 기여할 것입니다"라고 밝혔습니다.