빠르기는 하지만, 달성하기는 어려울 것이다.
AI 산업이 높은 대역폭 메모리(HBM)를 탑재한 초고성능 GPU를 보유함에 따라, AI 학습 및 추론 시스템이 직면하는 병목 현상 중 하나는 스토리지 성능입니다. 월리스 C. 쿠(Wallace C. Kou)는 Tom's Hardware와의 단독 인터뷰에서, 이러한 문제를 해결하기 위해 엔비디아(Nvidia)가 파트너들과 협력하여 소규모 블록 워크로드에서 무작위 읽기 성능 1억 IOPS(초당 입출력 작업 횟수)에 도달하는 SSD를 구축하고 있다고 밝혔습니다.
쿠는 Tom's Hardware에게 "현재 엔비디아는 1억 IOPS를 목표로 하고 있으며, 이는 엄청난 수치입니다"라고 전했습니다.
엔비디아 B200과 같은 최신 AI 가속기는 약 8 TB/s에 달하는 HBM3E 메모리 대역폭을 특징으로 하며, 이는 전체 처리량과 지연 시간 측면에서 최신 스토리지 서브시스템의 능력을 크게 능가합니다. 반면, 최신 PCIe 5.0 x4 SSD는 최대 약 14.5 GB/s에 도달하며, 4K 및 512B 무작위 읽기 모두에서 200만~300만 IOPS를 제공합니다. 4K 블록이 대역폭 측면에서 유리하지만, AI 모델은 보통 크기가 작고 무작위적인 데이터를 가져오는 패턴을 보이기 때문에 지연 시간에 민감한 작업에는 512B 블록이 더 적합합니다. 그러나 SSD 컨트롤러와 NAND 메모리 자체의 근본적인 한계를 고려할 때, IOPS를 33배나 늘리는 것은 쉽지 않은 과제입니다.
실제로 Kioxia는 1,000만 512K IOPS를 초과하도록 설계된 XL-Flash 메모리를 기반으로 'AI SSD'를 개발하는 작업을 진행하고 있습니다. 이 회사는 내년 하반기에 해당 드라이브를 출시할 계획이며, 이는 엔비디아의 Vera Rubin 플랫폼 출시 시기와 맞물릴 가능성이 있습니다. 1억 IOPS를 달성하려면 여러 개의 'AI SSD'를 사용해야 할 수도 있습니다.
그러나 SMI의 책임자는 합리적인 비용과 전력 소비를 유지하면서 기존 NAND를 사용한 단일 드라이브로 1억 IOPS를 달성하는 것은 극히 어려울 것이라며, 새로운 유형의 메모리가 필요할 것이라고 전망합니다.
쿠는 "저는 업계가 근본적인 매체(media) 변화를 찾고 있다고 생각합니다. Optane이 이상적인 해결책이 될 것으로 기대되었지만 이제는 사라졌습니다. Kioxia는 XL-NAND를 활용하여 성능 개선을 시도하고 있고, SanDisk는 High Bandwidth Flash(HBF)를 도입하려고 하지만, 솔직히 저는 그것을 완전히 신뢰하기 어렵습니다. 현재 모든 업체가 자사 기술을 홍보하고 있지만, 업계는 근본적으로 새로운 돌파구가 필요합니다. 그렇지 않으면 1억 IOPS를 달성하면서도 비용 효율성을 확보하기 매우 어려울 것입니다"라고 말했습니다.
현재 Micron과 SanDisk을 포함한 많은 기업들이 새로운 비휘발성 메모리 유형을 개발하고 있습니다. 다만, 이러한 신규 메모리가 언제쯤 상업적으로 실현 가능해질지는 실리콘 모션(Silicon Motion)의 책임자조차 확신하지 못하는 부분입니다.
독자 여러분께: 최신 뉴스, 분석 및 리뷰를 받아보려면 Google News에서 Tom's Hardware를 팔로우해 주십시오. 팔로우 버튼을 클릭하는 것을 잊지 마세요.