서버당 최대 18TB의 추가 DDR5 메모리 지원.
RAM 용량은 수많은 AI 애플리케이션의 병목 현상을 유발하는 경향이 있지만, 호스트 시스템에 메모리를 추가하는 것이 불가능하거나 복잡한 경우가 많습니다. 이에 Nvidia의 지원을 받는 스타트업 Enfabrica는 이더넷 연결을 통해 모든 서버에 테라바이트(terabytes) 단위의 DDR5 메모리를 추가할 수 있는 Emfasys 시스템을 개발했습니다. 이 이더넷 기반 메모리 풀은 대규모 추론(large-scale inference) 워크로드를 염두에 두고 설계되었으며, 현재 선별된 고객들과 함께 테스트가 진행 중입니다.
Enfabrica의 Emfasys 시스템은 자사의 ACF-S SuperNIC을 기반으로 구축된 랙 호환 시스템이며, 최대 3.2 Tb/s (400 GB/s)의 처리량을 자랑합니다. 이 시스템은 CXL을 활용하여 최대 18 TB의 DDR5 메모리를 연결할 수 있습니다. 해당 메모리 풀은 표준 400G 또는 800G 이더넷 포트를 통해 원격 직접 메모리 액세스(RDMA over Ethernet) 방식으로 4-way 및 8-way GPU 서버에서 접근이 가능하여, 사실상 모든 AI 서버에 Emfasys 시스템을 손쉽게 통합할 수 있습니다.
GPU 서버와 Emfasys 메모리 풀 간의 데이터 이동은 RDMA를 사용하며, 이는 CXL.mem 프로토콜을 통해 CPU 개입 없이 제로 카피(zero-copy) 및 저지연(low-latency) 메모리(마이크로초 단위 측정) 액세스를 구현합니다. 물론, Emfasys 메모리 풀에 접근하기 위해서는 서버가 Enfabrica가 제공하거나 활성화하는 메모리 계층화 소프트웨어(memory-tiering software)를 갖추어야 합니다. 이 소프트웨어는 기존 하드웨어 및 OS 환경에서 구동되며, 널리 사용되는 RDMA 인터페이스를 기반으로 구축되므로, 풀 배포가 매우 용이하며 주요 아키텍처 변경이 필요하지 않습니다.
Enfabrica의 Emfasys는 점점 더 긴 프롬프트, 대규모 컨텍스트 윈도우, 혹은 다중 에이전트 사용이 필수적인 현대 AI 사용 사례의 증가하는 메모리 요구 사항을 해결하는 것을 목표로 합니다. 이러한 워크로드는 제한적이고 고가인 GPU 전용 HBM(High Bandwidth Memory)에 막대한 부담을 줍니다. 외부 메모리 풀을 활용하면 데이터 센터 운영자는 개별 AI 서버의 메모리를 유연하게 확장할 수 있어, 앞서 언급된 시나리오에 최적화된 솔루션이 됩니다.
Emfasys 메모리 풀을 사용하면 AI 서버 소유자는 컴퓨팅 리소스를 더욱 효율적으로 활용하고, 고가 GPU 메모리의 낭비를 막으며, 전반적인 인프라 비용을 절감하여 효율성을 높일 수 있습니다. Enfabrica에 따르면, 이 구성을 통해 높은 처리량(high-turn) 및 긴 컨텍스트 시나리오에서 AI 생성 토큰당 비용을 최대 50%까지 절감할 수 있습니다. 또한, 토큰 생성 작업을 서버 전반에 걸쳐 균등하게 분산할 수 있어 병목 현상을 근본적으로 해소합니다.
Enfabrica의 로찬 산카르(Rochan Sankar) CEO는 "AI 추론은 메모리 대역폭 확장 문제와 메모리 마진 스태킹 문제를 가지고 있습니다. 추론이 대화형(conversational) 방식보다 에이전트형(agentic)으로, 망각(forgetful)보다는 기억하는(retentive) 방향으로 발전함에 따라, 기존의 메모리 액세스 확장 방식으로는 대응하기 어렵습니다. 저희는 탄력적인 랙 규모의 AI 메모리 패브릭을 구축하고 이전에 시도되지 않았던 방식으로 이러한 과제를 해결하기 위해 Emfasys를 개발했습니다. 고객들은 자신들의 GenAI 워크로드를 위해 훨씬 더 확장 가능한 메모리 이동 아키텍처를 구축하고 더욱 우수한 토큰 경제를 실현할 수 있도록 저희와 파트너십을 맺는 것에 큰 기대를 하고 있습니다."라고 밝혔습니다.
Emfasys AI 메모리 패브릭 시스템과 3.2 Tb/s ACF SuperNIC 칩은 현재 선별된 고객들을 통해 평가 및 테스트를 거치고 있습니다. 따라서 일반 출시(GA) 시점이나 출시 여부는 아직 불분명합니다.
Enfabrica는 Ultra Ethernet Consortium (UEC)의 자문 위원회 멤버로 활동하며, Ultra Accelerator Link (UALink) Consortium에 기여하는 등 회사의 향후 방향성을 보여주고 있습니다.
최신 뉴스, 분석 및 리뷰는 Tom's Hardware의 구글 뉴스 채널을 통해 받아보세요. 팔로우 버튼을 클릭해 주세요.