젯따스케일 AMD 기반 AI 클러스터 구현.
Oracle Cloud Infrastructure(OCI)는 AMD가 Advancing AI 행사에서 공개한 최신 Instinct MI350X 시리즈 GPU와 업계 최초의 Ultra Ethernet 규격에 맞는 NIC인 Pensando Pollara 400GbE 네트워크 인터페이스 카드를 탑재하는 최초의 하이퍼스케일러 중 하나가 될 것이라고 발표했다. 이번 발표는 Ultra Ethernet 컨소시엄이 이번 주에 하이퍼스케일 AI 및 HPC 데이터센터를 위해 설계된 Ultra Ethernet 기술의 사양 1.0 버전을 발표함에 따라 이루어졌다.
회사에 따르면, AMD의 Instinct MI350X 시리즈 GPU와 Pensando Pollara 400GbE NIC가 장착된 시스템은 올해 하반기에 OCI를 비롯한 여러 클라우드 서비스 제공업체에서 광범위하게 사용할 수 있게 될 예정이다. 특히 Pensando Pollara 400GbE 네트워크 카드는 AMD의 최신 AI GPU를 광범위하게 배포하고 최대 131,072개의 Instinct MI355X로 제타 스케일 AI 클러스터를 구축하여, 고객들이 대규모로 AI 모델을 학습하고 추론할 수 있도록 계획하는 Oracle에게 매우 유용할 전망이다.
AMD의 Pensando Pollara 400GbE NIC는 다른 Ultra Ethernet 호환 네트워크 하드웨어와 마찬가지로 최대 백만 개의 AI 프로세서 또는 GPU를 포함하는 대규모 스케일 아웃 환경을 위해 설계되었으며, AI 워크로드에 최대 6배의 성능 향상을 약속한다. AMD는 자사 Pollara 400GbE 카드가 Nvidia의 CX7 대비 10% 높은 RDMA 성능을 제공하며, Broadcom의 Thor2 솔루션보다 20% 높은 RDMA 성능을 제공한다고 밝혔다. 또한, UEC 1.0이 지원하는 효율적인 로드 밸런싱, 선택적 재전송(selective retransmission), 경로 인지 혼잡 제어(path-aware congestion control)와 같은 기능은 기존 RoCEv2 대비 RDMA 성능을 추가로 25% 향상시킬 수 있다.
기술 거인들, AI 인프라 구축의 대규모 데이터 병목 현상 해소를 위해 광학 상호 연결 제휴 구성
Pensando Pollara 400GbE NIC는 RDMA를 지원하고, 조정 가능한 전송 프로토콜 및 통신 라이브러리 오프로딩 기능을 갖춘 자체 설계 특수 프로세서에 기반한다. 이 NIC는 병목 현상을 방지하기 위해 데이터 스트림을 여러 경로로 지능적으로 분할할 수 있으며, 대규모 GPU 배포 전반에 걸쳐 일관된 처리량을 보장하도록 과부하된 네트워크 경로에서 트래픽을 동적으로 우회시킨다.
나아가, AMD의 Pollara 400GbE 카드는 고속 GPU-to-GPU 링크를 보존하기 위해 연결을 신속하게 감지하고 우회하는 장애 조치(failover) 기능을 탑재하고 있다. 이러한 기능은 수만 개의 가속기가 연결된 환경에서 클러스터 활용도를 유지하고 지연 시간을 줄이는 데 필수적이다.
Oracle이 AMD의 Pollara 400GbE NIC를 최초로 대규모로 도입하는 하이퍼스케일러(가장 큰 AMD Instinct MI355X 기반 클러스터를 보유할 가능성이 높음)가 되겠지만, 대규모 AMD Instinct 배포를 계획하는 다른 기업들도 곧 뒤를 이어 Ultra Ethernet 장비 채택을 가속화할 것으로 예상된다. 현재 이 카드는 관심 있는 당사자들에게 출하 중이다.
최신 뉴스, 분석 및 리뷰를 피드에서 받아보려면 Google News에서 Tom's Hardware를 팔로우하세요. 팔로우 버튼을 클릭하는 것을 잊지 마십시오.