구글보다 나은 검색 엔진을 만들기 위한 570 페타급 연산 능력.
ExaAIL의 최고 경영자(CEO) 빌 브라이크(Will Bryk)는 금요일, 자사에서 인공지능(AI) 및 고성능 컴퓨팅(HPC)용으로 엔비디아(Nvidia)의 H200 GPU를 기반으로 한 업계 최초의 클러스터 중 하나인 Exacluster를 구축했다고 발표했습니다. 이 클러스터는 사용자 의도를 구글보다 더 잘 파악하고, 구글의 검색 결과보다 우월한 결과를 제공하는 검색 엔진을 개발하는 데 사용될 예정입니다.
사실 Exacluster라는 이름이 성능의 규모를 의미하는 것과는 무관합니다. 이 클러스터가 'Exacluster'라고 명명된 것은 퀸틸리언(quintillion, $10^{18}$)을 의미하는 'Exa' 접두어와 관련이 있으며, 구체적으로는 18대의 8-way NVIDIA H200 기반 서버로 구성되었기 때문입니다. 이 클러스터는 20TB의 HBM3E 메모리가 탑재된 144개의 H200 GPU를 통해, GPU당 141GB의 HBM3E 메모리를 활용하여 총 569,958 TOPS(약 570 PetaTOPS)의 결합 컴퓨팅 성능을 제공합니다. 이 시설은 ExaAI의 신경망을 훈련시키는 데 전적으로 사용될 것입니다.
이 시스템은 96코어 프로세서 192개(총 3,456 코어)를 기반으로 하며, 36TB의 DDR5 메모리와 270TB의 NVMe 솔리드 스테이트 스토리지를 갖추고 있습니다. 이 슈퍼컴퓨터는 100kW의 전력을 소비합니다. 또한, 모든 서버에 충분한 냉각을 공급하기 위해 랙(rack)당 단 두 대의 장비만 배치합니다. 이 장비들은 표준 공랭식(air cooling)을 사용하며, 브라이크는 이 방식이 고부하 장시간 운영에도 충분할 것으로 기대하고 있습니다.
마이크로소프트, 자체 개발 AI 칩 'Maia 200' 공개: TSMC 3nm 기반, 216GB HBM3e 탑재로 다른 맞춤형 엔비디아 경쟁 제품보다 빠르다
"Exacluster 설정을 완료했습니다: 144개 H200 – 3456개 CPU – 270TB NVME SSD – 20TB GPU RAM – 36TB CPU RAM – 100KW 작동 전력. 기대해 주십시오.. pic.twitter.com/Ulhp470Spz 2025년 1월 10일"
브라이크에 따르면 클러스터 구축 비용은 약 5백만 달러에 달하며, 이는 기계당 약 277,777달러 수준으로, 전체 서버 비용이 아닌 단일 8-way H200 베이스보드와 유사한 가격대입니다. ExaAI가 어떻게 이처럼 저렴한 가격으로, 그리고 다수의 경쟁사보다 빠르게 H200 기반 장비를 확보했는지에 대해서는 명확하지 않습니다. 다만, 엔비디아는 라이트스피드(Lightspeed) 및 YCombinator와 함께 회사의 주요 투자사 중 하나입니다.
통상적으로 엔비디아와 어느 정도 연관된 기업들은 해당 회사의 최신 하드웨어를 경쟁사보다 먼저 확보하는 경향이 있습니다. 하지만 ExaAI는 그들만의 독특한 AI 활용 방식이 다양한 관계자들의 큰 관심을 받고 있기 때문에, 막대한 인맥을 사용하지 않고도 장비 확보에 성공한 것으로 분석됩니다. ExaAI의 궁극적인 목표는 복잡한 질의(query)를 이해하고 처리하여 사용자에게 최적화된 결과를 제공하는 검색 엔진을 구축하는 것입니다. 만약 이 목표를 달성한다면, 현재 우리가 경험하는 검색 시스템 자체를 완전히 혁신할 수 있을 것으로 기대됩니다.