• 설계자가 상세 공개한 144개 엔비디아 H200 AI GPU 탑재 엑사클러스터: 하이드라 호스트 등장

    Hydra Host가 최고의 성능과 최고의 가격을 실현합니다.

    article image

    금월 초, 당사는 ExaAILabs의 Exacluster에 대해 보도한 바 있습니다. 이 클러스터는 144개의 Nvidia H200 GPU가 장착된 18대의 시스템으로, 해당 프로세서 기반의 최초 클러스터 중 하나로 주목받았습니다. 이후 클러스터 구축을 주도한 Hydra Host가 이 시스템에 대한 상세 정보를 추가로 제공했습니다. 이 클러스터는 Hydra Host가 핵심적인 역할을 수행하며 커스터마이징한 Lenovo 시스템을 사용하며, 사용자가 미사용 시에는 Hydra의 Brokkr 플랫폼을 통해 대여할 수도 있습니다.

    클러스터의 백본은 144개의 Nvidia H200 GPU와 시스템당 8TB의 HBM3E 메모리가 장착된 18대의 Lenovo 노드로 구성되어 있으며, 이를 통해 AI 워크로드에 필요한 570 FP8 페타TOPS의 컴퓨팅 성능을 구현합니다. 이 중 16개 노드는 대규모 연산 및 메모리 성능이 요구되는 학습(training) 전용으로 HydraHost가 구성 및 미세 조정했으며, 나머지 2개 노드는 추론(inference) 노드로 활용됩니다. 더불어, Hydra Host는 GPU 프로비저닝, 관리 및 원격 대여(세부 내용은 추후 설명)를 위한 Brokkr 플랫폼을 시스템에 설치했습니다.

    Hydra Host는 클러스터의 요구 사항에 최적화된 고성능 네트워킹 아키텍처를 설계하기 위해 Computacenter와 협력했습니다. 해당 구축물은 동서(east-west) 트래픽에 3.2Tbps InfiniBand를, 서버당 이중 200Gbps 연결 및 400Gbps Dell Ethernet 스위치를 포함하는 북동 방향 연결을 구현했습니다.

    한 명의 엔지니어는 다음과 같이 설명했습니다. "이 시스템의 모든 기술적인 측면은 전례 없는 수준입니다. 우리가 이 모든 것을 구현하고, 운영하고, 최종적으로 고객에게 전달할 수 있다는 것은 매우 자랑스럽습니다."

    Brokk의 수석 엔지니어는 "이 시스템의 모든 기술적 측면은 전례 없는 수준이며, 저희가 이 모든 것을 구현하고, 운영하고, 최종적으로 고객에게 전달할 수 있다는 사실이 매우 자랑스럽습니다."라고 강조했습니다.

    Brokk의 수석 엔지니어는 "이 시스템은 그 자체로 놀랍습니다. 고객이 이 기술을 경험할 수 있게 되어 매우 기쁩니다."라고 전했습니다.

    Brokk의 수석 엔지니어는 "이 시스템은 그 자체로 놀라운 것이며, 고객이 이 기술을 경험할 수 있게 되어 매우 기쁩니다."라고 말했습니다.

    Brokk의 엔지니어링 부문 리더는 "우리는 이제 이 모든 것을 고객에게 전달할 준비가 되었습니다. 이 프로젝트는 성공적인 사례가 될 것이라고 확신합니다."라고 자신감을 보였습니다.

    Brokk의 엔지니어링 부문 리더는 "우리는 이제 이 모든 것을 고객에게 전달할 준비가 되었습니다. 이 프로젝트는 성공적인 사례가 될 것이라고 확신합니다."라고 말했습니다.

    Brokk의 기술 컨설턴트는 "저희의 목표는 항상 솔루션을 통해 고객의 비즈니스를 변화시키는 것입니다."라고 언급했습니다.

    Brokk의 기술 컨설턴트는 "저희의 목표는 항상 솔루션을 통해 고객의 비즈니스를 변화시키는 것입니다."라고 말했습니다.

    Brokk의 기술 컨설턴트는 "저희의 목표는 항상 솔루션을 통해 고객의 비즈니스를 변화시키는 것입니다."라고 강조했습니다.

    Brokk의 기술 컨설턴트는 "저희의 목표는 항상 솔루션을 통해 고객의 비즈니스를 변화시키는 것입니다."라고 말했습니다.

    [출처:] https://www.tomshardware.com/tech-industry/artificial-intelligence/exacluster-with-144-nvidia-h200-ai-gpus-detailed-by-its-designer-hydra-host-enters-the-scene