또한 부가적인 이점으로 수율 향상 효과를 얻을 수도 있습니다.
최근 엔비디아(Nvidia)는 자사의 Vera Rubin 플랫폼을 AI 데이터센터에 '전면 생산(full production)' 체제에 돌입했다고 발표하며, 파트너들에게 올해 후반에 출시할 예정이며 AMD와 같은 경쟁사보다 앞서 시장에 나올 것이라 자신감을 표명했습니다. 나아가, 엔비디아는 루빈(Rubin) GPU의 사양을 개선하여 성능을 더욱 향상시킬 것이라는 보도도 나오고 있습니다. 보고서에 따르면, GPU당 TDP(열 설계 전력)가 2.30 kW로 증가하고 메모리 대역폭은 22.2 TB/s에 달할 것으로 예상됩니다.
Keybanc(@Jukan05)에 따르면, 루빈 GPU의 전력 등급은 엔비디아가 최초 발표했던 1.8 kW에서 2.3 kW로 확정되었으나, 이는 일부 시장 분석가들이 예상했던 2.5 kW보다는 낮은 수준입니다. 전력 등급을 상향 조정하려는 목표는 루빈 기반 플랫폼이 AMD의 Instinct MI455X(작동 예상 전력 약 1.7 kW)보다 현저히 우수한 성능을 보장하기 위함입니다. 루빈의 전력 예산 증가는 공식 출처가 아닌 보도에 근거하고 있지만, SemiAnalysis가 엔비디아가 HBM4 스택의 데이터 전송률을 높였으며, 이에 따라 개별 루빈 GPU의 메모리 대역폭이 기존 13 TB/s에서 22.2 TB/s로 향상되었다고 주장하면서 간접적으로 뒷받침되고 있습니다. (당사는 이 주장의 사실 여부를 확인하기 위해 엔비디아에 문의했습니다.)
약 500W의 추가 전력 여유분은 엔비디아가 단순히 이론상의 사양을 넘어 실제 작동 성능을 개선할 수 있는 여러 기회를 제공합니다. 가장 직접적인 효과로는, 지속적인 학습 및 추론 부하가 걸릴 때 더 높은 클럭을 유지할 수 있게 하며, AI 가속기가 최대 부하로 작동할 때 발생하는 스로틀링(throttling)을 감소시킵니다. 또한, 이 추가 전력은 더 많은 실행 유닛(execution units)을 동시에 가동하는 것을 용이하게 하여, 컴퓨팅, 메모리, 상호 연결(interconnect)이 동시에 고부하로 작동하는 무거운 워크로드에서 처리량(throughput)을 대폭 향상시킬 수 있습니다.
스트림 프로세서(혹은 텐서 유닛) 외에도, 추가 전력 예산은 HBM4 메모리와 PHY를 더 높은 클럭으로 구동하여 메모리 대역폭 자체를 개선하는 데 활용될 수 있습니다. 더욱이, 높은 전력 예산은 신호 마진을 확보하는 상태에서도 엔비디아가 모든 인터커넥트 링크(메모리, 내부 상호 연결, NVLink 포함)의 성능을 더 공격적인 작동 지점까지 개선하는 것을 가능하게 합니다. 이는 현대 AI 시스템이 메모리 대역폭과 패브릭 성능에 의해 병목 현상을 겪는 상황에서 매우 중요한 요소입니다.
시스템 관점에서 볼 때, AI 가속기의 추가 500W TDP는 노드당 및 랙당 전반적인 성능 향상으로 이어집니다. 하이퍼스케일러들은 개별 GPU의 성능 자체보다는 시스템 수준의 통합 성능을 더 중요하게 평가합니다. 이는 동일한 작업을 완료하는 데 필요한 GPU의 수를 줄여 네트워킹 부하를 낮추고 클러스터 수준의 전반적인 효율성을 개선하기 때문입니다. 단, 이는 하이퍼스케일러들이 훨씬 높은 전력을 소모하는 장비에 안정적으로 전력을 공급할 수 있다는 전제가 필요합니다.
마지막으로, 높은 TDP는 제조 공정 측면에서도 이점을 제공합니다. 더 넓은 전력 여유분과 전압 마진을 확보함으로써, 실행 유닛 수를 줄이거나 클럭을 낮출 필요 없이 사용 가능한 수율(yield)을 개선할 수 있습니다.
결과적으로, 추가 500W는 단순히 루빈 GPU의 성능과 경쟁 제품인 VR200 NVL144 랙 규모 솔루션의 경쟁력을 강화하는 수단에 그치지 않습니다. 나아가, 대규모 데이터센터 환경에서 높은 피크 성능 수치만 제공하는 것이 아니라, 예측 가능하고 지속적인 처리량을 보장하는 핵심적인 신뢰성 여유분(reliability headroom) 역할을 합니다. 또한 부가적으로는 엔비디아가 시장에 더 많은 루빈 GPU를 공급할 잠재력을 확보하여 재무적 측면에서도 긍정적인 영향을 미칠 수 있습니다.
Tom's Hardware를 Google News에서 팔로우하거나 선호 출처로 추가하여 최신 뉴스, 분석 및 리뷰를 피드에서 받아보세요.