벤처 캐피털 회사인 Andreessen Horowitz는 포트폴리오 AI 스타트업들이 컴퓨팅 자원 요구 사항을 충족할 수 있도록 대규모 Nvidia H100 GPU 클러스터를 확보했다고 수요일에 사상 처음으로 확인했습니다. 'Oxygen'이라는 이름의 이 프로그램을 통해 포트폴리오 회사들은 시장 가격을 협상할 필요 없이 자체 AI 모델을 훈련하거나 운영할 수 있습니다.
a16z의 Oxygen 클러스터는 스타트업들에게 일종의 숨 쉴 틈을 제공하여 Google, Meta, Microsoft와 같은 대형 기술 회사들과도 대규모 AI 모델 구축 경쟁을 할 수 있게 합니다. 지난 몇 년 동안, 이러한 대기업들은 특히 AI 산업 표준으로 자리 잡은 H100 GPU를 두고 치열한 입찰 경쟁을 벌여왔습니다. 그들은 보통 더 크고 장기적인 계약을 약속하며 거래를 따냈습니다. 이로 인해 GPU 확보에 필요한 거대한 계약을 체결할 여력이 부족한 많은 AI 스타트업들은 소외되는 상황에 처하게 된 반면, OpenAI나 Anthropic 같은 글로벌 기업들은 이러한 기회를 포착할 수 있었습니다.
Oxygen 프로그램 개발에 기여한 a16z 파트너 Anjney Midha는 TechCrunch에 공유된 팟캐스트 녹취록에서 "우리가 매일 지원하는 여러 AI 창업가들이 공통적으로 겪는 문제라는 인식에서 이 문제가 시작되었습니다. 우리는 Nvidia H100 용량이 부족한 공급난의 한가운데에 있었습니다"라고 말했습니다. 그는 또한 "스타트업들은 대형 클라우드 기업들로부터 더 큰 고객사들에 밀려 우선순위에서 밀려났고, 이는 매우 어려운 일이었습니다"라고 덧붙였습니다.
이 인프라 시설은 a16z가 새로운 스타트업을 유치하는 데 효과적인 방법이기도 합니다. AI 모델을 개발하는 기업들은 단기간의 훈련 실행(training runs)을 위해 막대한 컴퓨팅 클러스터에 무제한으로 접근할 필요가 있지만, 모델이 훈련된 후에는 그 필요성이 줄어듭니다. 일반적으로 AI 모델의 추론(Inferencing)은 사용량이 폭발적으로 증가하는 경우를 제외하고는 훈련 과정보다 적은 컴퓨팅 자원을 요구합니다. a16z의 Oxygen 클러스터는 스타트업들에게 유연성을 제공하여, 클라우드 제공업체와의 장기적인 약정이나 막대한 현금 지출 없이 필요할 때 GPU에 접근할 수 있게 합니다. 대신 스타트업들은 GPU 임대 비용을 저렴하게 하는 등의 혜택을 받는 대가로 a16z에게 자신들의 사업 지분(stake)을 제공합니다.
하지만 a16z가 스타트업 창업가들에게 자금 지원과 조언 외에 지분을 대가로 GPU를 약속하는 유일한 투자자는 아닙니다. Forbes에 따르면, 투자 파트너인 Nat Friedman과 Daniel Gross는 자신들의 스타트업들에게 'Andromeda Cluster'라는 이름의 4,000 GPU 클러스터 접근권을 제공하고 있습니다.
Y Combinator 역시 다양한 클라우드 제공업체와의 파트너십을 통해 스타트업들에게 훈련 실행용 GPU 클러스터를 제공하고 있으며, 가장 최근에는 Google Cloud와 협력하고 있습니다.
Andreessen Horowitz의 대변인은 Oxygen 클러스터의 정확한 규모에 대해서는 언급을 거부했지만, a16z는 현존하는 어떤 벤처 회사보다도 가장 큰 규모의 GPU 자금력을 보유하고 있을 수 있습니다.
7월에 보도된 바에 따르면, Oxygen은 20,000개 이상의 GPU를 포함하고 있을 가능성이 있습니다.
Midha는 팟캐스트 도중, Oxygen 클러스터가 AI 스타트업들이 컴퓨팅 비용을 지불하기 위해 과도하게 높은 가치 평가(overpriced valuations)로 자금을 조달해야 하는 압박을 해소해 줄 수 있다고 설명했습니다. 이는 Oxygen이 a16z에 이익이 되는 또 다른 방식입니다. a16z는 스타트업이 예를 들어 Microsoft로부터 GPU를 구매하도록 추가로 투자하기보다는, 직접 GPU를 제공하고 더 낮은 가격으로 투자하는 방식이 가능합니다.
a16z는 AI 붐이 예상대로 지속되는 한, Oxygen을 스타트업들을 위한 핵심 가치 제안으로 보고 있습니다. 아마도 이것이 스타트업이 이 칩을 확보하기 위해 막대한 투자를 감행할 수 있었던 배경일 것입니다.