AI 인프라 분야에서 하나의 패턴이 나타나고 있습니다. 바로 인기 오픈 소스 도구들이 수억 달러 규모의 벤처 투자 스타트업으로 변모하는 것입니다. 가장 최근의 사례가 바로 SGLang의 모기업인 상업 법인 RadixArk입니다. SGLang은 AI 모델을 더 빠르고 저렴하게 구동하는 데 도움을 주는, 인기가 급증하고 있는 도구입니다.
사정에 정통한 두 관계자에 따르면, RadixArk는 최근 Accel 주도의 투자 라운드를 통해 약 4억 달러의 기업 가치로 평가받았습니다. 지난 8월에야 발표된 스타트업치고는 상당한 규모입니다. 다만, TechCrunch는 이 투자 규모를 확인할 수 없다고 밝혔습니다.
이 소식은 xAI나 Cursor 같은 기업들이 AI 모델 훈련 가속화에 사용하는 SGLang을 유지 관리하던 팀 일부가 최근 출범한 상업 스타트업으로 합류하면서 나온 것입니다. RadixArk는 2023년, Databricks 공동 창업자 Ion Stoica가 재학하던 UC 버클리 연구실에서 SGLang 프로젝트로 시작되었습니다.
해당 관계자들은 또한 이 스타트업이 이전에 인텔 CEO 립부 탄(Lip-Bu Tan)을 포함한 투자자들로부터 엔젤 자본을 유치했다고 전했습니다.
SGLang의 핵심 기여자이자 xAI 출신 엔지니어인 Ying Sheng은 지난달 본인이 공개한 LinkedIn 발표에 따르면, 일론 머스크의 AI 스타트업을 떠나 RadixArk의 공동 창업자 겸 CEO가 되었습니다. 젭은 이전까지 Databricks에서 연구 과학자로 근무한 경력이 있습니다.
RadixArk의 잉 젭, Accel, 그리고 립부 탄은 논평 요청에 응하지 않았습니다.
SGLang과 RadixArk 모두 '추론 처리(inference processing)' 최적화에 초점을 맞추고 있습니다. 이는 본질적으로 동일한 하드웨어에서 모델을 더 빠르고 효율적으로 실행할 수 있게 한다는 의미입니다. 모델 훈련과 더불어 추론은 AI 서비스 관련 서버 비용의 큰 부분을 차지합니다. 따라서 이 프로세스를 최적화하는 도구는 즉각적이고 막대한 비용 절감을 만들어낼 수 있습니다.
RadixArk만이 오픈 소스 프로젝트에서 자금력이 탄탄한 스타트업으로 전환한 유일한 사례는 아닙니다. 추론 최적화 분야에서 더욱 성숙한 프로젝트인 vLLM 역시 도약에 성공했습니다. 포브스(Forbes)는 지난달 이 신설된 회사가 약 10억 달러의 가치에서 1억 6,000만 달러 이상의 자금 조달을 논의했다는 보도를 했습니다.
해당 거래에 정통한 세 사람은 TechCrunch에 Andreessen Horowitz가 vLLM에 대한 투자를 주도하고 있으나, 최종 투자 규모는 아직 미정이라고 밝히며, Andreessen Horowitz 측은 논평을 거부했습니다. vLLM의 공동 창업자 Simon Mo는 TechCrunch에 성명을 통해 이번 라운드 정보가 "사실과 다르다(factually inaccurate)"고 언급했지만, 어느 세부 사항이 잘못되었는지는 구체적으로 밝히지 않았습니다.
SGLang과 마찬가지로 vLLM 역시 Ion Stoica의 UC 버클리 연구실에서 인큐베이팅되었습니다. UC 버클리 교수인 스토이카는 Databricks뿐만 아니라 다수의 다른 스타트업의 유명 공동 창업자이기도 합니다.
CRV의 제너럴 파트너인 브리트니 워커(Brittany Walker)는 TechCrunch와의 인터뷰에서, 여러 대형 기술 기업들이 이미 vLLM을 사용하여 추론 워크로드를 운영하고 있으며, SGLang 역시 지난 6개월 동안 상당한 인기를 얻었다고 전했습니다. (그녀의 회사는 어느 회사에도 투자한 바가 없습니다.)
RadixArk는 SGLang을 오픈 소스 AI 모델 엔진으로 개발을 지속하고 있습니다. 이 스타트업은 또한 기업이 시간이 지남에 따라 AI 모델을 더욱 지능적으로 훈련시킬 수 있도록 설계된 전문 프레임워크인 'Miles'도 구축하고 있습니다.
대부분의 도구는 여전히 무료로 제공되지만, 사정에 정통한 한 관계자에 따르면, RadixArk는 최근 호스팅 서비스에 대해 유료 요금을 부과하기 시작했습니다.
최근 몇 달 사이, 개발자를 위한 추론 인프라를 제공하는 스타트업들의 자금 조달이 급증하고 있으며, 이는 AI 서비스에서 추론 계층의 지속적인 중요성을 강조합니다. 실제로 Baseten은 최근 50억 달러의 기업 가치 평가액으로 대규모 자금을 확보했습니다. (월스트리트저널 보도, 화요일). 이는 경쟁사인 Fireworks AI가 작년 10월 40억 달러의 기업 가치 평가액으로 2억 5천만 달러를 유치했던 사례와 유사한 흐름입니다.