개발자가 AI로 해결할 수 있는 특정 업무를 맡게 될 경우, 단순히 대규모 언어 모델(LLM)에 데이터를 제공하는 것만으로는 충분하지 않습니다. 비용, 속도, 정확성 등 다른 고려 사항들이 존재하며, 이 모든 요소를 균형 있게 맞추는 것은 특히 수많은 새로운 모델들이 계속해서 출시되는 상황에서 매우 어려운 과제였습니다.
이런 지점에서 임페리얼 칼리지 출신의 영국 스타트업이 등장했습니다. 이 회사는 개발자들이 자신들의 고유한 요구 사항에 가장 적합한 최고의 LLM을 찾을 수 있도록 매개변수(parameters)를 입력하는 '라우터(router)' 도구를 개발했습니다. 해당 회사는 수요일에 8백만 달러 규모의 투자를 발표했습니다.
회사 설립자이자 CEO인 다니엘 렌튼(Daniel Lenton)은 테크크런치(TechCrunch)와의 인터뷰에서 "Unify의 핵심 목표는 객관적인 벤치마크와 대시보드를 활용하여, 어떤 공급업체의 어떤 모델이 고객의 특정 작업에 가장 적합한지 식별하는 것입니다"라고 설명했습니다.
렌튼은 "이 라우터는 사실상 이러한 프로세스의 자연스러운 확장입니다. 특히 기업들이 대규모로(at scale) 배포하기 시작하면서 속도와 비용이 더욱 중요한 요소가 되었기 때문입니다. 따라서 저희가 정말 하고자 하는 것은 사용자들에게 LLM 애플리케이션의 품질, 비용, 속도 프로필에 대한 훨씬 더 큰 통제권을 제공하는 것입니다"라고 덧붙였습니다.
예상대로 Unify는 코어 라우터 애플리케이션에 AI를 활용합니다. 그는 "저희 라우터 자체가 학습된 신경망입니다. 따라서 어떤 모델이 어떤 작업을 수행하는 데 가장 적합한지 자체적으로 학습합니다"라고 설명했습니다. 회사는 GPT Pro를 심판으로 사용하여 모든 작업에 대해 각 새로운 모델에 대한 광범위한 벤치마크를 실행함으로써 이를 수행합니다. 이 과정을 통해 시스템은 특정 작업 수행 능력을 해당 모델의 훈련 세트 전반에 걸쳐 파악하게 됩니다.
그는 "이 덕분에 새로운 모델 공급업체는 라우터에서 불과 하루나 이틀 만에 지원됩니다"라고 말했습니다.
렌튼에 따르면, 라우터 자체와 이를 훈련하기 위해 개발한 독특한 모델은 결과적으로 경쟁사들의 침입으로부터 회사의 핵심 역량을 보호하는 수단이 되며, 또한 회사가 중립적이라는 특성 덕분에 가능하다고 합니다.
그는 일반적으로 고객들이 다양한 모델을 단순히 실험하는 데 그치며, 어떤 것이 최적인지 추적하는 도구가 없다고 언급했습니다.
그는 "지금 당장 문제를 해결해야 하는(hair on fire) 절박한 상황에 놓인 사람들이 이미 존재하는 솔루션을 시도할 의향이 있습니다. 저희가 시장에 진입할 수 있었던 비결이라고 생각합니다"라고 덧붙였습니다.
마치언 라우터(Martian Router), 오픈라우터(OpenRouter), 포트키(Portkey) 등 경쟁사들이 존재하지만, 렌튼은 자신의 회사가 품질, 비용, 속도 세 가지 측면을 통합적으로 최적화하는 유일한 회사라고 강조했습니다.
현재 회사는 직원 7명으로 규모가 매우 작으며, 렌튼은 시장에 완전히 상용화된 제품을 출시하는 작업에 집중하기 위해 의도적으로 운영을 최소화하고 있습니다. 올해는 직원 3명을 추가할 계획입니다.
그는 현재까지 3,000명의 가입자가 등록했으며, 그중 수백 명의 정기 사용자가 있는 것으로 보고했습니다. 회사는 고객들에게 자체 커스텀 벤치마크를 구축하는 비용을 청구하며 수익을 창출할 것으로 기대하고 있습니다. 모든 회사들은 50달러 크레딧으로 해당 도구를 이용할 수 있습니다.
8백만 달러 규모의 투자금은 SignalFire, M12, J12, Essence VC, A. Capital, Lunar VC, Y Combinator 및 여러 저명한 업계 엔젤 투자자들로부터 조성되었습니다.
[출처:] https://techcrunch.com/2024/05/22/unify-helps-developers-find-the-best-llm-for-the-job