AI 산업은 끊임없이 수많은 신규 모델을 쏟아내고 있으며, 시장에서 경쟁력을 유지하려는 기업들은 이를 자사의 목적에 맞춰 도입하는 데 전력을 다하고 있다. 실제로 기술 컨설팅 회사 Searce에 따르면, 기업의 거의 10%가 올해 AI 이니셔티브에 무려 2,500만 달러라는 거액을 지출할 계획이다.
하지만 막대한 자금이 AI에 투입되고 있음에도 불구하고, 투자 대비 수익률(ROI)이 실제로 확보되었는지는 불분명하다. Gartner의 보고서에 따르면, AI 관련 리더들의 절반은 자신들이 진행하는 AI 프로젝트의 가치를 어떻게 계산하고 입증해야 할지 명확히 알지 못한다고 한다.
전(前) 에어비앤비(Airbnb) 데이터 과학자인 Chetan Sharma는 적절한 도구만 갖춘다면 AI ROI 측정은 결코 어려운 일이 아니라고 역설한다. Sharma는 고객이 특정 사용 사례에 맞춰 AI 모델을 평가하고 커스터마이징할 수 있도록 돕는 실험 플랫폼인 Eppo의 공동 창업자다. Eppo는 모델 평가 스위트 외에도 앱과 웹사이트 전반을 아우르는 범용 A/B 테스트 플랫폼과 서비스를 제공한다.
Sharma는 TechCrunch과의 인터뷰에서 "새로운 AI 모델이 매주 출시되고 기업들이 여기에 수백만 달러를 쏟아붓는 상황에서, A/B 테스트는 과도한 지출 없이 그 효과를 평가할 수 있는 비용 효율적인 방법입니다"라며, "Eppo는 기업이 어떤 모델이 진정으로 가치를 제공하는지 식별하도록 돕고, 급속한 혁신과 높아지는 비용이 공존하는 환경에서 더 스마트하고 지속 가능한 의사결정을 가능하게 합니다"라고 말했다.
Eppo는 시장에 존재하는 다수의 실험 및 A/B 테스트 스타트업들(예: [빈칸], [빈칸])과 경쟁하고 있다. AWS, Microsoft Azure, Google Cloud 같은 대형 기술 기업들 또한 모델 미세 조정 및 평가 도구를 점차 확대하며 시장에 참여하고 있다.
그러나 Sharma는 Eppo가 특히 "컨텍스트 밴딧(contextual bandit)" 시스템과 같은 독특한 기능을 통해 차별화된다고 강조한다. 이 시스템은 고객의 웹사이트, 앱, 또는 AI 모델의 새로운 변형을 자동으로 감지하고, 해당 변형에 점진적으로 부하 또는 트래픽을 분배하여 성능을 능동적으로 탐색한다.
(Eppo의 백엔드 대시보드 이미지 설명)
Sharma는 "실험 과정은 비효율적이고 종종 부정확한 위원회식 결정을 제거하고, 이니셔티브를 성장 지표에 긴밀하게 연결함으로써 추진력을 높이고 성장을 가속화합니다. 이는 나쁜 아이디어는 빠르게 폐기하고, 좋은 아이디어는 재투자를 위해 정립하는 역할을 합니다"라고 말했다. 그는 또한 "Eppo의 AI 모델 라이브 '온라인 평가(online-eval)' 테스트 접근 방식은 프리미엄 모델이 핵심 지표를 실제로 개선하는지 여부를 정확히 알려줍니다"라고 덧붙였다.
Sharma에 따르면, 2022년 비밀리에 시장에 진출한 Eppo는 현재 Twitch, SurveyMonkey, DraftKings, Coinbase, Descript, Perplexity를 포함하여 "수백 개"에 달하는 기업 고객을 확보하고 있다. Perplexity의 데이터 책임자인 Alexis Weill은 TechCrunch에 Eppo를 통해 Perplexity가 동시적으로 실행할 수 있는 실험의 규모를 "상당히 확장"할 수 있었다고 밝혔다.
투자자들의 반응도 긍정적이다. 이번 주, Eppo는 Innovation Endeavors가 주도하고 Icon Ventures, Amplify Partners, Menlo Ventures가 참여하는 2,800만 달러 규모의 시리즈 B 라운드 투자를 성공적으로 마감했다. Sharma는 이 신규 자금이 Eppo의 마케팅 및 AI 실험 역량 강화, 분석 서비스 개선, 그리고 시장 출시 노력 확대를 위해 사용될 것이며, 이를 통해 Eppo의 포스트머니 가치는 1억 3,800만 달러에 달하고 총 조달 자금은 4,750만 달러가 된다고 설명했다.
샌프란시스코에 본사를 둔 Eppo는 현재 직원 45명을 보유하고 있으며, 연말까지 65명으로 늘릴 계획이다.
Sharma는 "효율적인 성장에 대한 요구와 AI의 부상이 결합하여 기업들에게 '적응하거나 도태되거나(adapt-or-die)'라는 사고방식을 강요하고 있습니다. 게다가 기존 벤더(legacy vendors)들의 시장 공백 때문에, 실험 시장의 대부분은 대규모 사내 팀을 구축하여 '직접 개발하는 것(build)'을 '구매하는 것(buy)'보다 선호해왔습니다. 하지만 급격한 직원 이동과 해고가 겹치면서 이러한 사내 팀들은 더 이상 지속 가능하지 않게 되었고, 그 결과 기업들은 값비싸거나 활용도가 떨어진(orphaned) 사내 구축 환경을 대체할 대안으로 Eppo를 찾고 있습니다."