AI 음성 에이전트와 자율주행차의 공통점은 무엇일까요? 전직 Waymo의 기술 리드였던 브룩 홉킨스(Brooke Hopkins)는 이들 모두의 성능을 동일한 방식으로 평가할 수 있다고 주장합니다. 홉킨스가 설립한 새로운 스타트업 'Coval'이 바로 그 역할을 목표로 합니다.
홉킨스는 테크크런치(TechCrunch)와의 인터뷰에서 (위 사진 중앙에 보이는 그녀를 가리키며) “Waymo를 떠나면서, 우리가 Waymo에서 겪었던 많은 문제들이 사실 다른 AI 업계가 직면한 문제들이라는 것을 깨달았어요”라고 말했습니다. “하지만 모두가 이것이 새로운 패러다임이라며, 원리부터 테스트 방식을 새로 고안해야 하고, 기본적으로 모든 것을 재구축해야 한다고 주장했습니다. 저는 그 말을 듣고 ‘잠깐, 우리는 지난 10년간 자율주행을 하며 이미 이것을 해결하는 방법을 알아왔지 않은가’라고 생각했죠.”
이에 2024년, 그녀는 AI 음성 및 채팅 에이전트를 위한 시뮬레이션 플랫폼인 Coval을 출시하기로 결정했습니다. 이 플랫폼은 홉킨스가 Waymo에서 자율주행차를 테스트했던 방식 그대로, 에이전트가 특정 작업을 수행하는 방식을 테스트하고 평가합니다. Coval은 에이전트가 식당 예약을 하거나, 간접적인 방식으로 제기된 고객 서비스 질문에 응답하는 시나리오를 포함하여 수천 개의 시뮬레이션을 동시에 실행할 수 있습니다.
Coval의 기술은 에이전트를 포괄적인 일련의 지표(metrics)로 평가하지만, 기업들은 원하는 평가 항목을 사용자 정의할 수 있습니다. 또한 Coval을 이용해 성능 저하(regressions)에 대한 지속적인 평가가 가능합니다. 사용자는 이 데이터를 활용하여, 데모용이든 모니터링 도구용이든 관계없이 최종 고객에게 에이전트가 의도대로 작동하고 있음을 입증할 수 있습니다.
홉킨스는 “기업들이 에이전트를 도입하는 데 가장 큰 걸림돌 중 하나는, 이것이 그저 허울뿐인 시연(demo)이 아닐까 하는 확신 부족입니다”라고 지적했습니다. 이어 “실무자들이 공급업체를 선택하는 것은 매우 복잡한 과제예요. 무엇을 질문해야 할지, 또는 이 에이전트들이 우리가 기대하는 대로 작동한다는 것을 어떻게 증명해야 할지 아는 것이 정말 어렵거든요. 그래서 Coval은 우리 회사들이 실제로 작동함을 보여주고 시연할 수 있는 능력을 제공합니다.”라고 덧붙였습니다.
홉킨스는 Coval의 아이디어를 2024년 Y Combinator Summer 배치를 거치며 구상했고, 2024년 10월에 제품을 공개적으로 출시했습니다. 그녀는 수요가 매우 강력했으며 지난 두 달 동안 폭발적으로 증가하여, 고객들이 자신들의 에이전트를 얼마나 빨리 평가받을 수 있는지 문의하고 있다고 전했습니다.
샌프란시스코에 본사를 둔 이 스타트업은 현재 MaC Venture Capital이 주도하고 Y Combinator 및 General Catalyst가 참여하는 330만 달러 규모의 시드 라운드를 발표했습니다. 회사는 이 자금을 엔지니어링 팀을 구축하고 제품-시장 적합성(product-market fit)을 달성하는 데 주력할 예정입니다. 홉킨스는 또한 향후 웹 기반 에이전트와 같은 다른 유형의 AI 에이전트도 사용자가 평가할 수 있도록 확장하는 작업도 진행할 것이라고 밝혔습니다.
Coval이 등장한 시점은 AI 에이전트를 둘러싼 모멘텀과 기대감(hype)이 모두 최고조에 달한 시점입니다. 세일즈포스(Salesforce)와 같은 기업 기술 리더들은 "세일즈포스가 내년까지 AI 에이전트를 10억 개 이상 배포할 것"이라고 언급하며 기술을 극찬하고 마케팅하고 있습니다.
OpenAI의 경우도 곧 AI 에이전트 관련 버전을 출시할 것이라는 소문이 있습니다.
이 분야에서는 수많은 스타트업들이 활동하고 있습니다. Y Combinator의 2024년 세 코호트만 해도 100개가 넘는 스타트업이 AI 에이전트를 구축하고 있습니다. 일부 AI 에이전트 스타트업들은 상당한 규모의 벤처 자금 라운드를 유치하기도 했습니다. 그중 하나인 [스타트업 이름]은 설립된 지 1년도 채 되지 않은 2024년 11월, 5억 달러의 기업 가치에 5,500만 달러 규모의 시드 라운드를 유치했습니다.
이러한 모멘텀은 다른 회사들 역시 자신들의 에이전트 평가를 위한 도움을 필요로 할 가능성이 높다는 것을 의미합니다. 홉킨스는 Coval이 불가피하게 시장에 진입할 새로운 경쟁사들과 달리, 선점 효과를 누리고 있어 두각을 나타낼 가능성이 높다고 분석했습니다.
그녀는 "저희가 정말 차별화되는 부분은, 제가 이 분야에서 5년 동안 일하며 여러 번 이러한 시스템을 구축해 왔다는 것입니다"라며, "저희는 수많은 반복적인 시도를 거치며, 그것들이 어떻게 실패하고 어떻게 규모를 확장하는지 경험했습니다. 그리고 이러한 모든 학습 내용을 Coval에 집약하고 있습니다."라고 말했습니다.
[출처:] https://techcrunch.com/2025/01/23/coval-evaluates-ai-voice-and-chat-agents-like-self-driving-cars