AI와 이를 구동하는 거대 언어 모델(LLMs)은 매우 유용한 응용 분야를 가지고 있지만, 그 잠재력에도 불구하고 본질적인 신뢰성 문제에 직면해 있다. 이 문제가 언제 해결될지는 아무도 알지 못하기 때문에, 기업들이 비용을 지불하는 LLM 기반 앱이 의도대로 작동하도록 보장하는 데 도움을 주는 기회에 스타트업들이 주목하는 것은 당연한 흐름이다.
런던에 본사를 둔 스타트업 Composo는 LLM 기반 앱의 정확성과 품질을 평가하는 자체 모델을 통해 이 문제 해결에 있어 선도적인 위치를 점하고 있다.
Composo의 서비스는 [Placeholder for "similar to"]와 [Placeholder for "LangSmith"]와 유사하다. 이들 모두 인간의 수동 테스트, 체크리스트, 기존 관측 가능성 도구를 대체할 수 있는 더욱 견고한 LLM 기반 대안을 제시한다고 주장한다. 하지만 Composo는 자체적인 차별점을 내세지는데, 바로 코딩 없이도 사용할 수 있는 옵션(no-code option)과 API를 모두 제공한다는 점이다. 이는 잠재 시장의 범위를 획기적으로 넓힌다. 즉, 사용자가 개발자가 아니어도 되고, 도메인 전문가나 경영진조차도 자체적으로 AI 앱의 불일치성, 품질, 정확성을 평가할 수 있게 하는 것이다.
실제 Composo는 개인이 AI 앱으로부터 기대하는 선호 출력을 바탕으로 훈련된 보상 모델과 해당 앱에 특화된 정의된 기준 세트를 결합하여, 본질적으로 앱의 출력을 이 기준에 맞춰 평가하는 시스템을 구축한다. 예를 들어, 의료 전용 트리아지 챗봇의 경우, 사용자가 위험 징후 증상을 확인하기 위한 사용자 지정 지침을 설정할 수 있으며, Composo는 해당 앱이 그 기준을 얼마나 일관되게 수행하는지 점수화할 수 있다.
이 회사는 최근 어떤 기준에 대해서든 LLM 애플리케이션을 평가할 수 있는 모델인 Composo Align의 공개 API를 출시하며 그 기술력을 입증했다.
이러한 전략은 효과를 거두는 것으로 보인다. 고객사 명단에는 액센츄어(Accenture), 팔란티어(Palantir), 맥킨지(McKinsey) 같은 기업들이 포함되어 있으며, 최근 시드(pre-seed) 단계에서 2백만 달러를 유치하는 성과를 거뒀다. 현재 벤처 자본 시장 상황을 고려하면 이 금액은 특별한 수준은 아닐 수 있으나, Composo가 이룬 성과로서는 의미 있는 수치다.
이 과정에서 Composo는 뛰어난 시장의 흐름을 보여주었다.
직접적인 경쟁 우위를 바탕으로 다음의 기술적 초석을 구축할 수 있었다.
기술적 기반은 뛰어난 성능으로 증명되었다.
Composo는 기술적 기반을 통해 강력한 우위를 확보했다.
신기술 기반은 기술적 우위를 점하고 있다.
이러한 기술적 기반은 Compost의 장기적인 시장 가치를 높이는 핵심 요소가 될 것이다.
한편, 다음의 기술적 혁신은 미래 시장의 방향성을 제시하고 있다.
Composo의 성장은 첨단 기술력을 기반으로 할 것이며, 이로 인해 시장 지배력을 강화할 것으로 예상된다.
이러한 기술적 초석은 Compost의 장기적 성장의 핵심 동력이며, 미래 기술 시장의 판도를 바꿀 잠재력을 지니고 있다.
[출처:] https://techcrunch.com/2025/02/07/composo-helps-enterprises-monitor-how-well-ai-apps-work