AI는 허위 정보를 생성하는 경향이 있습니다. 이러한 특성은 AI를 일상적으로 사용하는 대부분의 사람들에게 매력이 떨어지는 부분이며, 특히 잘못된 결과가 기업의 순이익에 손상을 입힐 수 있기 때문에 기업들에게는 더욱 치명적인 문제입니다.
세일즈포스(Salesforce)가 실시한 최근 설문조사에 응한 직원 중 절반가량은 회사에서 사용하는 생성형 AI 시스템의 답변이 부정확할 것을 우려한다고 답했습니다.
이러한 ‘환각(hallucinations)’ 현상을 완전히 해결할 기술은 없지만, 일부 기술은 도움이 될 수 있습니다. 예를 들어, 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 AI 모델에 지식 기반을 연결하여, 모델이 답변을 생성하기 전에 보충 정보를 제공함으로써 일종의 사실 확인(fact-checking) 메커니즘 역할을 수행합니다.
기업들은 더욱 신뢰할 수 있는 AI에 대한 높은 수요를 바탕으로 RAG 시스템을 구축해왔으며, 보야지 AI(Voyage AI)가 그 대표적인 예입니다. 보야지는 2023년 스탠퍼드 대학교 교수인 텡위 마(Tengyu Ma)가 설립한 회사로, 하비(Harvey), 반타(Vanta), 리플릿(Replit), SK텔레콤 등 여러 기업의 RAG 시스템 운영에 필요한 솔루션을 제공하고 있습니다.
마 교수는 TechCrunch 인터뷰에서 "보야지는 엔터프라이즈 AI의 검색 및 검색 정확도와 효율성을 극대화하는 데 주력하고 있습니다"라고 밝혔습니다. 이어 "보야지 솔루션은 코딩, 금융, 법률, 다국어 애플리케이션 등 특정 도메인에 맞춰져 있을 뿐만 아니라, 고객사의 데이터 환경에 맞춤화되어 제공된다"고 덧붙였습니다.
RAG 시스템을 구축하기 위해 보야지는 AI 모델을 훈련시켜 텍스트, 문서, PDF 등 다양한 형식의 데이터를 벡터 임베딩(vector embeddings)이라는 수치적 표현으로 변환합니다. 임베딩은 다양한 데이터 포인트 간의 의미적 관계를 압축된 형식으로 포착하여, RAG와 같은 검색 관련 애플리케이션의 핵심 기반이 됩니다.
보야지가 사용하는 핵심 기술은 ‘문맥적 임베딩(contextual embedding)’이라는 특정 유형의 임베딩입니다. 이는 단순히 데이터의 의미적 의미뿐만 아니라 데이터가 등장하는 문맥적 맥락까지 포착합니다. 예를 들어, "강둑에 앉았습니다"와 "은행에 돈을 예금했습니다"라는 두 문장에 'bank'라는 단어가 있을 경우, 보야지의 임베딩 모델은 문맥이 암시하는 서로 다른 의미를 반영하여 각 'bank' 사례마다 서로 다른 벡터를 생성해냅니다.
보야지는 온프레미스, 프라이빗 클라우드, 퍼블릭 클라우드 환경에서 모델을 호스팅하고 라이선스를 부여하며, 해당 서비스를 유료로 선택하는 고객들에게는 모델 미세 조정 서비스까지 제공합니다. 물론 오픈AI(OpenAI)와 같이 타사도 사용자 정의 임베딩 서비스를 제공하지만, 마 교수는 보야지 모델이 더 낮은 비용으로 더 뛰어난 성능을 제공한다고 주장합니다.
그는 "RAG에서 질문이나 쿼리가 주어지면, 먼저 비정형 지식 기반에서 관련 정보를 검색하는 과정이 필요하며, 이는 마치 도서관 사서가 방대한 서적 속에서 관련 책을 찾는 과정과 같습니다"라고 설명했습니다. "기존 RAG 방식은 정보 인코딩 과정에서 맥락을 잃기 쉬워 관련 정보를 검색하는 데 실패하는 경향을 보였습니다. 보야지의 임베딩 모델은 업계 최고 수준의 검색 정확도를 자랑하며, 이는 RAG 시스템의 전반적인 응답 품질을 끌어올립니다."
이러한 강력한 주장은 오픈AI의 주요 경쟁사 중 하나인 앤트로픽(Anthropic)으로부터의 지지를 받았습니다. 앤트로픽의 지원 문서에는 보야지 모델이 "최첨단(state of the art)"으로 설명되어 있습니다.
마 교수는 "보야지의 접근 방식은 기업의 데이터로 훈련된 벡터 임베딩을 활용하여 문맥을 인지하는 검색을 제공함으로써, 검색 정확도를 획기적으로 향상시킨다"고 강조했습니다.
팔로알토에 본사를 둔 보야지는 현재 250개 이상의 고객사를 보유하고 있으나, 매출 규모에 대한 질문에는 답변을 거부했습니다.
직원 수 약 12명인 보야지는 지난 9월, CRV가 주도하고 Wing VC, Conviction, Snowflake, Databricks가 참여하는 방식으로 2,000만 달러 규모의 시리즈 A 라운드를 성공적으로 마감했습니다. 마 교수에 따르면, 이번 자금 유입으로 보야지의 총 투자 유치액은 2,800만 달러에 달하게 되었으며, 이는 새로운 임베딩 모델 개발을 지원하고 회사의 규모를 두 배로 성장시키는 발판이 될 것이라고 밝혔습니다.
[출처:] https://techcrunch.com/2024/10/03/voyage-ai-is-building-rag-tools-to-make-ai-hallucinate-less