모든 IPO S-1 투자설명서에는 회사의 주식이 왜 좋은 투자 대상이 아닐 수 있는지에 대한 다양한 위험 요소를 나열한 섹션이 포함되어 있습니다. 이들 중 상당수는 일반적인 경고문이거나, 재무 성과에 대한 주의 사항, 혹은 전쟁이나 자연재해와 관련된 내용입니다. 하지만 그중 일부는 회사 자체에 더 구체적인 내용을 다룹니다.
지난 월요일 SEC에 공개 IPO 문서를 제출한 클라우드 서비스 스타트업 ServiceTitan의 경우, 우리는 새로운 유형의 정형화된 경고문 출현을 목격할 수 있습니다. 바로 기업 성장에 도움을 주는 대규모 언어 모델(LLM)마저도 손실을 초래할 수 있다는 경고입니다.
ServiceTitan은 자사의 AI, 특히 생성형 AI 사용이 사업에 부정적인 영향을 미칠 수 있다는 내용을 담아 1,150단어 분량의 위험 요소를 제시했습니다. 이들은 LLM의 환각적(hallucinatory) 행동이 "부정확한" 정보를 생성하고 "차별적인" 행동에 연루될 수 있으며, 자사 LLM이 타인의 저작권이나 지적 재산권을 침해할 수 있고, LLM 사용 자체가 잠재적인 해킹과 피해에 더 많은 데이터를 노출시키는 결과를 낳을 수 있다고 경고했습니다. 또한, 충분한 데이터를 확보하지 못할 경우 AI 제품을 지속적으로 제공하거나 새로 개발하는 데 어려움이 있을 수 있다고 지적했습니다. 나아가, 직원이나 계약자가 고객의 개인 데이터를 실수로 제3자 시스템과 공유하여 보안 침해를 일으키거나, 해당 데이터를 모델 훈련에 사용할 수 있다고 경고했습니다.
ServiceTitan은 AI 사용이 언젠가 사회적, 윤리적 문제에 저촉될 수 있으며, 미래 규제가 회사에 비용을 초래할 수 있다는 우려도 표명합니다.
ServiceTitan은 또한 제품 개발에 필요한 AI 전문가를 채용하지 못할 위험과, 설령 채용하더라도 해당 인재 비용이 매우 높을 수 있다는 점도 언급했습니다. 더불어, 자사의 AI 제품이 통제할 수 없는 제3자 서비스(특히 Microsoft와 OpenAI)에 의존하고 있다는 점을 명시하며, 이들 서비스의 가용성이 떨어지거나 문제가 발생할 경우의 위험도 함께 경고했습니다.
이러한 경고들은 ServiceTitan이 GenAI, 특히 LLM 기반 AI 에이전트가 지배할 것으로 예상되는 산업의 교차점(nexus)에서 사업을 수행하고 있다는 점에서 흥미롭습니다. ServiceTitan은 주로 건설 계약업자, HVAC 전문가, 조경업자 등 소규모 사업체를 대상으로 현장 서비스 산업 전반에 걸친 소프트웨어를 제공합니다. 이 소프트웨어는 마케팅, 고객 관계 관리(CRM), 고객 지원, 회계 등의 기능을 수행합니다. (ServiceTitan은 추가 논평을 거부했습니다.)
AI 에이전트들은 현재 판매, 마케팅, CRM 전반의 영역으로 매우 빠르게 확산되고 있어, CRM 시장의 선두주자인 Salesforce CEO 마크 베니오프(Marc Benioff)는 TechCrunch을 통해 자사 회사만으로도 1년 안에 Salesforce 고객사의 회사에 10억 개의 AI 에이전트를 배포할 수 있다고 언급했습니다.
ServiceTitan은 적어도 2023년부터 '타이탄 인텔리전스(Titan Intelligence)'라는 AI 기반 서비스를 제공해 왔습니다.
지난 10월에는 영업, 고객 서비스, 콜센터를 위한 AI 에이전트 제품군을 출시하기도 했습니다.
하지만 LLM은 본질적으로 단어, 이미지, 데이터를 학습하여 스스로의 버전을 만들어내는 방식으로 설계되었습니다. 즉, ‘지어낼 수 있도록(to make stuff up)’ 설계된 것입니다. OpenAI의 과학자들은 인간의 추론 능력까지 모방하며 일반 지능(general intelligence)을 향해 분주히 경주하고 있으며, 이는 더욱 창의적인 AI를 목표로 함을 의미합니다.
물론, 신뢰성이 필수적인 에이전트 분야에서는 전문성이 축적되는 과정에서 비즈니스 사용에 대한 LLM의 신뢰성 문제는 점차 해결될 과제입니다. 그러나 오늘날 AI 봇을 판매하는 기업들이 법적 용어 속에서 역설적으로 발언하고 있다는 점에 주목할 필요가 있습니다. 즉, 초기 단계의 AI 도입은 해결하는 문제만큼이나 많은 문제를 야기할 수 있다는 것입니다.
[출처:] https://techcrunch.com/2024/11/18/servicetitan-names-llms-from-microsoft-openai-as-risk-factors