AI 에이전트 도구는 일상 업무 프로세스의 반복적이고 지루한 작업을 줄여줄 잠재력을 가지고 있지만, 대부분의 조직은 데이터 보안 문제 때문에 아직 채택을 망설이고 있습니다. 특히 영업 비밀을 보유한 대기업, 규제가 엄격한 산업에 속한 기업, 정부 기관 등은 자신 또는 고객의 데이터가 의도치 않게 유출되거나 파운데이션 모델 훈련에 사용될 수 있다는 우려 때문에 AI 도구 도입에 매우 신중하게 접근하고 있습니다.
캐나다 AI 기업 Cohere는 새로운 AI 에이전트 플랫폼인 North를 통해 이러한 우려를 해소하는 것을 목표로 합니다. North는 기업과 정부가 자체 방화벽 내에서 자신들과 고객의 데이터를 안전하게 보관할 수 있도록 '프라이빗 배포(private deployment)'를 지원한다고 약속합니다.
Cohere의 공동 창립자는 North 시연회에서 "LLM은 접근 가능한 데이터만큼만 성능이 좋습니다"라며 "LLM이 최대한 유용하려면 유용한 데이터에 접근해야 하고, 이는 [사용자] 환경에 배포되어야 함을 의미합니다."라고 설명했습니다.
Cohere는 Azure나 AWS 같은 엔터프라이즈 클라우드 플랫폼을 사용하는 대신, North를 조직의 사설 인프라에 직접 설치할 수 있어 고객의 데이터에 접근하거나 상호작용할 일이 전혀 없다고 밝혔습니다. Frosst는 North가 조직의 온프레미스 인프라, 하이브리드 클라우드, VPC, 또는 에어 갭 환경에서도 구동 가능하다는 점을 설명했습니다.
그는 "회사 어딘가에 있는 작은 창고에 비치된 GPU 위에서도 실제로 배포할 수 있습니다."라고 설명하며, North가 최소 2개의 GPU만으로도 구동되도록 설계되었다고 덧붙였습니다.
Cohere는 또한 North가 그라뉼러 접근 제어(granular access control), 에이전트 자율성 정책(agent autonomy policies), 지속적인 레드티밍(continuous red-teaming), 제3자 보안 테스트와 같은 다층적인 보안 프로토콜을 포함한다고 주장합니다. 또한 GDPR, SOC-2, ISO 27001과 같은 국제 규정 준수 표준을 충족합니다.
프라이빗 배포 그 이상의 기능
현재까지 9억 7,000만 달러를 조달했으며 최근 55억 달러의 가치 평가를 받은 Cohere는 이미 RBC, Dell, LG, Ensemble Health Partners 등 일부 고객과 North를 시범 운영했다고 밝혔습니다. TechCrunch의 지난해 보도에 따르면, North는 많은 AI 에이전트 플랫폼이 기본적으로 갖추는 기능을 그대로 구현하고 있습니다. 주요 기능으로는 사용자에게 고객 지원 문의에 대한 답변을 제공하는 채팅 및 검색 기능이 있습니다. 이 외에도 회의록 요약, 마케팅 문안 작성, 그리고 내부 자료와 웹 양쪽의 정보를 검색할 수 있습니다. Frosst는 모든 응답에 인용문과 '추론(reasoning)' 사슬 형태의 사고 과정이 포함되어 있어 직원이 출력 결과를 검토하고 검증할 수 있도록 지원한다고 덧붙였습니다.
채팅 및 검색 기능은 Command(자체 생성형 AI 모델 제품군)와 Compass(다중 모드 검색 기술 스택) 등 기존의 Cohere 기술을 기반으로 합니다. Frosst에 따르면 North는 엔터프라이즈 추론에 맞춰 훈련된 Command 모델의 변형으로 구동됩니다.
그는 "단순한 질의응답을 넘어 실제로 업무를 처리하는 수준에 도달했습니다. 즉, North는 자산 생성 능력을 갖추고 있습니다. 표를 만들고, 문서를 작성하며, 슬라이드쇼를 제작할 수 있습니다. 다양한 시장 조사도 수행할 수 있습니다."라고 설명했습니다.
한편, Cohere는 지난 5월 밴쿠버에 기반을 둔 플랫폼 Ottogrid를 인수했습니다. Ottogrid는 고급 시장 조사를 자동화하는 엔터프라이즈 도구를 개발하는 회사입니다.
다른 AI 에이전트 플랫폼과 마찬가지로, North는 Gmail, Slack, Salesforce, Outlook, Linear와 같은 기존 업무 도구에 연결할 수 있으며, 모든 Model Context Protocol (MCP) 서버와 통합하여 산업별 또는 사내 전용 애플리케이션에 접근할 수 있습니다.
Frosst는 "사용자와 모델 간의 채팅을 통해 자신감이 쌓이면서, 이를 단순 보조 수단으로 사용하는 단계에서 자동화 수단으로 사용하는 단계로 자연스럽게 전환됩니다."라고 말했습니다.
(정정: 본 기사 이전 버전에서 Frosst의 직책을 잘못 표기했습니다. 오류에 대해 사과드립니다.)