마이크로소프트의 AI가 이제 사용자가 보고 있는 화면, 즉 사용자가 탐색하는 웹사이트의 내용을 읽을 수 있게 되었습니다.
마이크로소프트는 목요일, 사용자가 방문하는 사이트에 대한 질문을 이해하고 응답할 수 있는 도구인 Copilot Vision의 미국 전용 제한적 미리보기 버전을 출시하기 시작했습니다. Copilot Vision은 실험적인 AI 기능을 위한 옵트인 프로그램인 Copilot Labs를 통해 접근할 수 있으며, 웹 페이지의 텍스트와 이미지를 분석하여 "이 라자냐 레시피가 뭐예요?"와 같은 질문에 답변할 수 있습니다.
다만, Copilot Labs를 이용하려면 월 20달러가 부과되는 Microsoft 구독이 필요하다는 점에 유의해야 합니다.
Copilot Vision은 질문에 답변하는 기능을 넘어 텍스트 요약 및 번역을 지원하며, 매장 카탈로그에서 할인 상품을 찾아내는 등 다양한 작업을 수행할 수 있습니다. 또한, Chess.com과 같은 플랫폼에서 경기 중 힌트를 제공하는 게임 비서 역할도 할 수 있습니다.
마이크로소프트는 TechCrunch에 공유한 블로그 게시물에서 "Copilot Vision을 활성화하면 사용자가 현재 보고 있는 페이지 전체를 인식하고 함께 읽어 나가며, 사용자가 마주한 문제에 대해 함께 이야기할 수 있게 됩니다"라고 설명했습니다. 이어 "이는 사용자가 웹을 탐색하는 과정에서 AI를 함께하는 새로운 방식이며, 도움이 필요할 때 언제든지 Edge 브라우저 하단에 깔끔하게 자리 잡습니다"라고 덧붙였습니다.
AI 프라이버시 문제에 대한 추가적인 비판을 피하려는 듯, 마이크로소프트는 Copilot Vision이 모든 세션 후에 데이터를 삭제한다고 강조합니다. 회사는 처리된 오디오, 이미지 또는 텍스트는 저장되거나 모델 학습에 사용되지 않는다고 밝혔습니다(적어도 이 미리보기 버전에서는 그렇습니다).
Copilot Vision은 지원하는 웹사이트 유형에도 제한을 두고 있습니다. 현재 마이크로소프트는 유료 장벽(paywalled) 콘텐츠나 "민감한" 콘텐츠에서는 이 기능을 작동하지 않도록 차단하고 있으며, Vision의 사용 범위는 사전에 승인된 "인기" 사이트 목록으로 한정됩니다.
과연 "민감한" 콘텐츠란 무엇을 의미할까요? 포르노그래피일까요, 아니면 폭력적인 장면일까요? 마이크로소프트 측은 구체적으로 언급을 피했습니다.
마이크로소프트 대변인은 "허용되는 웹사이트 목록은 카테고리별, 그리고 개별 사례별로 결정된다"며, "저희는 철저히 테스트를 거친 소수의 사이트로 시작하여 시간이 지남에 따라 더 많은 사이트를 추가할 계획입니다"라고 설명했습니다.
마이크로소프트의 신중한 접근 방식은 뉴스 매체와의 법적 분쟁에 일부 기인합니다. 현재 진행 중인 소송 중 하나에서 The New York Times는 마이크로소프트가 Bing의 Copilot 챗봇을 통해 NY Times 기사를 제공함으로써 사용자들이 유료 장벽을 우회하는 데 이용했다고 주장했습니다.
대부분의 주요 출판사들은 데이터가 무단으로 사용될 것을 우려할 뿐만 아니라, 이러한 도구들로 인해 서버 비용이 급증하는 것을 막기 위해 자체 웹사이트에 AI 도구의 접근을 차단하는 추세입니다. 마이크로소프트는 Copilot Vision이 AI 훈련을 위해 데이터를 스크래핑하는 봇(bots)을 금지하는 규칙과 같은 사이트의 "기계 판독 가능한 AI 제어(machine-readable controls on AI)"를 존중할 것이라고 밝혔습니다. 다만, 회사는 Vision이 정확히 어떤 제어를 존중할지는 명시하지 않았으며, 여러 사용 사례가 존재합니다.
만약 현재 추세가 지속된다면 Copilot Vision은 웹의 일부 주요 뉴스 사이트에서는 작동하지 않을 수 있습니다. 그러나 마이크로소프트는 출판사들의 우려를 완화하기 위해 "피드백 수용"에 전념하고 있다고 밝혔습니다.
회사는 블로그를 통해 "저희와 협력하는 일부는 제3자 출판사들로, Vision이 사람들의 참여를 개선하고 페이지에서 결정을 내리는 데 도움이 될 수 있는 방법을 이해하는 데 도움을 주고 있습니다"라고 언급했습니다. "이러한 피드백은 Vision이 웹 페이지와 상호 작용하는 방식 자체를 더욱 유용하게 설계하는 데 도움이 될 것입니다."