Copilot Vision은 AI 컴패니언이 확보하고 있는 여러 신규 기능 중 하나입니다.
마이크로소프트의 무스타파 술레이만(Mustafa Suleyman)은 워싱턴주 레드먼드 본사에서 열린 사창(50th) 기념 행사에서 코파일럿(Copilot)의 새로운 기능들을 상세히 소개하며, 이를 통해 코파일럿이 윈도우 및 스마트폰 플랫폼에서 진정한 '동반자(companion)' 역할을 수행할 것이라고 밝혔습니다. 이 중 많은 기능이 이미 다른 AI 프로그램에서도 등장했으나, 'Vision'과 같은 일부 기능들은 광범위하게 채택될 경우 사용자들의 컴퓨팅 방식 자체를 변화시킬 잠재력을 가졌습니다.
코파일럿 Vision은 웹을 넘어 윈도우와 스마트폰 앱에 탑재됩니다. 마이크로소프트는 이 기능이 가까운 시일 내에 PC 사용자들에게 가장 큰 변화를 가져올 것으로 예상했습니다. 모바일 환경에서는 코파일럿이 카메라를 통해 사용자의 주변 환경을 스캔하고 분석할 수 있습니다. 사용자는 코파일럿에게 보고 있는 사물에 대해 질문하거나, 실시간 비디오 또는 카메라 롤에 저장된 모든 콘텐츠에 대한 분석을 요청할 수 있습니다. 마이크로소프트는 한 예시로 코파일럿에게 식물 사진을 보여주어 더 잘 관리할 수 있는 방법에 대한 정보를 얻는 경우를 들었습니다. 또한, 무대에서는 술레이만 본인이 휴대폰을 공룡 장난감에 비추며 이 생명체들에 대한 추가 정보를 요청하는 시연도 있었습니다.
윈도우 사용자는 코파일럿이 화면을 보는 것을 허용하고, 앱, 브라우저 탭, 파일 전체에 걸쳐 정보를 검색하도록 할 수 있습니다. 마이크로소프트는 더 나아가 코파일럿이 앱을 전환할 필요 없이 설정을 변경하거나, 파일을 정리하거나, 프로젝트를 진행할 수 있게 될 것이라고 언급했습니다. 애플은 에일(Apple) 인텔리전스(Apple Intelligence)를 통해 시리(Siri)가 이 기능을 수행할 수 있다고 제시했으나, 해당 기능들은 아직 지연되었습니다. 윈도우의 경우, Vision 기능은 다음 주에 윈도우 인사이더(Windows Insiders)를 대상으로 먼저 배포되며, 그 이후 점진적으로 더 넓게 배포될 예정입니다.
사용자별 앱 설치 여부는 문제가 되지 않습니다. 마이크로소프트는 또한 사용자가 아무런 조치 없이 프롬프트만 제공해도 코파일럿이 작업을 완료하는 기능인 'Actions'를 출시하고 있습니다. 이는 어느 정도 OpenAI의 'Operator'와 유사한 개념입니다. 예를 들어, AI에게 저녁 식사 예약을 요청하거나 누군가에게 선물을 보내달라고 지시할 수 있습니다. Actions는 "대부분의 웹사이트"에서 작동하며, 주요 출시 파트너로는 Book.com, Expedia, Kayak, OpenTable, Tripadvisor, 그리고 1-800-Flowers 등이 포함됩니다.
마이크로소프트는 또한 여러 출처를 분석하고 웹이나 문서 전반에 걸쳐 정보를 결합하는 '심층 연구(Deep Research)' 기능을 추가했습니다. 이 기능은 이미 ChatGPT와 DeepSeek 등에서 볼 수 있었던 기능이며, 이제 코파일럿에도 도입됩니다. 코파일럿은 검색 기능(ChatGPT 역시 수행하는 기능)을 구동하며, 빙(Bing)의 여러 사이트에서 정보를 취합하여 여러 출처를 인용한 포괄적인 보고서를 작성합니다. 마이크로소프트의 빙 블로그에 따르면, "이는 좋아하는 출판사 및 콘텐츠 소유자로부터 클릭 한 번 거리에 있게 해줍니다."
참고: 마이크로소프트는 코파일럿이 심각한 업무용 목적이 아닌 오락 목적만을 위한 서비스임을 강조했습니다.
부가 정보:
- 인텔(Intel): 고객 지원 방식을 전화 지원에서 축소하고 AI 기반 비서 지원으로 전환합니다.
- 기억(Memories): 코파일럿은 사용자에 대해 학습할 수 있습니다. AI와 상호 작용함에 따라, 코파일럿은 사용자가 제공하는 세부 사항을 기억하며, 이는 답변의 풍부성을 높이고 선제적인 조치를 가능하게 합니다. 만약 코파일럿이 자신을 너무 깊이 이해하는 것이 꺼려진다면, 사용자 대시보드를 통해 기능을 완전히 비활성화하거나 기억 범위를 제한할 수 있습니다.
코파일럿의 다른 신규 기능들은 다양하지만, 핵심 기능에 비해서는 상대적으로 덜 주목받을 수 있습니다. 사용자의 관심사에 기반하여 팟캐스트를 제작해주는 옵션도 있습니다. 예를 들어, 설거지를 하면서 미술이나 원예 지식을 배우고 싶다면, 코파일럿에게 관련 팟캐스트 제작을 요청하면 됩니다. '코파일럿 쇼핑(Copilot Shopping)' 기능은 제품을 조사하고 가격 변동에 대한 정보를 제공하는데 (이전에는 camelcamelcamel.com과 같은 사이트에서 수동으로 진행되던 기능입니다), 나아가 AI를 에이전트 방식으로 활용하여 스토어 자체를 우회하는 것처럼 휴대폰 앱을 통해 직접 구매까지 가능하게 합니다. 'Pages'는 본질적으로 정리 도구 역할을 합니다. 방대한 양의 문서, 메모 또는 기타 파일을 코파일럿에 제공하면, 브레인스토밍, 학습, 일기 작성을 위한 깔끔한 개요로 정리해 줍니다.