구글이 시각 검색 앱인 렌즈(Lens)를 업그레이드하여 주변 환경에 대한 질문에 거의 실시간으로 답변하는 기능을 추가했습니다.
구글 앱을 설치한 영어권 사용자들은 이제 렌즈를 통해 비디오를 촬영하고, 영상 속 관심 객체에 대해 질문을 할 수 있습니다.
렌즈 제품 관리 이사인 루 왕(Lou Wang)에 따르면, 이 기능은 비디오 내용과 관련 질문의 의미를 파악하기 위해 "맞춤형(customized)" Gemini 모델을 사용합니다.
Gemini는 구글의 AI 모델 제품군으로, 회사 포트폴리오 전반의 다양한 제품에 동력을 공급하고 있습니다.
왕 이사는 기자 간담회에서 "예를 들어, 흥미로운 물고기에 대해 더 알고 싶다고 가정해 봅시다. [렌즈는] 해당 물고기들이 원을 그리며 수영하는 이유를 설명하는 개요와 더 풍부한 자료, 유용한 정보를 제공할 것입니다."라고 설명했습니다.
렌즈의 새로운 비디오 분석 기능을 이용하려면 구글의 특정 프로그램에 가입하고, Labs 섹션의 "AI 개요 및 기타(AI Overviews and more)" 실험 기능에 옵트인(opt in)해야 합니다. 구글 앱에서 스마트폰의 셔터 버튼을 길게 누르면 렌즈의 비디오 캡처 모드가 활성화됩니다.
비디오를 녹화하는 도중 질문을 하면, 렌즈는 웹 전반의 정보를 AI로 요약하는 구글 검색의 기능인 AI 개요(AI Overviews)를 통해 답변을 제공합니다.
왕 이사에 따르면, 렌즈는 AI를 활용하여 비디오 속에서 질문과 가장 관련성이 높고 '흥미로운' 프레임을 식별하고, 이 프레임들을 근거로 삼아 AI 개요가 제공하는 답변의 신뢰도를 높입니다.
왕 이사는 "이 모든 것은 사용자들이 현재 렌즈와 같은 기능을 어떻게 활용하려 하는지 관찰한 결과에서 비롯되었습니다. 질문에 대한 접근 장벽을 낮추고 사람들의 호기심을 해소하는 데 도움을 준다면, 사용자들은 이 기능을 매우 자연스럽게 채택할 것입니다."라고 덧붙였습니다.
렌즈에 비디오 기능이 출시된 것은 한 달 전 메타가 자사 AR 글래스인 레이밴 메타(Ray-Ban Meta)에 미리 공개했던 유사한 기능의 흐름을 잇는 것입니다. 메타는 이 글래스에 실시간 AI 비디오 기능을 도입할 계획이며, 착용자가 주변의 물체(예: "이 꽃은 무슨 종류인가요?")에 대해 질문할 수 있도록 할 예정입니다.
OpenAI 또한 자사의 [도구]가 비디오를 이해하도록 하는 기능을 티징했습니다. 궁극적으로 프리미엄 ChatGPT 기능인 향상된 음성 모드(Advanced Voice Mode)는 실시간 비디오 분석이 가능해지며 맥락을 고려한 답변을 제공할 수 있게 될 것입니다.
구글이 경쟁사들보다 먼저 움직인 것으로 보이나, 렌즈의 비디오 기능은 실시간 채팅이 불가능한 비동기 방식이라는 점과, 현재 광고와 달리 광고된 대로 작동한다는 전제가 필요합니다. 기자 간담회에서는 라이브 시연이 진행되지 않았으며, 구글은 AI 기능의 성능 과장 이력이 있습니다.
비디오 분석 외에도, 렌즈는 이제 이미지와 텍스트를 동시에 검색할 수 있게 되었습니다. Labs 가입 여부와 상관없이 영어 사용자들은 구글 앱을 실행하고 셔터 버튼을 눌러 사진을 찍은 후, 음성으로 질문을 할 수 있습니다.
마지막으로, 렌즈에 전자상거래 관련 기능이 추가되었습니다.
오늘부터 안드로이드 또는 iOS의 렌즈가 제품을 인식하면, 가격 및 할인 정보, 브랜드, 리뷰, 재고 등 상세 정보를 표시합니다. 제품 ID 기능은 업로드된 사진과 새로 촬영한 사진에 적용되나(비디오는 제외), 현재는 전자기기, 장난감, 뷰티 등 특정 국가와 쇼핑 카테고리에 한정됩니다.
왕 이사는 "가령 가방을 보고 마음에 들었다고 가정해 봅시다. 렌즈를 사용해 제품을 식별하면, 소비자가 궁금해할 만한 세부 정보를 즉시 확인할 수 있습니다."라고 말했습니다.
구글에 따르면, 렌즈로 식별된 제품 결과 페이지에는 옵션과 가격이 명시된 "관련" 쇼핑 광고도 표시됩니다.
구글은 렌즈에 광고를 포함하는 이유가 명확하다고 설명합니다. 매월 약 40억 건의 렌즈 검색이 쇼핑과 관련되어 있기 때문입니다. 광고를 핵심 동력으로 삼는 거대 기술 기업에게 이는 놓치기 아까운 매우 수익성 높은 기회인 것입니다.
[출처:] https://techcrunch.com/2024/10/03/google-lens-can-now-answer-questions-about-videos