줌은 사용자를 AI 기반의 사실적인 애니메이션 아바타로 변신시키는 기능을 개발하고 있지만, 본격적인 배포는 내년이 될 예정입니다.
줌의 연례 개발자 컨퍼런스에서 오늘 발표된 이 예정 기능은 사용자가 직접 녹화한 비디오 클립을 머리, 윗팔, 어깨가 포함된 디지털 클론으로 변환합니다. 사용자는 디지털 아바타가 발화하기를 원하는 대본을 입력하면, 줌이 해당 스크립트에 맞춰 아바타의 입 모양과 동기화되는 오디오를 자동으로 생성합니다.
줌의 최고 제품 책임자(CPO) 스미타 하심(Smita Hashim)은 테크크런치(TechCrunch)와의 인터뷰에서, 맞춤형 아바타가 사용자들이 동료와 "비동기적(asynchronously)"으로 "더 빠르고, 더 생산적인" 방식으로 소통하는 데 도움을 주기 위해 설계되었다고 설명했습니다.
하심은 "아바타를 사용하면 사용자가 클립을 녹화하는 데 드는 소중한 시간과 노력을 절약할 수 있고, 비디오 콘텐츠 제작을 확장할 수 있습니다"라고 덧붙였습니다.
하지만 이러한 기능은 딥페이크(deepfake) 위험을 내포하고 있습니다.
여러 기업들이 사람의 얼굴을 디지털로 "복제(clone)"하고, 그 복제본을 상당히 자연스러운 합성 음성과 결합하는 AI 기술을 개발해 왔습니다.
예를 들어, [회사명]은 브랜드가 개인 맞춤 비디오 광고를 위한 가상 페르소나를 만드는 데 활용하며, 마이크로소프트(Microsoft)는 작년 한 인물에 대한 설득력 있는 디지털 스탠드인(stand-in)을 생성할 수 있는 서비스를 출시한 바 있습니다.
다만, 이러한 도구들 중 다수는 오용을 방지하기 위해 구체적이고 엄격한 안전장치들을 의무적으로 구현하고 있습니다. 타부스(Tavus)는 반드시 발화 기반의 동의 진술을 요구하며, 마이크로소프트는 자사 고객들에게 아바타로 등장하는 모든 인재로부터 서면 허가와 동의를 받도록 의무화하고 있습니다.
줌의 안전 조치에 대한 설명은 상대적으로 모호합니다.
하심은 줌의 사용 정책에서 오용을 금지하는 조항을 언급하며, 회사가 "고급 인증(advanced authentication)" 및 워터마킹 기술을 포함한 "수많은 안전장치"를 맞춤형 아바타 기능에 구축하고 있다고 밝혔습니다.
하심은 "필요에 따라 향후에도 안전장치를 지속적으로 검토하고 추가할 것"이라며, "클립이 아바타를 이용해 생성된 경우임을 명백하게 보여주는 기술과, 아바타 생성 콘텐츠의 무결성을 보장하는 데 도움을 주기 위한 기술을 적용하고 있습니다"라고 설명했습니다.
(이미지 설명: 줌 맞춤형 아바타 기능 목업)
줌의 디지털 아바타는 에릭 위안(Eric Yuan) CEO가 제시하는, 궁극적으로는 줌 회의에서 사용자를 대신하여 발언하고, 이메일에 답변하며, 전화를 받을 수 있는 AI를 구현하겠다는 광범위한 비전에 부합합니다.
하지만 이러한 기술이 등장하는 시기는 딥페이크가 소셜 미디어를 통해 걷잡을 수 없이 확산되면서, 진실과 허위 정보를 구분하기가 더욱 어려워진 시점입니다.
현재까지 보고된 사례에 따르면, 줌은 이러한 오용 가능성에 대해 내부적인 보안 시스템을 강화하고 있습니다.
실제로, 지난 줌 화상회의 사례처럼 비윤리적인 콘텐츠가 확산될 경우, 줌은 자체적인 보안 강화 및 적절한 법적 조치를 취할 것이라는 점을 강조했습니다.
특히, 줌은 사용자 인증 절차를 강화하고, 비정상적인 사용 패턴이 감지될 경우 경고 메시지를 표시하는 등, 기술적인 방어막을 높이는 데 주력하고 있습니다.
요약하자면, 줌은 현재까지의 이슈들을 계기로 사용자신원확인강화 및 콘텐츠 모니터링 시스템 강화 등 다층적인 보안 시스템을 갖추고 위협에 대응하고 있습니다.
[출처:] https://techcrunch.com/2024/10/09/zooms-custom-ai-avatar-tool-may-come-with-risks