구글은 목요일, 개발자들이 Google Play를 통해 배포하는 AI 앱에 대한 새로운 개발 가이드라인을 발표했습니다. 이는 부적절하거나 금지된 콘텐츠의 확산을 방지하는 것이 목표입니다. 구글에 따르면, AI 기능을 제공하는 앱은 성적인 콘텐츠, 폭력물 등 제한된 콘텐츠가 생성되는 것을 원천 차단해야 하며, 사용자도 불쾌하다고 느끼는 콘텐츠를 신고할 수 있는 기능을 반드시 제공해야 합니다. 또한, 개발자들은 사용자 안전과 개인 정보 보호를 보장하기 위해 자신들이 사용하는 AI 도구와 모델을 '엄격하게 테스트'해야 합니다.
구글은 마케팅 자료 단계에서부터 부적절한 사용 사례를 홍보하는 앱에 대해서도 규제를 강화했습니다. 예를 들어, 사람의 옷을 벗기거나 비동의 누드 이미지를 생성하는 등의 기능을 광고에 포함할 경우, 해당 앱이 실제로 이러한 기능을 구현할 수 있는지 여부와 관계없이 Google Play에서 차단될 수 있습니다.
이러한 지침은 최근 몇 달 사이 소셜 미디어를 통해 확산된 AI 기반 누드 앱의 증가하는 추세를 반영한 것입니다. 실제로 404 Media가 발표한 4월 보고서에 따르면, 인스타그램 등은 AI를 이용해 딥페이크 누드를 생성한다고 주장하는 앱 광고를 호스팅하고 있었습니다. 한 앱은 키미 카다시안의 사진과 "모든 여성의 누드 사진을 무료로"라는 슬로건을 내세우며 홍보되기도 했습니다. 비록 애플과 구글이 해당 앱들을 각 스토어에서 퇴출했지만, 이러한 문제는 여전히 광범위하게 발생하고 있습니다.
미국 전역의 학교들에서는 학생들이 다른 학생들(때로는 교사들까지)의 AI 딥페이크 누드를 돌리며 괴롭힘이나 학대에 이용하는 문제, 그리고 기타 부적절한 AI 콘텐츠 문제에 직면하고 있다고 보고하고 있습니다. 지난달에는 학교 교장의 인종차별적인 AI 딥페이크가 발단이 되어 볼티모어에서 체포 사건이 발생하기도 했습니다. 더욱 심각한 것은 이러한 문제가 중학생들 사이에서도 영향을 미치고 있다는 점입니다.
구글은 자체 정책이 부적절하거나 사용자에게 유해할 수 있는 AI 생성 콘텐츠를 가진 앱들을 Google Play에서 걸러내는 데 도움이 될 것이라고 설명했습니다. 구글은 앱 승인 시 필요한 요구 사항을 확인할 수 있는 기존의 'AI 생성 콘텐츠 정책(AI-Generated Content Policy)'을 안내했습니다. 구글은 AI 앱은 제한된 콘텐츠의 생성을 허용할 수 없으며, 사용자에게 불쾌하고 부적절한 콘텐츠를 '신고할 수 있는 방법'을 제공하고, 이를 모니터링하고 우선순위를 지정해야 한다고 명시했습니다. 특히 사용자의 상호 작용이 "콘텐츠와 경험을 형성하는" 앱(예: 인기 모델이 더 높은 순위로 노출되는 앱)의 경우, 이 피드백 관리 기능이 매우 중요하다고 강조했습니다.
더 나아가, 개발자들은 구글의 '앱 프로모션 요구 사항(App Promotion requirements)'에 따라 앱이 구글 플레이의 규칙을 위반한다는 광고를 할 수 없습니다. 만약 부적절한 사용 사례를 홍보한다면, 해당 앱은 스토어에서 퇴출될 수 있습니다.
또한, 개발자들은 앱의 AI 기능을 조작하여 유해하고 불쾌한 콘텐츠를 만들어내는 프롬프트로부터 앱을 보호할 책임도 있습니다. 구글은 개발자들이 '클로즈 테스팅(closed testing)' 기능을 사용하여 초기 버전의 앱을 사용자들과 공유하고 피드백을 얻을 수 있다고 안내했습니다. 구글은 개발자들이 단순히 출시 전 테스트만 할 뿐만 아니라, 그 과정을 문서화할 것을 강력히 권고하며, 이는 향후 구글의 검토 요청에 대비하기 위함입니다.
이와 더불어 구글은 AI 앱 개발을 지원하기 위한 자료와 모범 사례로 자체 '사람 + AI 가이드북(People + AI Guidebook)' 등의 리소스를 지속적으로 발행할 예정입니다.