메타가 AI 생성 노골적 이미지(explicit images)를 처리하는 방식에 대한 조사 결과, 회사의 준독립 감시 기구인 감독 위원회(Oversight Board)는 메타가 해당 이미지에 대한 정책을 개선할 것을 촉구했습니다. 위원회는 메타가 사용하는 용어를 "경멸적(derogatory)"에서 "비동의(nonconsensual)"로 변경하고, 관련 정책을 "괴롭힘 및 괴롭힘(Bullying and Harassment)" 섹션에서 "성적 착취 커뮤니티 표준(Sexual Exploitation Community Standards)" 섹션으로 이동할 것을 요청했습니다.
현재 메타의 AI 생성 노골적 이미지 관련 정책은 '괴롭힘 및 괴롭힘' 섹션에 포함된 "경멸적 성적 포토샵(derogatory sexualized Photoshop)" 규정을 따르고 있습니다. 이에 더해 위원회는 메타가 "포토샵(Photoshop)"이라는 단어를 조작 미디어 전반에 적용할 수 있는 일반 용어로 대체할 것을 촉구했습니다.
또한 메타는 해당 이미지가 "비상업적이거나 사적 환경에서 제작된 경우" 비동의 이미지를 금지하고 있습니다. 그러나 위원회는 이러한 조항이 AI가 생성했거나 비동의 하에 조작된 이미지를 반드시 삭제하거나 금지하는 근거가 될 필요는 없다고 제언했습니다.
이러한 권고 사항들은 인스타그램과 페이스북에 게시된 공인의 AI 생성 노골적 이미지 두 가지 주목할 만한 사례를 계기로 나왔습니다.
첫 번째 사례는 인스타그램에 올라온 인도 공인의 AI 생성 누드 이미지와 관련되었습니다. 여러 사용자가 해당 이미지를 신고했지만, 메타는 이를 삭제하지 않았으며 심지어 추가 검토 없이 48시간 이내에 신고 건을 종결 처리했습니다. 사용자들이 항소했음에도 불구하고 건은 다시 종결 처리되었습니다. 메타가 실제로 조치에 나선 것은 감독 위원회가 이 사건을 다루고 콘텐츠를 삭제했으며 해당 계정을 영구 차단한 후에야였습니다.
다른 AI 생성 이미지는 미국 공인과 유사했으며 페이스북에 게시되었습니다. 미디어 보도 덕분에 메타는 이미 해당 이미지를 미디어 매칭 서비스(MMS, 서비스 약관을 위반하는 이미지를 보관하고 유사 이미지를 감지하는 데이터베이스) 저장소에 보유하고 있었으며, 다른 사용자가 페이스북에 사진을 올리자 신속하게 삭제 조치했습니다.
특히, 메타가 이 인도 공인의 이미지를 MMS 저장소에 추가한 것은 감독 위원회의 지속적인 촉구 덕분이었습니다. 회사는 이 문제와 관련된 미디어 보도가 없었기 때문에 그전까지는 저장소에 해당 이미지가 없었다고 위원회에 설명한 것으로 파악되었습니다.
위원회는 성명에서 "딥페이크 친밀 이미지의 피해자 중 상당수가 대중의 시야에 노출되지 않아, 자신의 비동의 묘사가 퍼지는 것을 강요로 받아들이거나 모든 사례를 개인이 보고해야 하는 상황에 처해 있다는 점은 우려스럽다"고 지적했습니다.
온라인 성별 기반 폭력 방지 운동을 벌이는 인도 기관인 브레이크쓰루 트러스트(Breakthrough Trust)는 이 문제와 메타의 정책들이 문화적 함의를 가진다고 언급했습니다. 브레이크쓰루는 감독 위원회에 제출한 의견을 통해 비동의 이미지가 성별 기반 폭력으로 인식되기보다 단순한 신분 도용 문제로 종종 간주되는 경향이 있다고 밝혔습니다.
이 기관의 미디어 책임자인 바르샤 차크라보르티(Barsha Chakraborty)는 감독 위원회에 보낸 서신에서 "피해자들은 경찰서나 법원에서 관련 사례를 신고하는 과정에서 '왜 사진을 공개했냐'와 같은 이차 가해를 겪곤 한다. 게다가 일단 인터넷에 퍼진 이미지는 플랫폼을 넘어 빠르게 확산되므로, 단순히 원본 플랫폼에서 삭제하는 것만으로는 충분하지 않다"고 강조했습니다.
차크라보르티는 통화에서 TechCrunch에 사용자들은 신고한 건이 48시간 이내에 자동으로 "해결됨(resolved)"으로 처리된다는 사실을 모르는 경우가 많으며, 메타가 모든 사례에 동일한 시간 제한을 적용해서는 안 된다고 말했습니다. 또한, 회사 차원에서 사용자 인식 개선에 힘써야 할 필요성도 제기했습니다.
과거 메타의 남아시아 정책팀에서 근무했던 플랫폼 정책 전문가 데비카 말리크는 올해 초 TechCrunch를 통해, 플랫폼들이 비동의 이미지 삭제에 사용자 신고에 크게 의존하고 있으며, 이는 AI 생성 미디어를 다룰 때 신뢰할 수 있는 접근 방식이 아닐 수 있다고 지적했습니다.
말리크는 "이는 피해 사용자에게 자신의 신원과 비동의 사실을 입증해야 하는 불공평한 부담을 지운다(메타 정책과 같은 경우). 이는 합성 미디어(synthetic media)의 경우 더욱 오류를 발생시키기 쉬우며, 심지어 이러한 외부 신호를 포착하고 검증하는 데 걸리는 시간 동안 콘텐츠가 유해한 확산력을 얻게 만듭니다"라고 지적했습니다.
델리 소재 싱크탱크 더 퀀텀 허브(The Quantum Hub, TQH)의 설립 파트너인 아파라지타 바르티는 메타가 사용자들에게 콘텐츠를 신고할 때 더 많은 맥락(context)을 제공할 수 있도록 허용해야 한다고 제안했습니다. 사용자들은 메타 정책에 존재하는 다양한 규칙 위반 범주를 모두 알기 어렵기 때문입니다.
그녀는 "메타가 최종 판결(감독 위원회의 최종 판결)을 넘어서 이러한 성격의 콘텐츠를 신고할 수 있는 유연하고 사용자 중심의 채널을 구축하기를 바란다"고 말했습니다. 이어 "사용자들이 다양한 신고 사유 간의 미묘한 차이를 완벽하게 이해할 것이라고 기대할 수 없다는 점을 인지하며, 메타 콘텐츠 조정 정책의 기술적 결함으로 인해 실제 문제가 누락되는 것을 막을 수 있는 시스템이 필요하다"고 덧붙였습니다.
이러한 내용에 대해, 다음 답변은 톤은 전문적이고, 객관적이며, 분석적이어야 하며, 논의의 전반적인 톤을 유지해야 합니다.