2년 넘게 'ClothOff'라는 앱이 온라인에서 젊은 여성들을 괴롭히며 난무해 왔지만, 이를 막는 것은 지독히 어려웠습니다. 이 앱은 두 주요 앱 스토어에서 삭제되었고 대부분의 소셜 미디어 플랫폼에서는 금지되었지만, 웹과 텔레그램 봇을 통해 여전히 이용 가능합니다. 지난 10월, 예일 로스쿨의 한 클리닉이 이 앱의 전면 폐쇄를 요구하는 소송을 제기하며 소유주들이 모든 이미지를 삭제하고 운영을 완전히 중단하도록 강제했습니다. 하지만 피고들을 찾는 것 자체가 큰 난관이었습니다.
소송 공동 변호인인 존 랭포드 교수는 "이곳은 영국령 버진 제도에 법인이 설립되었지만, 저희는 벨라루시아의 남매가 운영하는 것으로 믿고 있습니다. 어쩌면 전 세계적인 더 큰 네트워크의 일부일 수도 있습니다"라고 설명했습니다.
이러한 사례는 최근 일론 머스크의 xAI가 생성한 비동의 포르노물 범람 사태, 특히 미성년자 피해자가 포함되었던 사건을 통해 뼈아픈 교훈을 남겼습니다. 아동 성착취물(CSAM)은 인터넷상에서 가장 법적으로 위험한 콘텐츠로, 제작, 전송, 보관 자체가 불법이며 모든 주요 클라우드 서비스에서 정기적으로 검열됩니다. 그러나 랭포드의 사건이 보여주듯이, 강력한 법적 금지에도 불구하고 ClothOff와 같은 이미지 생성기를 다룰 방법은 여전히 부족합니다. 개별 사용자는 기소될 수 있지만, ClothOff나 Grok와 같은 플랫폼 전체를 통제하는 것은 훨씬 어려워, 사법적 정의를 바라는 피해자들에게는 선택지가 거의 없습니다.
온라인에서 확인할 수 있는 이 클리닉의 고발장에는 충격적인 내용이 담겨 있습니다. 원고는 뉴저지의 익명 고등학생으로, 같은 반 친구들이 ClothOff를 이용해 그녀의 인스타그램 사진을 조작했습니다. 원본 인스타그램 사진이 촬영된 당시 그녀의 나이는 14세였기 때문에, AI로 수정된 이미지들은 법적으로 아동 학대 이미지를 구성합니다. 수정된 이미지가 명백히 불법임에도 불구하고, 지역 당국은 피의자들의 기기에서 증거를 확보하기 어렵다는 이유로 이 사건을 기소하는 것을 주저했습니다.
고발장에는 "학교나 법 집행기관 어느 곳에서도 Jane Doe와 다른 소녀들의 CSAM이 어느 정도 범위로 유포되었는지 명확히 파악하지 못했다"고 명시되어 있습니다.
그럼에도 불구하고 소송은 느리게 진행되고 있습니다. 고발장이 10월에 제기된 이후 몇 달간, 랭포드와 동료들은 이 글로벌 기업의 특성상 소장 송달 절차를 진행하는 데 어려움을 겪고 있습니다. 소장이 송달되면 클리닉은 법정 출두와 최종 판결을 요구할 수 있지만, 그전까지 법적 시스템은 ClothOff 피해자들에게 큰 위안을 제공하지 못하고 있습니다.
Grok 사건은 비교적 해결하기 쉬운 문제로 보일 수 있습니다. 일론 머스크의 xAI는 숨지 않고 있으며, 소송에서 승소할 경우 변호사들에게 상당한 보상이 걸려 있기 때문입니다. 그러나 Grok는 범용 도구이기 때문에 법정에서 책임을 묻기가 훨씬 어렵습니다.
랭포드는 "ClothOff는 딥페이크 포르노 이미지 및 비디오 생성기로 특별히 설계되고 마케팅된 것입니다. 사용자들은 온갖 종류의 내용을 검색할 수 있는 일반 시스템을 상대로 소송을 제기하는 것은 훨씬 복잡합니다"라고 말했습니다.
이미 여러 미국 법률이 딥페이크 포르노를 금지했습니다. 대표적으로 《Take It Down Act》가 있습니다.
하지만 특정 사용자가 명확하게 법을 위반한 경우와 달리, 플랫폼 전체에 책임을 묻는 것은 훨씬 더 까다롭습니다. 현행법은 '해를 끼치려는 의도'가 있었다는 명확한 증거를 요구합니다. 이는 xAI가 자체 도구가 비동의 포르노 제작에 사용될 것이라는 점을 인지하고 있었다는 증거를 제시해야 함을 의미합니다. 이러한 증거가 없다면, xAI는 수정헌법 제1조의 기본적인 권리 보호를 받게 됩니다.
패트리시아는 "수정헌법 제1조를 언급할 때" (혹은 '미국 수정헌법 제1조와 관련하여') X(트위터)가 언급했습니다. 그가 언급한 법률과 관련하여, 미국 수정헌법 제1조는 ...
(참고: 문맥상 '패트리시아'나 '트위터' 관련 내용은 불필요하거나 명확하지 않으므로, 핵심 주제를 유지하며 흐름을 정리합니다.)
한편, 유럽연합 등에서는 규제 노력을 지속하고 있습니다.
요약하자면, 이 문제에 대한 대응은 기술적, 법적, 그리고 사회적인 측면에서 복잡성을 띠고 있습니다.
[수정 및 간결화된 최종 버전]
한편, 이 문제에 대한 대응은 기술적, 법적, 그리고 사회적인 측면에서 복잡성을 띠고 있습니다. 법적인 측면에서, 일부 국가는 규제 노력을 강화하고 있으나, 미국 수정헌법 제1조와 같은 기본권 보호 원칙이 기업의 책임 소재를 모호하게 만들기도 합니다.
이러한 법적 공백과 기술적 변화는 규제기관의 과제입니다. 플랫폼 서비스가 지닌 자유로운 표현의 영역이 때로는 규제의 사각지대가 되기도 합니다.
종합적으로 볼 때, 성적인 콘텐츠의 생산 및 배포를 규제하는 것은 자유와 책임 사이의 균형점을 찾는 것이 핵심 과제입니다.
[출처:] https://techcrunch.com/2026/01/12/a-new-jersey-lawsuit-shows-how-hard-it-is-to-fight-deepfake-porn