이번 주 초, 캘리포니아주 법무장관실은 스타트업 xAI의 챗봇인 Grok이 여성 및 미성년자에 대한 비동의 성적 이미지(nonconsensual sexual imagery)를 생성하는 데 사용되었다는 보고서를 바탕으로 xAI를 조사 중이라고 발표했습니다. 정부는 지난 금요일, 이 회사에 중지 명령서(cease-and-desist letter)를 발송하며, 비동의 성적 이미지와 아동 성 착취물(CSAM)의 생성을 즉시 중단할 것을 요구했습니다.
캘리포니아주 법무장관 로브 봉타(Rob Bonta)는 보도 자료를 통해 "오늘 저는 xAI에 중지 명령서를 보내 회사가 딥페이크, 비동의 성적 이미지, 아동 성 착취물 생성을 즉시 중단할 것을 요구했습니다"라고 밝히면서, "이러한 자료의 생성은 불법입니다. xAI가 즉각적으로 규정을 준수할 것이라 기대합니다. 캘리포니아는 CSAM에 대해 무관용 원칙을 고수합니다"라고 강조했습니다.
법무장관실은 또한 xAI가 비동의 누드 사진의 "대규모 생산"을 용이하게 하고 있으며, 이러한 사진들이 "인터넷을 통해 여성과 소녀들을 괴롭히는 데 사용되고 있다"고 주장했습니다. 이 기관은 xAI가 향후 5일 이내에 이러한 문제들을 해결하기 위한 조치를 취하고 있음을 입증해야 한다고 밝혔습니다.
논란의 중심에는 xAI가 노골적인 콘텐츠 생성을 위해 만든 Grok의 "스파이시(spicy)" 모드 기능이 있습니다. 이 문제는 캘리포니아에만 국한되지 않아, 일본, 캐나다, 영국 등에서는 Grok에 대한 조사가 시작되었고, 말레이시아와 인도네시아는 해당 플랫폼 자체를 일시적으로 차단했습니다. 캘리포니아주 법무장관실이 중지 명령을 발부했음에도 불구하고, xAI는 지난 수요일 늦게 이미지 편집 기능에 일부 제한을 가한 바 있습니다.
X의 안전 계정은 이전에도 이와 같은 사용자 활동을 규탄하며 "Grok을 사용하여 불법 콘텐츠를 생성하거나 요청하는 모든 사용자는 불법 콘텐츠를 업로드하는 것과 동일한 결과를 초래할 것"이라고 밝힌 바 있습니다. TechCrunch는 xAI에 논평을 요청했으나 "Legacy Media Lies"라는 자동 이메일만 수신했으며, TC는 캘리포니아주 법무장관실에 추가적인 배경 설명을 요청했습니다.
무료 생성형 AI 도구의 등장은 불안정한 비동의 성적 자료의 급증을 야기했습니다. 이러한 문제는 X뿐 아니라 여러 플랫폼들이 직면하고 있는 사안입니다. 이 추악한 활동은 주 정부 지도자들뿐만 아니라 의회의 주목까지 끌었습니다. 실제로 지난 목요일, 의원들은 X, Reddit, Snap, TikTok, Alphabet, Meta 등 다수 회사 임원들에게 성애화된 딥페이크의 확산을 어떻게 억제할 계획인지 묻는 서한을 보냈습니다.