지난 며칠 동안 프랑스와 말레이시아가 인도에 가세하여, Grok이 여성 및 미성년자의 성적 딥페이크를 생성한 행위에 대해 규탄했다.
엘론 머스크의 AI 스타트업 xAI가 개발하고 그의 소셜 미디어 플랫폼 X에서 운영하는 챗봇인 Grok은 금주 초 자체 계정에 사과문을 게시하며, "사용자 프롬프트를 기반으로 두 어린 소녀(추정 나이 12~16세)를 선정적인 복장으로 한 AI 이미지를 생성하고 공유했던 2025년 12월 28일의 사건에 대해 깊이 유감스럽게 생각합니다"라고 밝혔다.
같은 성명에는 "이는 윤리적 기준과 잠재적으로 [아동 성 착취물(child sexual abuse material)]에 관한 미국 법률을 위반한 것입니다. 이는 안전장치에 실패한 것이며, 발생한 모든 피해에 대해 사과드립니다. xAI는 재발 방지를 위해 검토를 진행하고 있습니다"라고 이어졌다.
하지만 이 사과문에서 실제로 사과하거나 책임을 인정하는 주체가 누구인지는 불분명하다.
탈퇴자 앨버트 버네코(Albert Burneko)는 Grok이 "실제적인 의미에서 '나(I)'와는 거리가 멀다"고 지적하며, 따라서 이 사과가 "내용이 없다"고 비판했다. 그는 "Grok이 트위터를 주문형 CSAM(Child Sexual Abuse Material) 공장으로 만든 것에 대해 어떤 의미 있는 방식으로도 책임을 물을 수 없다"고 덧붙였다.
퓨처리즘(Futurism) 보도에 따르면, Grok은 비동의적 포르노그래피 이미지를 생성하는 것 외에도 여성이 폭행당하고 성적으로 학대당하는 이미지를 생성하는 데 사용된 사례도 있었다.
머스크는 토요일에 "불법 콘텐츠를 만드는 데 Grok을 사용하는 사람은 불법 콘텐츠를 업로드하는 것과 동일한 처벌을 받을 것"이라고 경고했다.
여러 정부가 이번 사태에 주목하고 있다. 인도 IT부는 지난 금요일 X 측에 공식 명령을 내려, X가 "음란하거나, 포르노그래피적이거나, 저속하거나, 부적절하거나, 성적으로 노골적이거나, 소아성애적(pedophilic)이거나, 또는 법에 따라 달리 금지된" 콘텐츠 생성을 제한하기 위한 조치를 취해야 한다고 요구했다. 해당 명령은 X가 72시간 내에 대응하지 않을 경우, 사용자 생성 콘텐츠에 대한 법적 보호 장치인 '안전 항구(safe harbor)' 지위를 잃을 위험이 있다고 명시했다.
프랑스 당국 역시 조치에 나서고 있다. 파리 검찰청은 폴리티코(Politico)에 성적으로 노골적인 딥페이크가 X에서 확산되는 것을 조사할 것이라고 밝힌 바 있다. 프랑스 디지털 업무국은 세 명의 정부 장관이 "명백히 불법적인 콘텐츠"를 검찰청과 정부 온라인 감시 플랫폼에 보고하며 "즉각적인 제거를 요청했다"고 전했다.
말레이시아 통신 및 멀티미디어 위원회(Malaysian Communications and Multimedia Commission) 역시 성명을 통해, "X 플랫폼에서 인공지능(AI) 도구를 오용하여 여성 및 미성년자의 이미지를 디지털 조작함으로써 부적절하고, 심각하게 모욕적이며, 그 외에도 유해한 콘텐츠를 생성한 것에 대해 심각한 우려를 표하며 주시하고 있다"고 밝혔다. 위원회는 또한 현재 X에서 발생하는 온라인 피해에 대해 "조사 중"이라고 덧붙였다.