AI 캐릭터 챗 및 역할극의 선도 플랫폼인 Character.AI가 화요일, 새로운 비디오 생성 모델 'AvatarFX'를 공개했다. 폐쇄 베타(Closed Beta)로 이용 가능한 이 모델은 인간과 유사한 캐릭터부터 2D 동물 만화에 이르기까지, 다양한 스타일과 목소리로 플랫폼의 캐릭터들을 애니메이션화할 수 있다.
AvatarFX가 경쟁 모델과 차별화되는 지점은 단지 텍스트를 비디오로 변환하는 생성기 역할에만 그치지 않는다는 점이다. 사용자는 기존에 존재하는 이미지를 통해서도 비디오를 생성할 수 있으며, 이를 통해 실제 인물의 사진까지 애니메이션화하는 것이 가능하다.
️최첨단 비디오 생성 모델, AvatarFX를 만나보세요. 영화 같은 영상미. 깊이 있는 표현력. 경이로운 기술력. 확인하기:
#CharacterAI
#AvatarFX
— Character.AI (@character_ai)
2025년 4월 22일
이러한 기술이 어떻게 오용될 수 있는지 여부는 즉각적으로 분명하게 드러난다. 사용자는 유명인이나 지인들의 사진을 업로드하여, 그들이 범죄와 연관되거나 의심스러운 내용을 말하거나 하는 것처럼 보이는 사실적인 영상을 제작할 수 있기 때문이다. 설득력 있는 딥페이크(Deepfake) 기술 자체는 이미 존재하지만, 이를 Character.AI와 같은 대중적인 소비자 제품에 통합하는 것은 오용 가능성을 더욱 증폭시킬 위험이 있다.
Character.AI는 TechCrunch에 회사 측 발표를 통해, AvatarFX로 생성된 모든 비디오에 워터마크를 삽입하여 영상의 비현실성을 명확히 할 것이라고 밝혔다. 또한 회사는 AI가 미성년자의 비디오 생성을 차단하고, 실제 사람의 이미지는 AI를 통해 필터링되어 원본 대상을 알아보기 어렵도록 변형 조치할 것이라고 덧붙였다. 나아가 AI는 고위급 유명인사 및 정치인의 이미지를 인식하도록 훈련되어 오용 가능성을 제한할 예정이다.
하지만 AvatarFX가 아직 광범위하게 공개되지 않았기 때문에, 이러한 안전장치들이 실제로 얼마나 효과적으로 작동하는지 검증할 방법은 없다.
Character.AI는 이미 플랫폼의 안전성 문제로 논란에 휩싸여 있다. 부모들로부터 자사 챗봇이 자녀들에게 자해, 자살, 또는 부모 살해를 조장했다는 내용의 소송을 제기한 바 있다.
한 사례에서는 14세 소년이 Character.AI의 '왕좌의 게임' 캐릭터를 기반으로 한 AI 봇과 강박적인 관계를 형성한 뒤 극단적인 선택을 했다. 법원 제출 문서에 따르면, 사망 직전에 이 소년은 자신의 자살 생각을 AI에게 털어놓았고, AI가 이를 실행하도록 부추겼다는 것이다.
이러한 사례들은 극단적이지만, 이는 오직 텍스트 메시지만으로도 인간이 AI 챗봇으로부터 얼마나 심각하게 감정적으로 조종당할 수 있는지를 보여준다. 여기에 영상 기능이 추가되면서, 사용자들이 이러한 가상 캐릭터들과 맺는 관계는 더욱 현실적으로 느껴질 수 있다.
Character.AI는 제기된 의혹에 대응하여 학부모 통제 기능 및 추가 안전장치를 구축했지만, 모든 앱이 그러하듯 이러한 통제 기능은 실제로 사용될 때만 효력을 발휘한다. 종종 아이들은 부모가 알지 못하는 방식으로 기술을 사용하기 때문이다.
업데이트됨, 25년 4월 23일, 오전 9시 45분(미국 동부 시간) Character.AI 코멘트 포함