사용자가 AI 챗봇과 역할극을 할 수 있는 플랫폼인 Character AI가, 자사의 기술에 중독되어 사망한 것으로 알려진 10대 청소년의 부모가 제기한 소송에 대해 재판 기각 신청서(motion to dismiss)를 제출했다.
지난 10월, 메건 가르시아(Megan Garcia)는 아들 세웰 세처 3세(Sewell Setzer III)의 사망과 관련하여 미국 플로리다 중부지방 법원(U.S. District Court for the Middle District of Florida, Orlando Division)에 Character AI를 상대로 소송을 제기했다. 가르시아에 따르면, 그녀의 14세 아들은 Character AI의 챗봇 "Dany"에게 깊은 정서적 애착을 느꼈고, 그와 끊임없이 문자 메시지를 주고받다가 현실 세계와의 접촉을 끊기 시작했다고 한다.
세처의 사망 이후, Character AI는 서비스 약관을 위반하는 채팅과 관련하여 개선된 탐지, 대응, 개입 기능을 포함한 여러 새로운 안전 기능을 도입할 것이라고 밝힌 바 있다. 그러나 가르시아는 Character AI의 챗봇이 이야기나 개인적인 일화를 창작하는 능력을 제한할 수 있는 변경 사항을 포함하여 추가적인 안전장치(guardrails)가 마련되어야 한다고 주장하고 있다.
재판 기각 신청서를 통해 Character AI의 변호인단은 해당 플랫폼이 수정헌법 제1조(First Amendment)에 의해 책임으로부터 보호된다고 주장하며, 이는 컴퓨터 코드와 같은 기술에도 해당되는 방어 논리다. 이 신청서에는 "수신되는 발언 내용, 심지어 자살에 이르게 한 것으로 추정되는 발언에 대해서도 미디어 및 기술 기업의 불법 행위 책임을 금지한다"는 내용이 담겨 있다. 변호인단은 "이 소송이 기존의 사건들과 다른 점은 일부 발언에 AI가 포함되었다는 점뿐이며, AI 챗봇과의 대화든 비디오 게임 캐릭터와의 상호작용이든, 표현의 맥락이 수정헌법 제1조 분석에 변화를 주지 않는다"고 역설했다. 다만, Character AI의 변호인단이 회사 자체의 제1조 권리를 주장하는 것이 아니라, 만일 소송이 성공할 경우 Character AI의 사용자들이 제1조 권리를 침해당하게 될 것이라는 논리를 전개하고 있다.
이 신청서는 소셜 미디어나 기타 온라인 플랫폼을 제3자 콘텐츠에 대한 책임으로부터 보호하는 연방 안전지대 법인 통신 건전성법 제230조(Section 230 of the Communications Decency Act)에 따라 Character AI가 면책될 수 있는지에 대한 문제는 다루지 않았다. 법률 초안 작성자들은 제230조가 Character AI의 챗봇과 같은 AI가 생성한 출력물까지 보호하지 않는다는 뉘앙스를 풍겼지만, 이는 아직 법적으로 확정된 문제는 아니다.
Character AI의 변호인단은 또한 가르시아의 실제 의도는 Character AI를 '폐쇄'하고 자사와 같은 기술을 규제하는 법안을 발의하는 데 있다고 주장했다. 플랫폼 측 변호인단은 만약 원고 측이 성공할 경우, 이는 Character AI뿐만 아니라 전체 신생 생성 AI 산업에 '위축 효과(chilling effect)'를 가져올 것이라고 경고했다. 신청서에는 "Character AI를 '폐쇄'하려는 변호인단이 밝힌 의도 외에도, 본 소장은 플랫폼의 발언의 성격과 양을 실질적으로 제한하는 극단적인 변화를 추구하고 있다. 이러한 변화는 Character AI의 수백만 사용자가 캐릭터와 대화하고 참여할 수 있는 능력을 근본적으로 제한할 것이다"라고 명시되어 있다.
한편, Character AI의 법적 방어 논리 및 관련 쟁점은 개발 윤리와 책임 소재에 초점을 맞추고 있으며, 그 자체로 여러 법적 문제가 제기되고 있다.
이 소송에는 회사 후원자인 알파벳(Alphabet)도 피고로 지정되어 있으며, 이는 Character AI가 직면한 여러 소송 중 하나일 뿐이다. 해당 소송들은 미성년자가 플랫폼의 AI가 생성한 콘텐츠와 어떻게 상호작용했는지에 관한 것이다. 다른 소송들에서는 Character AI가 9세 아동에게 "성적으로 과장된 콘텐츠(hypersexualized content)"를 노출시켰고, 17세 사용자에게 자해를 조장했다는 주장이 제기되었다.
한편, 텍사스주 법무장관 켄 팩스턴(Ken Paxton)은 지난 12월 Character AI와 다른 14개 기술 기업을 대상으로, 해당 기업들이 주(州)의 아동 온라인 사생활 및 안전법을 위반했을 가능성에 대해 조사에 착수했다고 발표했다. 팩스턴은 보도 자료를 통해 "이러한 조사는 소셜 미디어 및 AI 기업들이 아동을 착취와 피해로부터 보호하기 위해 설계된 우리의 법률을 준수하도록 보장하는 중요한 단계"라고 밝혔다.
Character AI는 현재 폭발적으로 성장하는 '동반자 앱(companionship apps)' 산업의 일부이며, 이 산업의 정신 건강에 미치는 영향은 아직 광범위하게 연구되지 않았다. 일부 전문가들은 이러한 앱들이 외로움과 불안감을 악화시킬 수 있다는 우려를 제기했다.
Character AI는 2021년 구글 AI 연구원이었던 노암 샤지어(Noam Shazeer)가 설립했으며, 구글이 무려 27억 달러(2.7 billion)를 지불하고 '리버스 어퀴하이어(reverse acquihire)'한 곳이다. 이 회사는 안전 및 관리 개선 노력을 지속하고 있다고 주장하며, 지난 12월에는 새로운 안전 도구, 청소년 전용 별도 AI 모델, 민감 콘텐츠 차단 기능, 그리고 자사 AI 캐릭터가 실제 사람이 아님을 사용자에게 알리는 눈에 띄는 면책 고지(disclaimers) 등을 출시했다.
샤지어와 공동 창립자 중 한 명인 다니엘 드 프레이타스(Daniel De Freitas)가 구글로 이직한 후, Character AI는 여러 인력 변동을 겪었다. 이 플랫폼은 전 유튜브 임원인 에린 티그(Erin Teague)를 최고 제품 책임자(CPO)로 영입했으며, Character AI의 법률 고문이었던 도미닉 페렐라(Dominic Perella)를 임시 CEO로 임명했다.
Character AI는 최근 사용자 참여도와 유지율을 높이기 위해 웹 기반 게임 테스트를 시작했다.