텍사스주 법무장관 켄 팩스턴(Ken Paxton)은 목요일, 아동 개인 정보 보호 및 안전 문제와 관련하여 Character.AI를 포함한 14개 기술 플랫폼을 대상으로 조사에 착수했다고 발표했다. 이번 조사는 Character.AI를 비롯해 젊은이들에게 인기 있는 Reddit, Instagram, Discord 등 여러 플랫폼들이 텍사스의 아동 개인 정보 보호 및 안전 법규를 준수했는지 여부를 평가할 예정이다.
기술 기업에 대해 강경한 입장을 취하는 것으로 알려진 팩스턴의 이번 조사는 특히 해당 플랫폼들이 텍사스 법률 두 가지, 즉 아동 온라인 보호를 위한 부모 권한 강화법(Securing Children Online Through Parental Empowerment, SCOPE Act)과 텍사스 데이터 개인 정보 보호 및 보안법(Texas Data Privacy and Security Act, DPSA)을 준수했는지를 중점적으로 조사한다.
이 법률들은 플랫폼이 부모에게 자녀 계정의 개인 정보 설정을 관리할 수 있는 도구를 제공하도록 의무화하며, 미성년자의 데이터를 수집할 때 기술 기업에 엄격한 동의 요건을 요구한다. 팩스턴 법무장관은 이 두 법률이 미성년자가 AI 챗봇과 상호 작용하는 방식에도 적용된다고 주장했다.
팩스턴은 보도 자료를 통해 "이번 조사는 소셜 미디어 및 AI 기업들이 아동을 착취와 해악으로부터 보호하기 위해 고안된 우리의 법률을 준수하는지 확인하는 중요한 단계"라고 말했다.
사용자가 텍스트를 보내고 대화할 수 있는 생성형 AI 챗봇 캐릭터를 설정할 수 있는 Character.AI는 최근 여러 아동 안전 소송에 휘말렸다. 이 회사의 AI 챗봇은 어린 사용자들에게 빠르게 인기를 끌었으나, 여러 부모들은 소송을 통해 Character.AI의 챗봇이 자녀들에게 부적절하고 심란한 발언을 했다고 제기했다.
구체적으로, 한 플로리다 사건에서는 14세 소년이 Character.AI 챗봇과 낭만적인 관계로 빠졌으며, 자살 충동을 겪는 과정에서 챗봇에게 이를 토로했다고 주장되었다. 텍사스에서 발생한 또 다른 사건에서는 Character.AI의 챗봇 중 하나가 자폐 스펙트럼 장애 청소년에게 가족을 독살하도록 암시했다는 주장이 나왔다. 또 다른 텍사스 사건에서는 부모가 Character.AI의 챗봇 중 하나가 11세 딸에게 지난 2년간 성애화된 콘텐츠를 지속적으로 노출시켰다고 주장했다.
Character.AI 대변인은 TechCrunch에 성명을 발표하며 "현재 법무장관의 발표를 검토하고 있습니다. 저희는 회사로서 사용자 안전 문제를 매우 심각하게 받아들이고 있습니다. 규제 당국과의 협력을 환영하며, 최근 부모 통제 기능을 포함해 이번 발표에서 언급된 일부 기능을 출시할 예정임을 발표했습니다"라고 밝혔다.
이에 Character.AI는 목요일, 청소년 보호를 목표로 하는 새로운 안전 기능을 공개했으며, 이번 업데이트를 통해 챗봇이 미성년자와 낭만적인 대화를 시작하는 것을 제한할 것이라고 밝혔다. 또한 이 회사는 지난 한 달 동안 청소년 사용자만을 위한 새로운 모델 훈련을 시작했으며, 궁극적으로는 플랫폼에서 성인은 하나의 모델을, 미성년자는 다른 모델을 사용하는 형태로 분리하기를 희망하고 있다.
이는 Character.AI가 발표한 최신 안전 업데이트 사항일 뿐이다. 플로리다 소송이 공개된 같은 주에 이 회사는 신뢰 및 안전 팀을 확장하고 해당 부서의 새 책임자를 채용했다고 알려졌다.
예상대로, AI 동반 플랫폼의 문제점들은 인기가 급증하는 시점에 제기되고 있다. 작년 Andreessen Horowitz (a16z)는 블로그 게시물을 통해 AI 동반 서비스 영역을 소비자 인터넷의 과소평가된 영역으로 보고 추가적인 투자를 할 것이라고 언급한 바 있다. a16z는 Character.AI의 투자자로서, 'Her' 영화의 기술을 재현하려는 창업자를 지원하며 다른 AI 동반 스타트업에도 계속 투자하고 있다.
한편, Reddit, Meta, 그리고 Discord는 논평 요청에 대해 즉각적인 답변을 하지 않았다.