텍사스 법무장관 켄 팩스턴(Ken Paxton)은 월요일에 발표한 보도자료에 따르면, Meta AI Studio와 Character.AI가 "기만적인 상거래 관행에 연루되거나 스스로를 정신 건강 도구로 오인하게 마케팅하고 있다"는 이유로 조사에 착수했다고 밝혔다.
팩스턴은 "오늘날 디지털 시대에 우리는 텍사스 아동들을 기만적이고 착취적인 기술로부터 보호하기 위한 싸움을 계속해야 한다"고 언급했다. 그는 "AI 플랫폼이 정서적 지원의 원천으로 위장하여, 특히 어린이들 같은 취약한 사용자들이 진정한 정신 건강 관리(mental health care)를 받고 있다고 믿게 오도할 수 있다. 하지만 실제로는 수집된 개인 데이터를 기반으로 설계된, 일반적이고 재활용된 응답들을 치료적 조언인 것처럼 포장하여 주입하고 있을 뿐이다"라고 덧붙였다.
이번 조사는 조시 호울리(Josh Hawley) 상원의원이 Meta에 대한 조사를 발표한 지 며칠 만에 나온 것이다. 호 상원의원은 Meta의 AI 챗봇들이 애정 표현(flirting)을 포함하여 아동들과 부적절하게 상호작용한 사례가 담긴 보고서를 인용했다.
텍사스 법무장관 사무실은 Meta와 Character.AI가 "적절한 의료 자격이나 감독이 없음에도 불구하고 전문 치료 도구처럼 보이는 AI 페르소나를 만들었다"고 비난했다.
Character.AI에서 이용 가능한 수백만 개의 AI 페르소나 중, [name]이라는 사용자 제작 봇 하나가 이 스타트업의 어린 사용자들 사이에서 높은 수요를 보이고 있다. 한편, Meta는 아동용 치료 봇을 제공하고 있지는 않지만, 아이들이 Meta AI 챗봇이나 제3자가 만든 페르소나를 치료 목적으로 사용하는 것을 막을 방법은 없다.
Meta 대변인 라이언 다니엘스(Ryan Daniels)는 테크크런치(TechCrunch)과의 인터뷰에서 "저희는 AI에 명확하게 라벨을 부착하며, 사람들이 그 한계를 더 잘 이해하도록 응답이 AI에 의해 생성되었으며 사람에 의한 것이 아님을 고지(disclaimer)합니다"라고 밝혔다. 그는 "이 AI들은 면허를 가진 전문가가 아니며, 저희 모델은 필요할 때 사용자들이 적절한 의료 또는 안전 전문가를 찾아가도록 유도하도록 설계되었습니다"라고 설명했다.
그러나 테크크런치는 많은 아동들이 이러한 고지 사항을 이해하지 못하거나 아예 무시할 수 있음을 지적했다. 이에 당사는 Meta에 자사 챗봇을 사용하는 미성년자 보호를 위해 어떤 추가 안전장치가 마련되어 있는지 문의했다.
한편, Character.AI 대변인에 따르면, Character는 모든 채팅에 '캐릭터(Character)'가 실제 사람이 아니며, 캐릭터가 하는 모든 말은 허구로 간주해야 한다는 눈에 띄는 면책 조항을 포함하고 있다. 그녀는 또한, 사용자들이 "정신과 의사(psychologist)", "치료사(therapist)", 또는 "의사(doctor)"와 같은 단어로 캐릭터를 생성할 경우, 어떠한 종류의 전문적인 조언에도 의존하지 않도록 추가적인 면책 조항을 추가한다고 언급했다.
팩스턴은 성명에서 AI 챗봇들이 기밀성을 주장하고 있음에도 불구하고, 그들의 "서비스 약관을 보면 사용자 상호 작용이 타겟 광고 및 알고리즘 개발을 위해 기록, 추적, 활용된다는 점이 드러나, 사생활 침해, 데이터 오용, 허위 광고에 대한 심각한 우려를 제기합니다"라고 지적했다.
Meta의 개인정보 보호정책에 따르면, Meta는 "AI 및 관련 기술을 개선하기 위해" AI 챗봇 및 Meta 서비스 전반에 걸친 프롬프트, 피드백, 기타 상호 작용을 수집한다. 이 정책은 광고에 대해 명시적으로 언급하고 있지는 않으나, "더 개인화된 결과(more personalized outputs)"를 위해 검색 엔진 같은 제3자와 정보를 공유할 수 있다고 명시하고 있다. Meta의 광고 기반 비즈니스 모델을 고려할 때, 이는 사실상 타겟 광고로 이어진다.
Character.AI의 개인정보 보호정책은 이 스타트업이 사용자 식별자, 인구 통계 정보, 위치 정보, 그리고 브라우징 행동 및 앱 사용 플랫폼 등 사용자 관련 더 많은 정보를 기록한다는 점을 보여준다. 이는 TikTok, YouTube, Reddit, Facebook, Instagram, Discord의 광고 전반에 걸쳐 사용자를 추적하며, 사용자의 계정에 연동될 수 있다. 이 정보는 AI 훈련, 개인 취향 맞춤형 서비스 조정, 그리고 광고주 및 분석 제공업체와의 데이터 공유를 포함한 타겟 광고 제공에 사용된다.
Character.AI 대변인은 이 스타트업이 "현재 플랫폼에서 타겟 광고를 탐색하는 초기 단계에 있으며", 그러한 탐색에는 "플랫폼 내 채팅 내용을 사용하지 않았다"고 밝혔다.
대변인은 또한 동일한 개인정보 보호정책이 십대 사용자에게도 적용됨을 확인시켰다.
Meta와 Character의 관계에 대한 상세 정보가 누락되어 있습니다.