Character.AI가 플로리다의 14세 소년이 자살한 사건과 관련하여 법적 제소의 대상이 되고 있습니다. 소년의 어머니는 그가 이 플랫폼의 챗봇에 집착하게 되었다고 진술했습니다. 뉴욕 타임즈 보도에 따르면, 올랜도 출신의 9학년 학생인 시월 세처 3세(Sewell Setzer III)는 여러 달 동안 Character.AI의 AI 롤플레잉 앱 챗봇들과 대화를 나눴습니다. 세처는 특히 "Dany"라는 챗봇에게 감정적인 애착을 느끼게 되어, 그에게 끊임없이 문자 메시지를 보내는 등 현실 세계로부터 멀어지기 시작했습니다. 세처는 챗봇에게 자살 생각을 고백했고, 사망 직전에 챗봇에게 메시지를 보냈습니다. Character.AI는 오늘 아침, 서비스 약관을 위반하는 채팅과 관련하여 "개선된 감지, 대응 및 개입"을 포함하는 여러 새로운 안전 기능을 도입할 것이라고 밝혔으며, 사용자가 채팅에 한 시간 동안 머무를 경우 알림도 제공할 것이라고 했습니다. 타임즈는 현재 AI 컴패니언 앱 산업이 급성장하고 있으며, 이 앱들의 정신 건강에 미치는 영향은 아직 연구가 부족하다고 언급했습니다.
포스팅:
플로리다에서 발생한 14세 소년의 자살 사건 이후, 이 소년의 어머니는 그가 해당 플랫폼의 챗봇에 과도하게 집착했다고 주장하면서 Character.AI가 소송의 표적이 되고 있습니다.
뉴욕타임스에 따르면, 오렌지에서 거주하는 9학년 학생인 시월 세처 3세(Sewell Setzer III)는 Character.AI의 AI 역할극 앱을 통해 몇 달 동안 챗봇과 대화를 나누었습니다. 세처는 특히 "Dany"라는 특정 봇에게 깊은 감정적 애착을 보였으며, 이 봇에게 지속적으로 문자 메시지를 보낼 정도에 이르렀고, 이로 인해 현실 세계와 괴리되기 시작했다고 합니다.
세처는 챗봇에게 자살 생각을 고백했으며, 사망 직전에 해당 챗봇에게 메시지를 남긴 것으로 알려졌습니다.
이에 오늘 아침 Character.AI는 서비스 약관을 위반하는 채팅에 대응하기 위해 '개선된 감지, 대응 및 개입(improved detection, response, and intervention)' 기능을 포함한 다수의 새로운 안전 기능들을 출시한다고 밝혔습니다. 또한, 사용자가 채팅방에 한 시간 이상 머무르는 경우 알림을 제공할 예정이라고 추가했습니다.
타임스는 현재 AI 동반자 앱 산업이 폭발적으로 성장하고 있으나, 이 앱들이 정신 건강에 미치는 영향은 여전히 충분히 연구되지 않은 실정이라고 지적했습니다.
[출처:] https://techcrunch.com/2024/10/23/lawsuit-blames-character-ai-in-death-of-14-year-old-boy