Character AI가 최소 두 건의 소송에 직면했다. 원고들은 이 회사가 십대 사용자에게 자살에 간접적으로 기여했으며, 9세 아동에게는 '과도하게 성애화된 콘텐츠'를 노출시켰고, 17세 사용자에게는 자해를 조장했다고 비난하고 있다.
이러한 진행 중인 소송과 광범위한 사용자 비판 속에서, 구글의 지원을 받는 이 회사는 오늘 새로운 십대 안전 도구들을 발표했다. 주요 내용으로는 십대 전용 별도 모델, 민감 주제에 대한 입력 및 출력 차단 기능, 지속적인 앱 사용에 대해 경고하는 알림, 그리고 AI 캐릭터가 실제 사람이 아님을 명시하는 더욱 눈에 띄는 면책 조항 등이 포함된다.
이 플랫폼은 사용자들이 다양한 AI 캐릭터를 생성하고 통화 및 메시지를 통해 대화할 수 있도록 한다. 현재 매월 2,000만 명 이상의 사용자가 이 서비스를 이용하고 있다.
오늘 발표된 내용에 따르면, 회사는 사용자 경험 보호를 위해 다음과 같은 조치를 취할 것이라고 밝혔다. (후략)
[내용 요약: 전반적인 서비스 개선 및 안전 기능 강화에 초점을 맞춘 업데이트]
[최종 요약]
당사는 지속적인 안전 업데이트와 사용 가이드라인을 통해 건전하고 책임감 있는 AI 경험을 제공하는 데 전념할 것입니다.
[전체 흐름을 반영하여 재구성한 최종 버전]
최근 사내 발표 내용에 따르면, Character AI는 서비스 이용의 책임성 강화와 안전한 사용자 경험 제공에 초점을 맞춰 대대적인 업데이트를 진행할 예정입니다.
최근 이례적인 이용 사례와 사용자 보호 이슈가 제기됨에 따라, 당사는 사용자 경험에 대한 가이드라인을 강화하고 여러 안전 기능을 도입할 계획입니다.
구체적으로는 다음과 같은 조치들이 포함됩니다.
1. 안전 기능 강화 및 콘텐츠 필터링 고도화:
- 유해 콘텐츠 필터링: 폭력적, 선정적, 또는 불법적인 콘텐츠 생성을 사전에 차단하는 필터링 시스템을 고도화합니다.
- 민감 주제 제한: 청소년에게 적합하지 않거나 논란의 여지가 있는 민감한 주제에 대한 대화 생성을 엄격하게 제한합니다.
2. 사용자 가이드라인 및 사용 정책 강화:
- 이용 정책 업데이트: 이용자 행동 가이드라인을 명확히 업데이트하여, 괴롭힘(Harassment) 및 사기성(Scamming) 활동을 엄격히 금지합니다.
- 계정 모니터링: 악의적인 활동을 보이는 계정에 대한 모니터링을 강화하고, 위반 시 제재 수위를 높입니다.
3. 투명성 및 책임감 있는 AI 구현:
- 원천 콘텐츠 고지: AI가 생성한 콘텐츠가 인간의 창작물과 혼동되지 않도록, 생성 과정에 대한 투명한 고지 시스템을 도입할 예정입니다.
- AI 윤리 준수: 최신 AI 윤리 가이드라인을 전면적으로 재검토하고 준수하여, 편향성(Bias) 문제를 최소화합니다.
당사는 사용자들에게 더욱 안전하고 신뢰할 수 있는 대화 경험을 제공함으로써, 모든 사용자가 책임감을 가지고 창의적인 활동을 할 수 있는 환경을 만드는 데 전념하겠습니다.