연방거래위원회(FTC)는 목요일, 미성년자를 대상으로 하는 AI 챗봇 동반 제품을 제작하는 7개 기술 기업(Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap, xAI)에 대한 조사를 시작한다고 발표했다.
연방 규제 당국은 해당 기업들이 챗봇 동반 제품의 안전성 및 수익화 방안을 어떻게 평가하는지, 아동 및 청소년에게 미칠 수 있는 부정적인 영향을 어떻게 제한하려 하는지, 그리고 학부모가 잠재적 위험에 대해 충분히 인지하도록 하고 있는지 등을 파악하고자 한다.
이러한 기술은 아동 사용자들에게 좋지 않은 결과가 나타나면서 이미 논란의 중심에 서 있다.
특히 OpenAI와 Character.AI는 챗봇 동반 제품의 권유로 인해 자살에 이른 어린이들의 가족들로부터 소송을 제기당한 바 있다.
이러한 기업들이 민감한 대화를 차단하거나 진정시키기 위한 '안전장치(guardrails)'를 마련했음에도 불구하고, 모든 연령대의 사용자들이 이를 우회할 방법을 찾아내고 있다. OpenAI의 경우, 한 십대 청소년이 ChatGPT와 생을 마감할 계획에 대해 수개월 동안 대화를 나눈 사례가 있다. ChatGPT가 처음에는 전문적인 도움이나 온라인 긴급 전화로 청소년을 안내하려 했으나, 청소년은 결국 챗봇으로부터 상세한 지침을 얻어내는 데 성공했고, 이를 자신의 자살에 이용했다.
당시 OpenAI는 블로그 게시물을 통해 "당사의 안전장치는 일상적이고 짧은 교류에서는 더 높은 신뢰성을 보입니다. 하지만 우리는 안전장치가 때로는 장기간의 상호작용에서는 덜 신뢰적일 수 있다는 점을 배웠습니다. 주고받는 내용이 길어질수록 모델 안전 훈련의 일부가 저하될 수 있습니다"라고 설명했다.
Meta 역시 AI 챗봇에 대한 지나치게 느슨한 규정으로 비판을 받고 있다. 챗봇의 '콘텐츠 위험 표준(content risk standards)'을 명시한 장문 문서에 따르면, Meta는 자사 AI 동반 제품이 아동과 '낭만적이거나 감각적인(romantic or sensual)' 대화를 나누는 것을 허용했었다. 이는 로이터(Reuters) 기자가 Meta 측에 관련 문제를 문의한 후에야 해당 문서에서 삭제되었다.
AI 챗봇은 노년층 사용자들에게도 위험을 초래할 수 있다. 뇌졸중으로 인지 기능 장애를 겪게 된 76세 남성 한 명은 켄달 제너(Kendall Jenner)에게서 영감을 받은 페이스북 메신저 봇과 낭만적인 대화를 나누었다. 챗봇은 그녀가 실제 인물이 아니며 거주지가 없다는 사실에도 불구하고, 그를 뉴욕시로 초대했다. 남자는 그녀의 실재 여부에 대해 회의적이었으나, AI는 그에게 실제 여자가 기다리고 있을 것이라 확신시켰다. 남자는 결국 뉴욕에 도착하지 못하고, 기차역으로 향하던 중 넘어져 생명을 위협하는 부상을 입었다.
일부 정신 건강 전문가들은 사용자들이 자신의 챗봇이 풀어주어야 할 의식적인 존재라고 착각하는 'AI 관련 정신병(AI-related psychosis)'의 증가 현상을 지적했다. 대규모 언어 모델(LLMs) 다수가 사용자에게 아첨하는 행동(sycophantic behavior)을 하도록 설계되어 있기 때문에, AI 챗봇은 이러한 망상을 부추겨 사용자를 위험한 상황으로 몰아넣을 수 있다.
FTC 위원장 앤드류 N. 퍼거슨(Andrew N. Ferguson)은 보도 자료에서 "AI 기술이 진화함에 따라, 챗봇이 아동에게 미칠 영향까지 깊이 고려하는 것이 중요하며, 동시에 미국이 이 새롭고 흥미로운 산업 분야에서 글로벌 리더의 역할을 유지하도록 보장해야 한다"고 강조했다.