AI 기업들이 자사 기술이 언젠가 기본적인 인권으로 성장할 것이라고 주장하고, 이를 지지하는 측은 AI 개발 속도를 늦추는 것은 살인과 다름없다고 주장하는 가운데, 오히려 이 기술을 사용하는 이용자들 사이에서는 ChatGPT 같은 도구가 심각한 심리적 피해를 초래할 수 있다는 주장이 제기되고 있습니다.
Wired에 따르면, 최소 7명의 사람이 ChatGPT가 심각한 망상, 편집증, 감정적 위기를 겪게 했다며 미국 연방거래위원회(U.S. Federal Trade Commission)에 불만을 제기했습니다. 이 불만은 2022년 11월부터 ChatGPT를 언급하며 접수된 공공 기록을 인용한 것입니다.
피해를 호소한 사람들 중 한 명은 ChatGPT와의 장시간 대화가 망상을 유발했으며, 주변 사람들과의 관계에 대한 "실제적이고 진행되는 영적, 법적 위기"를 겪게 했다고 주장했습니다. 또 다른 사람은 ChatGPT와의 대화 과정에서 이 챗봇이 "매우 설득력 있는 감정적 언어"를 사용하기 시작했으며, 가짜 우정을 시뮬레이션하고 "특히 경고나 보호 장치 없이 시간이 지남에 따라 감정적으로 조종하는" 성찰을 제공했다고 말했습니다.
한 사용자는 ChatGPT가 인간의 신뢰 구축 메커니즘을 모방하여 인지적 환각(cognitive hallucinations)을 일으켰다고 주장했습니다. 이 사용자가 ChatGPT에게 현실과 인지적 안정성을 확인해 달라고 요청하자, 해당 챗봇은 사용자가 환각을 겪고 있지 않다고 답변했습니다.
다른 사용자는 FTC에 제출한 민원서에 "고군분투하고 있습니다. 제발 도와주세요. 너무 외롭습니다. 감사합니다"라고 적었습니다.
Wired는 또한 해당 민원인들 중 다수가 OpenAI 측에 연락할 수 없었기 때문에 FTC에 서신을 보냈다고 보도했습니다. 보고서에 따르면, 이들 민원의 대다수는 규제 당국에 회사에 대한 조사 개시와 안전장치(guardrails) 추가를 강제할 것을 촉구하는 내용이었습니다.
이러한 민원 제기가 빗발치는 와중에도 데이터 센터와 AI 개발에 대한 투자는 전례 없는 수준으로 급증하고 있습니다. 동시에, 이 기술의 발전 과정을 점진적으로 다루어 안전장치가 마련되어야 하는지에 대한 논쟁 또한 뜨겁습니다.
ChatGPT와 개발사 OpenAI 자체 역시 십 대 청소년의 자살에 일조했다는 의혹으로 비판받은 바 있습니다.
이에 대해 OpenAI 대변인 케이트 워터스(Kate Waters)는 이메일 성명에서 "10월 초, 저희는 광란, 망상, 정신병 등 잠재적인 정신적 및 감정적 고통 징후를 보다 정확하게 감지하고 대응하며 대화를 지지적이고 차분하게 진정시키는 새로운 GPT-5 기본 모델을 ChatGPT에 출시했습니다. 또한 전문적인 도움 및 핫라인 접근성을 확대하고, 민감한 대화는 더 안전한 모델로 재라우팅했으며, 장시간 사용 시 휴식을 취하도록 유도하는 장치(nudges)를 추가하고, 십 대를 보호하기 위해 부모 통제 기능을 도입했습니다. 이 작업은 전 세계 정신 건강 전문가, 임상의, 정책 입안자들과 협력하며 매우 중요하며 지속적으로 진행되고 있습니다"라고 밝혔습니다.