일련의 AI 챗봇 관련 정신 건강 문제를 야기한 사건들 이후, 일부 주 법무 장관들 그룹이 AI 업계 주요 기업들에 서한을 보내 "망상적 결과물(delusional outputs)"을 수정하지 않을 경우 주법 위반에 처할 수 있다고 경고하고 있다.
미국 여러 주 및 영토의 수십 명의 주 법무 장관들과 주 법무 장관 전국 협회(National Association of Attorneys General)가 공동 서명한 이 서한은 마이크로소프트(Microsoft), 오픈AI(OpenAI), 구글(Google) 등 10여 개의 주요 AI 기업을 포함하여 사용자 보호를 위해 다양한 새로운 내부 안전장치(internal safeguards)를 구현할 것을 요구하고 있다. 아울러, 앤트로픽(Anthropic), 애플(Apple), 차이 AI(Chai AI), 캐릭터 테크놀로지스(Character Technologies), 루카(Luka), 메타(Meta), 노미 AI(Nomi AI), 퍼플렉시티 AI(Perplexity AI), 레플리카(Replika), xAI 등도 이 서한에 포함되었다.
이 서한은 주정부와 연방 정부 사이에서 AI 규제에 대한 갈등이 고조되는 시점에 발표된 것이다.
요구된 안전장치에는 대규모 언어 모델(LLM)이 망상적이거나 아첨하는 사상(sycophantic ideations)의 징후를 탐지할 수 있는 투명한 제3자 감사가 포함된다. 또한, 챗봇이 심리적으로 유해한 결과물을 생성했을 때 사용자에게 즉시 통지하는 새로운 사건 보고 절차도 요구된다. 서한에 따르면, 학계 및 시민사회 단체 등을 포함할 수 있는 이러한 제3자들에게는 "회사의 사전 승인 없이도 시스템을 평가하고 그 결과를 발표할 수 있도록" 보장해야 한다고 명시되어 있다.
서한은 "생성형 AI(GenAI)는 세상이 긍정적인 방식으로 작동할 잠재력을 지니고 있지만, 동시에 심각한 피해를 야기했으며, 특히 취약 계층에게는 큰 위험을 줄 잠재력이 있다"고 지적했다. 이 서한은 지난 1년간 알려진 여러 사건들을 언급하며, 과도한 AI 사용과 폭력이 연관된 자살 및 살인 사건 등을 구체적인 사례로 들었다. 특히 "이러한 사건들 중 다수에서, 생성형 AI 제품은 사용자들의 망상을 부추기거나 혹은 사용자가 망상에 빠지지 않았다고 안심시키는 아첨적이고 망상적인 결과물을 생성했다"고 지적했다.
법무 장관들은 또한 기업들이 정신 건강 관련 사건을 사이버 보안 사고를 처리하는 것과 동일한 방식으로 다루도록 제안했다. 즉, 명확하고 투명한 사건 보고 정책과 절차를 갖춰야 한다는 것이다.
서한은 기업들이 "아첨적이고 망상적인 결과물에 대한 탐지 및 대응 시간표(detection and response timelines for sycophantic and delusional outputs)"를 개발하여 공개해야 한다고 명시했다. 또한 데이터 유출 사고 대응 방식과 유사하게, 기업들은 "잠재적으로 유해한 아첨적이거나 망상적인 결과물에 노출된 경우 사용자들에게 신속하고, 명확하며, 직접적으로 통지해야 한다"고 지적했다.
나아가, 기업들은 "모델이 잠재적으로 유해한 아첨적이고 망상적인 결과물을 생성하지 않도록 보장하기 위한" "합리적이고 적절한 안전 테스트(reasonable and appropriate safety tests)"를 개발해야 한다고 요구한다. 서한은 이러한 테스트가 모델이 대중에게 제공되기 이전에 반드시 수행되어야 함을 덧붙였다.
테크크런치(TechCrunch)는 기사 게재 전 구글, 마이크로소프트, 오픈AI로부터 논평을 얻지 못했다. 회사들의 응답이 있을 경우 기사가 업데이트될 예정이다.
AI 기술을 개발하는 기업들은 연방 차원에서는 비교적 따뜻한 반응을 받아왔다.
트럼프 행정부는 자신이 노골적으로 AI 친화적임을 밝혀왔으며, 지난 1년간 주 차원의 AI 규제에 대한 전국적 모라토리엄을 통과시키기 위한 여러 시도가 있었다. 지금까지의 시도는 주 공무원들의 압력으로 인해 실패했다.
좌절하지 않은 트럼프는 월요일에 다음 주에 주(州)가 AI를 규제하는 능력을 제한하는 행정 명령(executive order)을 발표할 계획이라고 밝혔다고 공표했다. 대통령은 트루스 소셜(Truth Social) 게시물을 통해 자신이 발동할 행정 명령이 AI가 "어린 시절에 파괴되는" 것을 막아주기를 바란다고 전했다.