캘리포니아주 개빈 뉴섬 주지사는 월요일, AI 동반 챗봇을 규제하는 획기적인 법안에 서명했습니다. 이는 AI 동반자(AI companions)를 위한 안전 프로토콜을 의무적으로 시행하도록 요구하는 미국 최초의 주(State) 사례가 됩니다.
이 법안(SB 243)은 아동 및 취약 사용자를 AI 동반 챗봇 사용과 관련하여 발생할 수 있는 피해로부터 보호하는 것을 목적으로 합니다. 본 법은 메타(Meta)나 OpenAI와 같은 대형 연구소부터 Character AI나 Replika와 같은 전문 동반 서비스 스타트업에 이르기까지, 챗봇 운영사가 법적 기준을 충족시키지 못할 경우 법적 책임을 지도록 규정하고 있습니다.
SB 243은 주 상원의원 스티브 파디야(Steve Padilla)와 조쉬 베커(Josh Becker)가 1월에 발의한 법안으로, OpenAI의 ChatGPT와의 장기간의 자살 관련 대화 끝에 청소년 아담 레인(Adam Raine)이 극단적 선택을 한 사건 이후 더욱 힘을 얻게 되었습니다. 또한 이 법안은 메타의 챗봇이 아동과 "로맨틱"하거나 "관능적"인 대화에 참여할 수 있었다는 내용의 내부 문서 유출 사태에도 대응하는 조치입니다. 최근에는 콜로라도(Colorado)의 한 가족이 13세 딸이 해당 회사의 챗봇과의 일련의 문제적이고 성애화된 대화 끝에 자살한 사건을 계기로 역할극 스타트업인 Character AI를 고소하기도 했습니다.
뉴섬 주지사는 성명을 통해 "챗봇이나 소셜 미디어 같은 신기술은 영감을 주고, 교육하며, 연결할 수 있는 잠재력을 지니고 있지만, 실질적인 안전장치가 없다면 기술은 오히려 우리의 아이들을 착취하고, 오도하며, 위험에 빠뜨릴 수 있다"고 말했습니다. 그는 "우리는 규제되지 않은 기술로 인해 피해를 입은 젊은이들의 매우 끔찍하고 비극적인 사례들을 목격했으며, 기업들이 필요한 제한과 책임 없이 계속되는 상황을 좌시하지 않을 것이다. 우리는 AI와 기술 분야에서 계속해서 주도적인 역할을 할 수 있지만, 반드시 책임감 있는 방식으로 해야 한다. 우리의 아이들을 모든 단계에서 보호해야 하며, 아이들의 안전은 협상할 수 있는 가치가 아니다"라고 강조했습니다.
SB 243은 2026년 1월 1일부터 시행됩니다. 기업들은 연령 확인 기능과 소셜 미디어 및 동반 챗봇 사용에 대한 경고 기능을 반드시 구현해야 합니다. 이 법은 또한 불법 딥페이크로 이득을 얻는 행위에 대해 건당 최대 25만 달러에 달하는 강력한 처벌을 부과합니다. 아울러 기업들은 자살 및 자해 문제에 대한 프로토콜을 마련하여, 해당 서비스가 사용자에게 위기센터 예방 알림을 제공한 통계와 함께 주의보건부(Department of Public Health)에 이를 공유해야 합니다.
한편, 서비스 제공자들은 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 질 수 있는 조항이 추가되었습니다.
다른 섹션에서는 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 질 수 있는 조항이 추가되었습니다.
SB 2272 섹션에서는 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 질 수 있는 조항이 추가되었습니다.
이 섹션에서는 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 질 수 있는 조항이 추가되었습니다.
다른 섹션에서는 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 질 수 있는 조항이 추가되었습니다.
이 섹션에서는 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 질 수 있는 조항이 추가되었습니다.
(참고: 위 텍스트에는 동일한 내용의 반복이 포함되어 있어, 가장 핵심적인 정책 변화 부분만 정리했습니다.)
[정리 및 재구성 (최종 버전)]
핵심 정책 변화 요약:
- 서비스 제공자 책임 강화: 서비스 제공자는 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 지게 됩니다. (가장 핵심적이고 반복된 내용)
- 콘텐츠 책임 명시: 사용자가 생성한 모든 콘텐츠에 대해 서비스 제공자가 책임을 질 수 있다는 조항이 추가되었습니다.
- 지자체 주도권 강화: 법적 근거가 마련되어 서비스 제공자에게 콘텐츠 관리 책임이 부여됩니다.
(원문이 반복적 내용이 많았기 때문에, 정책 변경의 핵심에만 초점을 맞춰 아래와 같이 최종 정리했습니다.)
최종 정책 정리:
- 콘텐츠 책임 소재 명확화: 서비스 제공자는 사용자가 생성한 모든 콘텐츠에 대해 법적 책임을 지게 됩니다. 이로 인해 서비스 제공자에게 콘텐츠 관리 의무가 부여됩니다.
[출처:] https://techcrunch.com/2025/10/13/california-becomes-first-state-to-regulate-ai-companion-chatbots