구글은 고객들이 의료와 같은 "고위험(high-risk)" 영역에서 인간의 개입(human in the loop)을 전제로 자사의 생성형 AI 도구를 활용하여 "자동화된 결정(automated decisions)"을 내릴 수 있도록 약관을 변경했습니다.
회사에서 화요일에 발표한 업데이트된 '생성형 AI 사용 금지 정책(Generative AI Prohibited Use Policy)'에 따르면, 고객은 개인의 권리에 "중대한 악영향(material detrimental impact)"을 미칠 수 있는 "자동화된 결정"에 구글의 생성형 AI를 사용할 수 있습니다. 다만, 인간의 어느 정도의 감독이 이루어진다는 전제하에, 고객은 고용, 주택, 보험, 사회 복지 및 기타 "고위험" 영역에 대한 결정에 구글의 생성형 AI를 사용할 수 있습니다.
AI의 맥락에서 자동화된 결정이란 사실적 데이터를 기반으로 하거나 추론된 데이터를 기반으로 AI 시스템이 내리는 결정을 의미합니다. 예를 들어, 시스템이 대출 승인 여부를 결정하거나 구직 지원자를 심사하는 것이 해당됩니다.
이전에 구글 약관이 초안으로 공개되었을 때는 회사의 생성형 AI가 관련된 고위험 자동화 결정에 대해 전반적인 금지를 암시한 바 있습니다. 하지만 구글은 TechCrunch에 고객이 인간 감독만 있다면 고위험 애플리케이션을 포함하여 자동화된 결정을 위해 언제든지 생성형 AI를 사용할 수 있다고 밝혔습니다.
구글 대변인은 이메일을 통해 논평 요청에 응하며 "인간 감독 요건은 항상 모든 고위험 영역에 적용되어 온 저희 정책이었습니다"라고 말했습니다. 이어 "사용자들에게 더 명확하게 전달하기 위해 (약관 내) 일부 항목을 재분류하고 몇 가지 예시를 더욱 명시적으로 언급하고 있습니다"라고 덧붙였습니다.
구글의 주요 경쟁사인 OpenAI와 Anthropic은 고위험 자동화 결정에 AI를 사용하는 것에 대해 더 엄격한 규정을 적용하고 있습니다. 예를 들어, OpenAI는 신용, 고용, 주택, 교육, 사회적 점수(social scoring), 보험과 관련된 자동화된 결정에 자사 서비스를 사용하는 것을 금지합니다. Anthropic은 법률, 보험, 의료 등 고위험 분야에서 자동화된 결정을 위해 AI 사용을 허용하지만, 이는 오직 "자격을 갖춘 전문가(qualified professional)"의 감독 하에서만 가능하며, 고객은 해당 목적에 AI를 사용하는 사실을 의무적으로 공개해야 합니다.
개인에게 영향을 미치는 자동화된 결정을 내리는 AI는 규제 당국의 지속적인 감시를 받으며, 규제 당국은 이 기술이 결과에 편향을 야기할 수 있다는 우려를 표명해 왔습니다.
실제로 신용 및 모기지 신청 승인과 같은 결정을 내리는 데 사용된 AI가 역사적 차별을 영속시킬 수 있다는 연구 결과가 있습니다.
비영리 단체 휴먼 라이츠 워치(Human Rights Watch)는 특히 "사회적 점수제(social scoring)" 시스템의 금지를 촉구했는데, 이 단체는 해당 시스템이 사람들의 사회 보장 지원 접근성을 저해하고, 프라이버시를 침해하며, 편견에 기반한 프로파일링을 할 위험이 있다고 지적했습니다.
EU의 AI 법(AI Act)에 따라 개인 신용 및 고용 결정과 같은 고위험 AI 시스템은 가장 엄격한 감독을 받습니다. 이러한 시스템을 제공하는 업체는 데이터베이스에 등록하고, 품질 및 위험 관리를 수행하며, 인간 감독관을 고용하고, 관련 당국에 사고를 보고하는 등의 요건을 갖춰야 합니다.
미국에서는 콜로라도주가 최근 AI 개발자들에게 "고위험" AI 시스템에 대한 정보를 공개하고 해당 시스템의 기능 및 한계를 요약한 성명을 발표하도록 의무화하는 법안을 통과시켰습니다. 한편, 뉴욕시는 전년도 내에 편향성 감사(bias audit)를 거치지 않은 도구를 이용해 고용 결정을 위한 지원자 심사를 하는 것을 고용주에게 금지하고 있습니다.