최근 발표된 보고서에 따르면, AI 전문가인 레이 피리(Fei-Fei Li)가 공동 주도한 캘리포니아 기반 정책 그룹은 입법자들이 AI 규제 정책을 마련할 때 현재까지 세계적으로 "관찰되지 않은" AI 위험 요소들을 고려해야 한다고 제안했습니다.
화요일 공개된 이 41페이지 분량의 중간 보고서는 가빈 뉴섬 주지사가 캘리포니아의 논란이 많았던 AI 안전 법안 SB 1047을 거부한 후 조직된 노력의 일환으로, ‘캘리포니아 AI 프론티어 모델 공동 정책 워킹 그룹’에서 발간되었습니다. 뉴섬 주지사는 SB 1047이 미흡하다고 판단했음에도 불구하고, 지난해에는 입법자들에게 정보를 제공하기 위해 AI 위험에 대한 보다 포괄적인 평가가 필요하다는 점을 인정했습니다.
이 보고서에서 리(Li)는 공동 저자인 제니퍼 채이스(UC 버클리 컴퓨팅 대학 학장)와 마리아노-플로렌티노 쿠엘라르(캐네기 국제평화재단 회장)와 함께, OpenAI와 같은 프론티어 AI 연구소들이 무엇을 구축하고 있는지에 대한 투명성을 높이는 법률을 지지합니다. 이 보고서는 공개되기 전, 전 이념 스펙트럼에 걸친 산업 이해관계자들이 검토했습니다. 여기에는 튜링상 수상자 요슈아 벵기오와 같은 강력한 AI 안전 옹호자들뿐만 아니라, 데이터브릭스 공동 창업자 이온 스토이카와 같이 SB 1047에 반대했던 인사들까지 포함되었습니다.
보고서에 따르면, AI 시스템이 제기하는 새로운 위험성으로 인해 AI 모델 개발자들은 자신들의 안전 테스트, 데이터 확보 관행, 보안 조치에 대해 공개적으로 보고하도록 의무화하는 법률이 필요할 수 있습니다. 또한 보고서는 이러한 지표 및 기업 정책에 대한 제3자 평가 기준을 강화하는 것과 더불어, AI 기업 직원 및 계약자에 대한 내부 고발자 보호를 확대할 것을 주장합니다.
리 외 연구진은 AI가 사이버 공격을 수행하거나, 생물학 무기를 개발하거나, 기타 "극단적인" 위협을 초래할 잠재력에 대해서는 아직 "결정적 증거 수준(inconclusive level of evidence)"의 증거가 부족하다고 설명합니다. 그러나 동시에 그들은 AI 정책이 현존하는 위험만을 다룰 것이 아니라, 충분한 안전장치 없이 발생할 수 있는 미래의 결과까지 예측할 수 있어야 한다고 주장합니다.
보고서는 "예를 들어, 핵무기가 폭발하는 현상을 관찰할 필요가 없더라도, 그것이 광범위한 피해를 일으킬 수 있고 실제로 일으킬 것이라고 신뢰성 있게 예측할 수 있다"고 지적합니다. 이어 "만약 가장 극단적인 위험에 대해 추측하는 이들이 옳다면—그리고 그들이 맞을지 여부는 불확실하다면—현재 시점에서 프론티어 AI에 대한 부작위(不作為)의 이해관계와 비용은 극도로 높은 수준이다"라고 덧붙였습니다.
보고서는 AI 모델 개발 투명성을 높이기 위한 이중 접근 방식, 즉 '신뢰하되 검증(trust but verify)'을 권고합니다. 보고서에 따르면, AI 모델 개발자와 그 직원들에게 내부 안전 테스트와 같은 대중적 관심 영역에 대해 보고할 수 있는 통로를 제공함과 동시에, 이러한 테스트 결과를 제3자 검증을 위해 제출하도록 요구해야 합니다.
보고서 자체는 특정 법안을 지지하지는 않지만, 최종 버전이 2025년 6월에 나올 예정이며, AI 정책 논의의 양쪽 전문가들로부터 좋은 평가를 받고 있습니다.
SB 1047을 비판했던 조지 메이슨 대학교의 AI 연구 연구원 딘 볼(Dean Ball)은 X(구 트위터)를 통해 이 보고서가 캘리포니아 AI 안전 규제에 있어 "유망한 단계"라고 말했습니다. 지난해 SB 1047을 발의한 캘리포니아 주 의원 스콧 위너(Scott Wiener) 역시 이를 AI 안전 옹호자들에게도 의미 있는 성과라고 평가했습니다. 위너는 보도 자료를 통해 이 보고서가 "2024년 입법부에서 시작된 AI 거버넌스에 관한 시급한 논의"를 바탕으로 구축되었다고 밝혔습니다.
이 보고서는 SB 1047 및 위너가 추후 발의한 법안 SB 53의 여러 구성 요소와 맥을 같이하는 것으로 보입니다. 예를 들어, AI 모델 개발자들에게 안전성 테스트 결과를 보고하도록 요구하는 것이 그러합니다. 더 넓은 관점에서 볼 때, 이는 지난 1년간 동력을 잃었던 AI 안전 분야 관계자들에게 매우 절실하게 필요한 진전이라고 해석됩니다.