마이크로소프트는 자사 클라우드 AI 제품의 안전장치(safety guardrails)를 의도적으로 우회하는 도구를 개발하고 사용했다고 주장하는 그룹을 상대로 법적 조치를 취했습니다.
회사에 따르면, 지난 12월 미국 버지니아 동부 연방지방법원에 제기된 소장에 의하면, 10명의 신원 미상의 피고들이 도난당한 고객 자격 증명(credentials)과 맞춤형 소프트웨어를 이용해 Azure OpenAI Service에 침입한 것으로 알려졌습니다. Azure OpenAI Service는 ChatGPT를 개발한 OpenAI의 기술을 기반으로 하는 마이크로소프트의 완전 관리형 서비스입니다.
소장에서 마이크로소프트는 피고들—소장에서는 단순히 "Does"라고 지칭하는 법적 가명—이 컴퓨터 사기 및 남용법(Computer Fraud and Abuse Act), 디지털 밀레니엄 저작권법(Digital Millennium Copyright Act), 그리고 연방 조직범죄법(federal racketeering law)을 위반했다고 비난했습니다. 구체적으로 피고들이 "공격적이거나 유해하며 불법적인 콘텐츠"를 생성할 목적으로 마이크로소프트의 소프트웨어와 서버에 불법적으로 접근하고 이용했다고 주장합니다. 다만, 소장에는 어떤 악성 콘텐츠가 생성되었는지에 대한 구체적인 세부 사항은 포함되어 있지 않습니다.
마이크로소프트는 금지 명령(injunctive relief)과 "기타 형평법상 구제", 그리고 손해배상을 요구하고 있습니다.
소장에 따르면, 마이크로소프트는 2024년 7월에 Azure OpenAI Service 자격 증명을 가진 고객들, 즉 앱이나 사용자를 인증하는 데 사용되는 고유 문자열인 API 키가 해당 서비스의 허용 사용 정책을 위반하는 콘텐츠 생성에 사용되고 있음을 발견했습니다. 이후 조사 결과, 해당 API 키들이 비용을 지불하는 고객들로부터 도난당했음을 소장에서 밝혔습니다.
마이크로소프트의 소장에는 "피고들이 본 소장에서 설명된 위법 행위를 실행하는 데 사용된 모든 API 키를 확보한 정확한 방식은 알려져 있지 않지만, 피고들은 여러 마이크로소프트 고객들로부터 API 키를 탈취할 수 있게 해주는 체계적인 API 키 절도 행위에 가담한 것으로 보인다"고 명시되어 있습니다.
마이크로소프트는 피고들이 미국 기반 고객이 소유한 도난당한 Azure OpenAI Service API 키를 이용하여 "해킹-서비스(hacking-as-a-service)"를 구축했다고 주장합니다. 소장에 따르면, 이 계획을 실행하기 위해 피고들은 de3u라는 클라이언트 측 도구를 제작했을 뿐만 아니라, de3u에서 마이크로소프트 시스템으로 통신을 처리하고 라우팅하는 소프트웨어까지 만들었습니다.
마이크로소프트는 de3u를 통해 사용자들이 OpenAI 모델 중 하나인 DALL-E를 사용하여 이미지를 생성할 때 도난당한 API 키를 활용할 수 있도록 했으며, 사용자가 직접 코드를 작성할 필요조차 없었다고 주장합니다. 또한, 소장에는 de3u가 Azure OpenAI Service가 이미지 생성에 사용되는 프롬프트를 수정하는 것을 막으려 시도했다고 명시되어 있습니다. 이는 가령 텍스트 프롬프트에 마이크로소프트의 콘텐츠 필터링 시스템이 작동하는 단어가 포함된 경우 발생할 수 있는 상황입니다.
(참고: 소장에 포함된 De3u 도구 스크린샷과 마이크로소프트 소유의 GitHub에 호스팅되었던 de3u 프로젝트 코드를 담은 저장소는 현재 접근 불가능합니다.)
소장에는 "이러한 기능들은 피고들이 Azure OpenAI 서비스에 불법적으로 프로그램 방식으로 API에 접근한 것과 결합되어, 마이크로소프트의 콘텐츠 및 오용 방지 조치를 우회하는 수단을 역설계하는 것을 가능하게 했다"고 적혀 있습니다. 또한 "피고들은 인지적이고 의도적으로 무단으로 Azure OpenAI Service의 보호된 컴퓨터에 접근하여 손해와 손실을 초래했다"고 명시했습니다.
별도의 블로그 게시물을 통해 마이크로소프트는 법원이 피고들의 운영에 "중요한" 웹사이트를 압수하도록 승인했으며, 이를 통해 회사는 증거를 수집하고, 피고들이 주장하는 서비스의 수익화 구조를 파악하며, 발견되는 추가 기술 인프라를 차단할 수 있게 되었다고 밝혔습니다.
마이크로소프트는 또한 자체적으로 대응책을 마련했으며(구체적으로 명시하지 않음), 관찰된 활동을 겨냥하여 Azure OpenAI Service에 "추가 안전 완화 조치"를 적용했다고 덧붙였습니다.