메타의 CEO 마크 저커버그는 인공 일반 지능(AGI)—대략적으로 인간이 수행할 수 있는 모든 작업을 처리할 수 있는 AI—을 언젠가 공개적으로 이용 가능하게 할 것이라고 공언했습니다. 하지만 메타가 새롭게 발표한 정책 문서에 따르면, 자체적으로 개발한 매우 유능한 AI 시스템이라 할지라도 특정 시나리오에서는 공개하지 않을 수 있다고 시사합니다.
메타가 '프런티어 AI 프레임워크(Frontier AI Framework)'라고 명명한 이 문서에는 회사가 공개하기에 너무 위험하다고 판단하는 두 가지 유형의 AI 시스템, 즉 '고위험(high risk)' 시스템과 '중대한 위험(critical risk)' 시스템이 명시되어 있습니다.
메타의 정의에 따르면, 고위험 시스템과 중대한 위험 시스템 모두 사이버 보안, 화학, 생물학 공격을 지원할 수 있는 능력을 갖추고 있다는 공통점이 있습니다. 두 시스템의 차이점은 중대한 위험 시스템이 "제안된 배포 환경에서 완화할 수 없는 파국적인 결과(catastrophic outcome)"를 초래할 수 있다는 점입니다. 반면 고위험 시스템은 공격을 용이하게 만들 수는 있지만, 중대한 위험 시스템만큼 확실하고 안정적으로는 작동하지 않을 수 있습니다.
문서가 언급하는 공격 유형에는 '모범 사례로 보호되는 기업 규모 환경의 자동화된 엔드투엔드 침해'나 '고충격 생물학 무기의 확산' 등이 예시로 제시됩니다. 메타는 문서에 나열된 가능한 재앙 목록이 결코 포괄적이지 않음을 인정하면서도, 강력한 AI 시스템을 공개할 경우 발생할 가능성이 높고 메타가 "가장 시급하다"고 판단하는 위험들을 포함하고 있습니다.
다소 예상 밖인 점은, 메타는 시스템 위험도를 단일한 경험적 테스트에 기반하여 분류하는 것이 아니라, "선임급 의사결정권자"의 검토를 거치는 내부 및 외부 연구자들의 의견을 토대로 한다는 점입니다. 메타는 그 이유로 평가 과학이 시스템의 위험도를 판단할 수 있는 "충분히 강력하고 명확한 정량적 지표를 제공한다고 믿지 않기" 때문이라고 설명합니다.
만약 메타가 시스템을 고위험으로 판단할 경우, 회사 내부적으로 시스템 접근을 제한하며, 위험을 "중간 수준으로 낮추기 위한" 완화 조치를 구현할 때까지 외부에 공개하지 않을 것이라고 밝혔습니다. 반면, 시스템이 중대한 위험으로 분류되면, 메타는 시스템 유출을 막기 위한 비공개 보안 보호 조치를 시행하고, 시스템을 덜 위험하게 만들 수 있을 때까지 개발을 중단할 계획입니다.
메타가 변화하는 AI 환경에 맞춰 지속적으로 발전시킬 것이라고 밝힌 이 프런티어 AI 프레임워크는, 이번 달 프랑스 AI 액션 서밋을 앞두고 메타가 이전에 출판을 약속했던 내용입니다. 이는 메타의 시스템 개발에 대한 '개방적' 접근 방식에 제기된 비판에 대한 대응책으로 풀이됩니다. 메타는 자사 AI 기술을 공개적으로 이용 가능하게 하는 전략(이는 일반적으로 통용되는 '오픈 소스' 정의와는 다릅니다)을 채택했는데, 이는 API를 통해 시스템 접근을 제한하는 OpenAI 등과 대조적입니다.
메타에게 있어 이러한 개방적 배포 접근 방식은 양날의 검이 되었습니다. 메타의 AI 모델군인 Llama는 수억 건의 다운로드 기록을 세웠습니다. 그러나 Llama는 최소한 한 명의 미국 적대국에 의해 방어 챗봇 개발에 사용된 사례가 보고된 바 있습니다.
메타는 이 프런티어 AI 프레임워크를 출판하면서, 자사의 개방형 AI 전략을 중국의 AI 기업인 딥시크(DeepSeek)의 것과 대비시키려는 의도도 포함하고 있을 수 있습니다. 딥시크 역시 시스템을 공개적으로 이용할 수 있도록 제공하지만, 이 회사의 AI는 안전장치가 미비하여 유해하고 독성 있는 결과물을 생성하도록 쉽게 유도될 수 있다는 점에서 차이를 보입니다.
메타는 문서에서 다음과 같이 명시했습니다. "고급 AI를 개발하고 배포하는 방식에 대한 결정을 내릴 때 이점과 위험을 모두 고려함으로써, 해당 기술이 사회에 기여하는 이점을 보존하는 동시에 적절한 수준의 위험을 유지하는 방식으로 기술을 사회에 전달하는 것이 가능하다고 믿습니다."
[출처:] https://techcrunch.com/2025/02/03/meta-says-it-may-stop-development-of-ai-systems-it-deems-too-risky