전직 구글 엔지니어이자 영향력 있는 AI 연구원인 프랑수아 숄레(François Chollet)가 AI의 '인간 수준' 지능을 측정할 벤치마크를 개발하는 것을 돕기 위해 비영리재단(nonprofit)을 공동 설립합니다.
이 비영리재단인 ARC Prize Foundation은 전 세일즈포스 엔지니어링 디렉터이자 AI 제품 스튜디오인 Leverage의 설립자인 그레그 카므라트(Greg Kamradt)가 이끌게 됩니다. 카므라트는 재단의 회장이자 이사회 멤버 역할을 맡을 예정입니다.
ARC Prize Foundation의 모금 활동은 1월 하순에 시작될 예정입니다.
숄레는 비영리재단 웹사이트에 올린 게시물에서 "우리는 인공 일반 지능(artificial general intelligence, AGI)을 목표로 하는 유용한 북극성 역할을 하는 정식 비영리재단으로 성장하고 있습니다"라고 썼습니다. (AGI는 모호한 개념이지만, 일반적으로 인간이 수행할 수 있는 대부분의 작업을 수행할 수 있는 AI를 의미하는 것으로 통용됩니다.) 그는 또한 "기본적인 인간의 능력 차이를 줄여 가면서 발전을 촉진하고자 노력하고 있습니다"라고 덧붙였습니다.
ARC Prize Foundation은 숄레가 개발한 ARC-AGI라는 테스트를 확장할 계획입니다. ARC-AGI는 AI 시스템이 훈련된 데이터 범위를 넘어 새로운 기술을 얼마나 효율적으로 습득할 수 있는지 평가하는 테스트입니다. 이 테스트는 AI가 다양한 색상의 사각형 세트에서 올바른 '정답' 그리드를 생성해야 하는 퍼즐 형태의 문제들로 구성되어 있으며, AI가 이전에 접하지 못한 새로운 문제에 적응하도록 강제하도록 설계되었습니다.
숄레는 2019년, 'Abstract and Reasoning Corpus for Artificial General Intelligence(AGI를 위한 추상 및 추론 코퍼스)'의 약자인 ARC-AGI를 소개한 바 있습니다. 많은 AI 시스템이 수학 올림피아드 시험을 만점 받거나 박사 수준 문제의 잠재적 해답을 도출해낼 수 있습니다. 그러나 올해까지 최고 성능을 기록한 AI가 ARC-AGI의 모든 과제 중 3분의 1도 해결하지 못했습니다.
숄레는 같은 게시물에서 "대부분의 최첨단 AI 벤치마크와 달리, 우리는 초인적인 시험 문제를 통해 AI의 위험성을 측정하려는 것이 아닙니다. 향후 버전의 ARC-AGI 벤치마크는 인간의 능력 격차를 0에 가깝게 줄이는 데 중점을 둘 것입니다"라고 밝혔습니다.
지난 6월, 숄레와 자피어(Zapier) 공동 창업자 마이크 크누프(Mike Knoop)는 ARC-AGI를 뛰어넘을 수 있는 AI를 개발하는 대회(competition)를 개최했습니다. OpenAI의 미공개 모델이 최초로 기준 점수를 달성했으나, 이는 엄청난 양의 컴퓨팅 파워를 투입하여 가능했습니다.
숄레는 ARC-AGI에 결함이 있다는 점을 명확히 했습니다. 즉, 많은 모델이 순전히 컴퓨팅 파워(brute-force)로 높은 점수를 얻을 수 있었으며, o3가 인간 수준의 지능을 갖추고 있다고 보지 않는다는 것입니다.
숄레는 지난 12월 성명에서 "초기 데이터 분석에 따르면, 다가오는 [ARC-AGI의 후속] 벤치마크도 o3에게 여전히 상당한 도전이 될 것이며, 높은 컴퓨팅 파워를 동원하더라도 점수가 30% 미만으로 떨어질 수 있습니다 (반면 스마트한 인간은 훈련 없이도 95% 이상을 기록할 수 있습니다)"라고 말했습니다. 그는 "인공 일반 지능이 도래했다는 것은, 일반 인간에게는 쉽지만 AI에게는 어려운 과제를 만드는 행위 자체가 불가능해졌을 때 알게 될 것입니다"라고 덧붙였습니다.
이 계획에 따르면, 비영리재단은 새로운 대회와 함께 차세대 ARC-AGI 벤치마크를 '1분기(Q1)'에 출시할 예정이며, ARC-AGI의 3판을 설계하는 작업에도 착수할 것입니다.
한편, ARC Prize Foundation이 AGI 달성을 목표로 하는 벤치마크로서 ARC-AGI를 과대 포장했다는 비판에 어떻게 대응할지는 주목됩니다. AGI의 정의 자체가 현재 뜨거운 논쟁거리이며, 한 OpenAI 직원은 최근 AGI를 "대부분의 작업에서 대부분의 인간보다 뛰어난 AI"로 정의할 경우 이미 "달성되었다"고 주장하기도 했습니다.
흥미롭게도 OpenAI CEO 샘 올트만은 12월에 회사 차원에서 미래 벤치마크 구축을 위해 ARC-AGI 팀과 협력할 계획임을 밝힌 바 있습니다. 오늘 발표에서 숄레는 가능한 파트너십에 대한 구체적인 업데이트는 제공하지 않았습니다.
다만, ARC Prize Foundation은 X에 연속 게시물을 통해 AGI의 발전과 평가를 심화하기 위해 "학술 네트워크"를 구축하고, 산업용 AGI 벤치마크 공동 작업을 위해 "최첨단 AI 연구소 파트너십 연합"을 설립할 것이라고 밝혔습니다.