OpenAI가 12월에 o3 '추론(reasoning)' AI 모델을 공개했을 당시, 이 회사는 고성능 AI를 검증하는 벤치마크인 ARC-AGI의 제작자들과 협력하여 o3의 역량을 선보였습니다. 그러나 몇 달이 지난 현재, 초기 공개 결과가 다소 과대평가된 것처럼 수정되었다는 분석이 나오고 있습니다.
최근 ARC-AGI를 관리하고 운영하는 Arc Prize Foundation은 o3의 근사 컴퓨팅 비용을 업데이트했습니다. 이 재단은 원래 테스트한 o3의 최고 성능 구성인 o3 high가 단일 ARC-AGI 문제 해결에 약 3,000달러가 소요된다고 추정했습니다. 하지만 재단은 현재 이 비용이 훨씬 높다고 재평가하여, 작업당 약 30,000달러에 달할 수 있다고 수정했습니다.
이러한 가격 조정은 아무리 정교한 AI 모델이라도 특정 작업을 수행하는 데 들어가는 비용이 초기 단계에서는 매우 막대할 수 있음을 보여주는 주목할 만한 사례입니다. 물론 OpenAI는 아직 o3의 공식 가격을 책정하거나 출시하지 않았습니다. 하지만 Arc Prize Foundation은 현재 OpenAI의 o1-pro 모델 가격 책정을 합리적인 대리 지표(proxy)로 간주하고 있습니다. (참고로 o1-pro는 OpenAI가 현재까지 가장 비싼 모델입니다.)
Arc Prize Foundation의 공동 설립자 중 한 명인 마이크 크눕(Mike Knoop)은 TechCrunch과의 인터뷰에서 "테스트 과정에서 사용된 컴퓨팅 양을 고려할 때, o1-pro가 실제 o3 비용과 더 근접한 비교점이라고 생각합니다"라고 언급했습니다. 이어 "하지만 이것은 여전히 대리 지표일 뿐이며, 공식 가격이 발표될 때까지 불확실성을 반영해 저희 리더보드에서 o3는 프리뷰(preview)로 표기해 두었습니다"라고 덧붙였습니다.
보고된 o3가 사용하는 막대한 컴퓨팅 자원 규모를 고려할 때, o3 high가 높은 비용을 책정받는 것도 납득이 됩니다. Arc Prize Foundation에 따르면, o3 high는 ARC-AGI를 처리하는 과정에서 o3의 가장 컴퓨팅 효율이 낮은 구성인 o3 low보다 172배 더 많은 컴퓨팅 자원을 사용했습니다.
한편, OpenAI가 기업 고객을 위해 도입을 검토 중인 고가 플랜에 대한 소문도 꾸준히 제기되었습니다. The Information은 3월 초에 이 회사가 소프트웨어 개발자 에이전트와 같은 전문 AI "에이전트"에 대해 월 최대 20,000달러까지 청구할 계획을 세울 수 있다고 보도한 바 있습니다.
일각에서는 OpenAI의 최고가 모델조차 일반적인 인간 계약직 또는 인력 비용보다 훨씬 낮을 것이라고 주장하기도 합니다. 그러나 AI 연구원 토비 오드(Toby Ord)가 X(구 트위터)에 게시한 의견처럼, 모델이 반드시 효율적이라고 볼 수는 없습니다. 일례로, o3 high는 ARC-AGI의 각 작업을 최고 점수로 완수하기 위해 1,024번의 시도가 필요했습니다.