비영리 인공지능(AI) 연구 기관인 Epoch AI의 분석에 따르면, AI 산업이 추론(reasoning) AI 모델을 통해 더 이상 급격한 성능 향상을 이끌어내기 어려울 수 있다는 내용이 제시되었습니다. 보고서에 따르면, 추론 모델의 발전 속도는 불과 1년 안에 둔화될 수 있습니다.
OpenAI 등의 추론 모델들은 최근 몇 달간 AI 벤치마크, 특히 수학 및 코딩 능력을 측정하는 영역에서 상당한 성능 개선을 보여주었습니다. 이러한 모델들은 문제 해결에 더 많은 컴퓨팅 파워를 투입할 수 있어 성능 향상을 기대할 수 있지만, 단점으로는 기존 모델 대비 작업 완료 시간이 더 오래 걸린다는 점을 안고 있습니다.
추론 모델은 기본적으로 대량의 데이터를 이용해 일반적인(conventional) 모델을 훈련시킨 후, '강화 학습(reinforcement learning)'이라는 기술을 적용하여 모델이 어려운 문제에 대한 해결책을 찾는 과정에서 효과적인 '피드백'을 받도록 개발됩니다.
Epoch의 분석에 따르면, 현재까지 OpenAI와 같은 선두 AI 연구소들은 추론 모델 훈련 과정 중 강화 학습 단계에 막대한 규모의 컴퓨팅 파워를 투입하지 않은 것으로 알려졌습니다.
하지만 상황이 변화하고 있습니다. OpenAI는 o3를 훈련시키는 데 이전 모델인 o1보다 약 10배 더 많은 컴퓨팅 파워가 사용되었다고 밝힌 바 있으며, Epoch은 이 컴퓨팅 파워의 대부분이 강화 학습에 할당되었을 것으로 추측합니다. 또한 OpenAI 연구원 댄 로버츠(Dan Roberts)는 회사의 향후 계획에 컴퓨팅 파워를 초기 모델 훈련 단계보다 훨씬 더 많이 활용하여 강화 학습을 우선시하는 내용이 포함되어 있다고 최근 공개했습니다.
그럼에도 불구하고, Epoch에 따르면 강화 학습 단계에 적용할 수 있는 컴퓨팅 파워에는 여전히 상한선이 존재합니다.
Epoch AI의 분석에 따르면, 추론 모델 훈련의 규모 확장이 둔화될 가능성이 있습니다.
분석을 작성한 Epoch의 분석가 조시 유(Josh You)는 표준 AI 모델 훈련의 성능 향상은 현재 매년 4배씩 증가하는 반면, 강화 학습의 성능 향상은 3~5개월마다 10배로 성장하고 있다고 설명합니다. 그는 "추론 훈련의 발전 속도는 2026년경 전체 최첨단 수준과 수렴할 것"이라고 덧붙입니다.
Epoch의 분석은 여러 가정을 기반으로 하며, 일부는 AI 기업 임원들의 공개 발언을 인용한 것입니다. 그러나 이 보고서는 컴퓨팅 능력 외적인 이유, 예를 들어 연구를 위한 높은 간접 비용(overhead costs) 등이 추론 모델의 규모 확장을 어렵게 만들 수 있다는 점을 지적합니다.
유는 "연구에 지속적으로 필요한 간접 비용이 발생한다면, 추론 모델은 예상만큼 확장되지 못할 수도 있다"고 주장합니다. 이어 "빠른 컴퓨팅 규모 확장은 추론 모델 발전의 잠재적으로 매우 중요한 요소이므로, 이 부분을 면밀히 추적할 가치가 있다"고 강조합니다.
이러한 추론 모델이 가까운 시일 내에 근본적인 한계에 도달할 수 있다는 징후는, 이러한 모델 개발에 막대한 자원을 투자해 온 AI 업계에 큰 우려를 안길 수 있습니다. 이미 연구에 따르면, 구동 비용이 매우 많이 드는 추론 모델은 특정 기존 모델보다 환각(hallucinate) 현상을 더 자주 보이는 경향과 같은 심각한 결함을 내포하고 있음이 밝혀지기도 했습니다.