엔비디아는 지난 분기 순이익이 190억 달러를 넘어섰다고 수요일 보고했지만, 이 수치만으로는 급속한 성장세를 이어갈 것이라는 투자자들의 우려를 불식시키기에는 역부족이었다. 이날 실적 발표에서 분석가들은 기술 기업들이 AI 모델을 개선하기 위해 새로운 방법을 도입할 경우 엔비디아가 어떤 위치에 있을지 젠슨 황(Jensen Huang) CEO에게 질문을 던졌다.
특히 OpenAI의 o1 모델의 핵심 원리인 '테스트 시간 스케일링(test-time scaling)' 방식이 자주 언급되었다. 이는 AI 모델이 질문에 대한 답변을 도출하는 과정에 더 많은 시간과 컴퓨팅 자원을 할당함으로써 더 나은 답변을 얻을 수 있다는 개념이다. 구체적으로는 사용자가 프롬프트 입력 후 엔터를 누른 뒤 발생하는 모든 과정, 즉 AI 추론(inference) 단계에 컴퓨팅 자원을 추가하는 방식이다.
엔비디아 CEO는 AI 모델 개발자들이 새로운 추론 방법론으로 전환하고 있는지, 그리고 엔비디아의 구형 칩들이 AI 추론 환경에서 어떻게 활용될 수 있는지에 대한 질문을 받았다.
황 CEO는 o1 및 테스트 시간 스케일링 방식 자체가 앞으로 엔비디아 비즈니스에서 더 큰 역할을 할 수 있다고 지적하며, 이를 "가장 흥미로운 발전(exciting developments) 중 하나"이자 "새로운 스케일링 법칙(scaling law)"으로 규정했다. 그는 엔비디아가 이러한 산업 변화에 잘 대비하고 있음을 투자자들에게 안심시키기 위해 노력했다.
이러한 엔비디아 CEO의 발언은 화요일 마이크로소프트 행사에서 사티아 나델라(Satya Nadella) CEO가 했던 말과 맥을 같이하는 내용이다. 즉, o1과 같은 방식이 AI 업계가 모델을 개선하는 새로운 패러다임이라는 점을 강조한 것이다.
이는 AI 추론에 더 큰 중점을 둔다는 점에서 칩 산업 전체에 매우 중요한 의미를 갖는다. 엔비디아 칩이 여전히 AI 모델 훈련(training) 분야의 '황금 표준'인 것은 맞지만, Groq, Cerebras 등 빠른 AI 추론 칩을 개발하는 자금력 있는 스타트업들이 부상하며 시장 경쟁이 심화될 가능성이 있다.
생성 모델의 개선 속도 둔화에 대한 최근 보고가 나오자, 황은 분석가들에게 AI 모델 개발자들이 여전히 사전 훈련(pretraining) 단계에서 컴퓨팅 자원과 데이터를 추가하며 모델을 개선하고 있다고 반박했다.
앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei) CEO 역시 샌프란시스코의 Cerebral Valley 정상회담에서 진행된 무대 인터뷰를 통해 모델 개발 둔화 현상을 감지하지 못했다고 언급했다.
황은 수요일 "파운데이션 모델 사전 훈련의 스케일링은 건재하며 계속되고 있다"고 강조하며, "이것은 근본적인 물리 법칙이 아닌 경험적 법칙임을 아시다시피, 증거는 계속 스케일링하고 있습니다. 다만, 우리가 배우고 있는 점은 이것만으로는 충분하지 않다는 것입니다"라고 덧붙였다.
이는 엔비디아 투자자들이 듣고 싶었을 내용이었다. 이 칩 제조사의 주가는 OpenAI, Google, Meta 등이 모델을 훈련하는 데 사용되는 AI 칩 덕분에 2024년 들어 이미 180% 이상 급등했기 때문이다. 하지만 Andreessen Horowitz 파트너들과 여러 AI 산업 전문가들은 이러한 방법론들이 이미 수확 체감 구간에 접어들기 시작했다고 지적한 바 있다.
황은 현재 엔비디아의 컴퓨팅 워크로드 대부분이 추론이 아닌 AI 모델의 사전 훈련 단계에 집중되어 있다고 언급하면서도, 이는 단순히 현재 AI 업계의 상황 때문이라고 설명했다. 그는 장기적으로는 더 많은 사람이 AI 모델을 구동하게 될 것이며, 이는 곧 엄청난 규모의 AI 추론을 의미할 것이라고 전망했다. 황은 엔비디아가 현존하는 세계 최대의 추론 플랫폼이며, 회사의 규모와 신뢰성이 스타트업들과 비교할 수 없는 압도적인 이점을 제공한다고 강조했다.
황은 마지막으로 "우리의 희망과 꿈은 세상이 엄청난 양의 추론(inference)을 하게 되는 미래이며, 그때야말로 AI가 진정으로 성공하는 순간"이라며, "모두가 CUDA와 엔비디아 아키텍처를 기반으로 혁신할 때 더 빠르게 혁신할 수 있다는 사실을 인지하고 있으며, 모든 것이 작동할 것이라는 믿음을 가지고 있다"고 역설했다.