Anthropic의 최신 플래그십 AI 모델인 Claude 3.7 Sonnet이 10^26 FLOPs 미만의 컴퓨팅 파워로 "수천만 달러(a few tens of millions of dollars)"에 훈련되었다는 내용입니다.
이는 화튼(Wharton) 교수인 이든 몰릭(Ethan Mollick)이 월요일 X(구 트위터) 게시물을 통해 Anthropic PR로부터 받은 설명을 전달한 것입니다. 몰릭 교수는 "Anthropic 측에서 Sonnet 3.7이 10^26 FLOPs 모델로 간주되지 않으며, 개발 비용이 수천만 달러에 달한다고 알려왔다"고 언급하며, "물론 미래 모델들은 훨씬 더 커질 것"이라고 덧붙였습니다.
TechCrunch가 확인을 위해 Anthropic에 문의했으나, 기사 작성 시점까지 답변을 받지 못했습니다.
만약 Claude 3.7 Sonnet이 관련 부대 비용을 제외하고도 훈련 비용이 단지 "수천만 달러"에 불과했다는 것이 사실이라면, 이는 최고 수준의 모델을 출시하는 비용이 상대적으로 저렴해지고 있다는 신호로 해석될 수 있습니다. 실제로 Sonnet의 전작인 Claude 3.5(2024년 가을 출시) 역시 Anthropic CEO 다리오 아모데이(Dario Amodei)가 최근 에세이에서 훈련 비용이 수천만 달러 수준이었다고 밝힌 바 있습니다.
이러한 비용은 2023년 최고 모델들의 훈련 비용과 비교했을 때 상당히 낮은 수준입니다. 샘 알트만(Sam Altman) OpenAI CEO에 따르면, GPT-4 모델을 개발하는 데 1억 달러(over $100 million) 이상이 지출된 바 있습니다. 반면, 스탠퍼드 연구(Stanford study)는 구글이 Gemini Ultra 모델을 훈련하는 데 2억 달러(close to $200 million)에 근접한 비용을 지출했다고 추정했습니다.
그럼에도 불구하고, 아모데이 CEO는 미래 AI 모델의 비용이 수십억 달러(billions of dollars)에 이를 것으로 예상합니다. 물론, 훈련 비용에는 안전성 테스트나 기초 연구와 같은 기타 작업이 포함되지 않습니다. 더욱이, AI 산업이 오랜 시간 동안 문제 해결을 수행하는 "추론(reasoning)" 모델을 채택하고 발전함에 따라, 모델 운영에 필요한 컴퓨팅 비용은 지속적으로 상승할 가능성이 높습니다.