엔비디아는 로봇공학 및 자율 주행차 등 실제 세계를 인지하고 상호작용하는 '물리적 AI(physical AI)'의 핵심 기술 기반을 구축하기 위해 노력하는 가운데, 월요일 새로운 인프라와 AI 모델을 발표했습니다.
반도체 대기업 엔비디아는 캘리포니아 산디에고에서 개최된 NeurIPS AI 컨퍼런스에서 자율 주행 연구를 위한 개방형 추론 비전 언어 모델(open reasoning vision language model)인 Alpamayo-R1을 공개했습니다. 엔비디아는 이 모델이 자율 주행에 초점을 맞춘 최초의 비전 언어 액션 모델이라고 주장합니다. 비전 언어 모델은 텍스트와 이미지를 동시에 처리할 수 있어, 차량이 주변 환경을 "보고" 그 인지 내용을 바탕으로 의사결정을 내릴 수 있도록 돕습니다.
새로운 모델은 엔비디아의 추론 모델인 Cosmos-Reason 모델을 기반으로 하며, 이 모델은 응답을 하기 전에 스스로 의사결정 과정을 추론(think through)하는 능력을 갖추고 있습니다. 엔비디아는 원래 2025년 1월에 Cosmos 모델 제품군을 공개했으며, 이후 추가 모델들이 8월에 발표되었습니다.
엔비디아는 블로그 게시물을 통해, Alpamayo-R1과 같은 기술이 정의된 구역 내에서 특정 조건 하에 완전히 자율적인 주행(Level 4 autonomous driving)을 목표로 하는 기업들에게 필수적임을 밝혔습니다. 나아가 엔비디아는 이러한 추론 모델이 자율 주행 차량에 인간과 유사하게 미묘한 운전 결정에 접근할 수 있는 "상식(common sense)" 능력을 부여할 것이라 기대하고 있습니다.
이 새로운 모델은 GitHub와 Hugging Face에서 이용 가능합니다.
엔비디아는 새로운 비전 모델과 더불어, 개발자들이 특정 사용 사례에 맞추어 Cosmos 모델을 더 효율적으로 사용하고 훈련할 수 있도록 돕는 단계별 가이드, 추론 리소스, 그리고 사후 학습 워크플로우를 GitHub에 통합 제공했습니다. 이 자료들은 통칭 'Cosmos Cookbook'으로, 데이터 큐레이션, 합성 데이터 생성, 모델 평가 등의 과정을 다룹니다.
이러한 발표는 엔비디아가 첨단 AI GPU 시장을 확장하는 새로운 영역인 물리적 AI를 전속력으로 추진하는 시점에 이루어졌습니다.
엔비디아의 공동 창업자이자 CEO인 젠슨 황(Jensen Huang)은 반복적으로 "AI의 다음 물결은 물리적 AI"라고 역설해 왔습니다. 엔비디아 수석 과학자인 빌 대리(Bill Dally) 또한 여름 동안 TechCrunch와의 인터뷰에서 로보틱스 분야의 물리적 AI를 강조하며 이러한 흐름을 뒷받침했습니다.
대리는 당시 "궁극적으로 로봇은 세상에서 거대한 주역이 될 것이며, 우리는 본질적으로 모든 로봇의 두뇌를 만드는 것을 목표로 합니다"라며 "이를 위해서는 핵심 기술 개발을 시작해야 합니다"라고 말했습니다.