세계 모델 출시 경쟁이 치열하게 전개되는 가운데, AI 이미지 및 비디오 생성 기업 런웨이(Runway)가 첫 번째 모델을 공개하며 급증하는 스타트업 및 기술 기업들과 어깨를 나란히 했습니다. 런웨이는 이 모델을 GWM-1으로 명명했으며, 이 모델은 프레임 단위 예측(frame-by-frame prediction)을 통해 물리 법칙과 세상이 시간에 따라 실제로 어떻게 작동하는지를 이해하는 시뮬레이션을 생성한다고 밝혔습니다.
세계 모델이란 세상이 작동하는 방식을 내부적으로 시뮬레이션하며 학습하는 AI 시스템으로, 현실에서 발생 가능한 모든 시나리오에 대해 별도로 훈련할 필요 없이 추론하고, 계획하고, 행동할 수 있게 하는 것을 의미합니다.
런웨이는 지난달 초, 구글(Google)과 오픈AI(OpenAI) 모두를 능가하며 비디오 아레나(Video Arena) 리더보드에서 좋은 성적을 거둔 Gen 4.5 비디오 모델을 출시한 바 있습니다. 이에 런웨이는 자사의 GWM-1 세계 모델이 구글의 Genie-3나 다른 경쟁 모델보다 더 '범용적(general)'이라고 강조하며, 이 모델이 로보틱스나 생명과학과 같은 다양한 영역에서 에이전트(agent)를 훈련하는 시뮬레이션 생성이 가능하다는 점을 내세우고 있습니다.
런웨이의 CTO인 아나스타시스 게르마니디스(Anastasis Germanidis)는 라이브 스트리밍에서 "세계 모델을 구축하기 위해서는 먼저 뛰어난 비디오 모델이 필요했습니다. 우리는 모델에게 픽셀을 직접 예측하도록 가르치는 것이 일반 목적 시뮬레이션을 달성하는 가장 좋은 방법이라고 믿습니다. 충분한 규모와 적절한 데이터를 갖춘다면, 세상의 작동 원리에 대한 충분한 이해를 지닌 모델을 만들 수 있습니다"라고 말했습니다.
런웨이는 새로운 세계 모델에 GWM-Worlds, GWM-Robotics, GWM-Avatars라는 세부 버전(slants)을 출시했습니다.
GWM-Worlds는 사용자가 대화형 프로젝트를 제작할 수 있는 모델 앱입니다. 사용자가 프롬프트나 이미지 참조를 통해 장면을 설정하면, 모델은 기하학, 물리, 조명에 대한 이해를 바탕으로 세상을 생성합니다. 런웨이는 이 시뮬레이션이 24fps와 720p 해상도로 구동된다고 전했습니다. 또한 Worlds는 게임에 유용할 뿐만 아니라, 에이전트가 실제 물리 세계에서 어떻게 탐색하고 행동해야 하는지를 학습시키는 데도 매우 적합합니다.
GWM-Robotics를 통해서는 변화하는 날씨 조건이나 장애물 같은 새로운 매개변수(parameter)가 추가된 합성 데이터를 활용하는 것이 목표입니다. 런웨이는 이 방법을 통해 로봇이 다양한 시나리오에서 어떤 조건으로, 어떻게 정책이나 지침을 위반할 수 있는지까지 파악할 수 있을 것이라고 설명했습니다.
한편, 런웨이는 GWM-Avatars를 구축하여 인간 행동을 시뮬레이션하는 사실적인 아바타도 개발하고 있습니다. D-ID와 같은 기업들 역시 커뮤니케이션 및 훈련 영역에서 실제와 유사하게 작동하는 인간 아바타 제작에 참여해왔습니다.
회사는 기술적으로 Worlds, Robotics, Avatars가 별개의 모델이지만, 장기적으로는 이 모든 기능을 하나의 통합 모델로 합칠 계획이라고 덧붙였습니다.
새로운 세계 모델 외에도, 런웨이는 지난달 초에 출시된 기반 모델인 Gen 4.5 모델을 업데이트하고 있습니다. 이번 업데이트를 통해 모델에 네이티브 오디오 및 장편 다중 샷 생성 기능이 추가되었습니다. 런웨이는 이 모델로 사용자는 캐릭터 일관성, 네이티브 대화, 배경 오디오, 그리고 다양한 각도의 복합적인 장면을 포함하는 1분짜리 비디오를 생성할 수 있다고 밝혔습니다. 또한, 기존 오디오 편집과 대화 추가도 가능하며, 원하는 길이의 다중 샷 비디오 편집 기능도 지원합니다.
이러한 Gen 4.5 업데이트는 런웨이를 이번 달 초에 출시된 경쟁사 클링(Kling)의 올인원 비디오 스위트와 유사한 수준으로 끌어올렸으며, 특히 네이티브 오디오와 다중 샷 스토리텔링 측면에서 두드러집니다. 이는 비디오 생성 모델들이 프로토타입 단계를 넘어 상용화 가능한 도구로 진화하고 있음을 시사합니다. 런웨이의 업데이트된 Gen 4.5 모델은 모든 유료 플랜 사용자에게 제공됩니다.
런웨이는 GWM-Robotics를 SDK 형태로 제공할 것이라고 발표했습니다. 아울러, GWM-Robotics와 GWM-Avatars의 활용과 관련하여 여러 로봇 공학 기업 및 산업체와 현재 활발히 논의 중이라고 덧붙였습니다.