AI 선구자 레이 피(Fei-Fei Li)가 설립한 이 스타트업은 단일 이미지로부터 비디오 게임 같은 3D 장면을 생성하는 AI 시스템을 최초로 공개했습니다.
이 시스템은 사진을 3D 모델과 환경으로 변환할 수 있게 합니다. World Labs의 장면들이 특별한 이유는 상호작용적이며 수정 가능하다는 점입니다.
World Labs는 블로그 게시물을 통해 "[저희 기술]를 사용하면 어떤 이미지라도 내부로 들어가 3D로 탐험할 수 있습니다."라며, "입력 이미지 외의 모든 것이 생성됩니다."라고 설명했습니다.
World Labs의 시스템은 이미지를 상호작용적이고 탐험 가능한 3D 장면으로 변환합니다.
World Labs 웹사이트의 데모에서는 키보드와 마우스만 있으면 누구나 이 AI 생성 장면들을 탐험할 수 있으며, 시각적으로 매우 인상적이지만 다소 만화 같은 느낌을 줍니다. 이 장면들은 브라우저에서 실시간으로 렌더링되며, 조절 가능한 시뮬레이션 심도(Depth of Field, DoF)를 갖춘 제어 카메라가 특징입니다. DoF 효과가 강할수록 배경 물체가 더 흐릿하게 처리됩니다.
World Labs의 시스템은 현재 떠오르고 있는 AI 분야인 "월드 모델(world models)"의 한 예시입니다. 이러한 모델들은 게임이나 3D 환경을 시뮬레이션할 수 있지만, 종종 아티팩트(artifacting)나 일관성 문제가 발생합니다. 예를 들어, 스타트업 Decart의 마인크래프트를 시뮬레이션하는 월드 모델은 해상도가 낮고 레벨의 구조를 빠르게 "잊어버리는" 경향이 있습니다.
반면, World Labs의 접근 방식은 일단 생성된 장면의 일관성을 유지하고 기본적인 물리 법칙을 따르도록 보장합니다. 즉, 견고함과 깊이감이 느껴집니다.
또한, World Labs의 시스템은 객체의 색상 변경, 배경에 동적 조명 적용과 같은 상호작용적 효과와 애니메이션을 장면에 추가할 수 있습니다.
(World Labs 시스템으로 생성된 장면 예시.)
World Labs는 "대부분의 생성형 AI 도구는 이미지나 비디오 같은 2D 콘텐츠를 제작합니다. 3D로 생성하는 것은 제어력과 일관성을 개선하기 때문에, 영화, 게임, 시뮬레이터 등 우리의 물리적 세계를 담아내는 모든 디지털 표현 방식의 제작 방식을 변화시킬 것입니다."라고 밝혔습니다.
물론 아직 개선할 여지는 분명히 존재합니다. World Labs의 장면들은 완벽하게 탐험 가능한 영역이 아니며, 사용자의 움직임은 좁은 영역으로 제한됩니다. (이 영역 밖으로 이동하려 하면 경계에 부딪힙니다.) 또한, 때때로 물체들이 부자연스럽게 융합되는 등 렌더링 오류가 발생하기도 합니다.
그러나 World Labs는 현재 단계가 단지 "초기 미리보기(early preview)"에 불과하다고 전합니다.
이 스타트업은 블로그를 통해 "저희는 생성되는 세계의 크기와 충실도를 높이는 데, 그리고 사용자가 상호작용할 수 있는 새로운 방법을 실험하는 데 주력하고 있습니다."라고 밝혔습니다.
(World Labs 사이트 데모 일부. 효과는 장면에 실시간으로 적용 가능합니다.)
World Labs는 올해 초 출범하여 Andreessen Horowitz (a16z), Ashton Kutcher, Intel Capital, AMD Ventures, Eric Schmidt 등 여러 투자자들로부터 2억 3,000만 달러의 벤처 캐피털을 유치했습니다. 10억 달러 이상의 기업 가치를 평가받은 이 회사는 2025년까지 첫 제품 출시를 목표로 하고 있습니다.
상호작용적 장면 구현 외에도, World Labs는 아티스트, 디자이너, 개발자, 영화 제작자, 엔지니어 등 전문가들에게 유용할 수 있는 도구들을 구축할 계획이며, 비디오 게임 개발사부터 영화 스튜디오에 이르는 폭넓은 고객층을 목표로 하고 있습니다.
World Labs의 공동 창립자인 저스틴 존슨은 최근 a16z 팟캐스트 에피소드에서 "월드 모델은 이미지나 클립 수준을 넘어, 완전히 시뮬레이션되고 생생하며 상호작용적인 3D 세계를 제공할 수 있게 해줄 것"이라고 말했습니다.