한 스타트업이 창작자들이 풍경, 캐릭터, 조명, 움직임을 완벽하게 통제할 수 있는 영화 같은 가상 세계를 생성할 수 있도록 하는 AI 시스템을 훈련시키고 있습니다. 그 방법은 무엇일까요? 인간들에게 카메라를 등에 메고 전 세계를 직접 하이킹하며 돌아다니게 하는 것입니다.
자율주행 분야의 선구자인 올리버 카메론(Oliver Cameron)과 제프 호크(Jeff Hawke)(카메론은 전 크루즈(Cruise)의 VP of Product를 역임)가 설립한 오디세이(Odyssey)는 사람이 접근 가능한 거의 모든 장소에서 데이터를 수집할 수 있는 "고급 카메라 캡처 시스템"을 개발했다고 밝히며, 무게는 약 25파운드(약 11kg)라고 설명했습니다. 이 시스템은 카메라 6대, 라이다(lidar) 센서 2대, 그리고 관성 측정 장치(inertial measurement unit)를 탑재하고 있습니다.
구글의 스트리트 뷰 트레커(Google’s Street View Trekker)와 유사한 이 시스템은 주변 환경을 "3.5K 해상도"로 360도 촬영할 수 있으며, 여기에 "물리적으로 정확한(physics-accurate)" 깊이 정보 메타데이터가 첨부됩니다.
그렇다면 이러한 데이터 수집의 목적은 무엇일까요? 오디세이는 이 시스템을 통해 수집한 데이터를 알고리즘에 입력하여 "우리 세상을 구성하는 미세한 디테일"을 포착한다고 합니다. 본질적으로 이 회사는 메타(Meta)의 프로젝트와 같이, 실제 세계의 장면(예: 숲, 동굴, 오솔길, 해변, 빙하, 공원, 건물 등)에 대한 디지털 재구축 데이터를 생성하고 있습니다.
(오디세이가 재구성한 장면의 예시)
다만, 이러한 재구축 데이터가 어떻게 창작자를 위한 더 나은 생성 도구로 연결될지는 아직 완전히 명확하지 않습니다. 카메론과 호크는 이전에 오디세이가 객체 기하학, 조명, 움직임을 포함한 다양한 시각적 디테일 레이어들을 생성하고, 이를 단일 가상의 "세계(world)"로 결합하여 원하는 장면을 창조하는 여러 생성형 AI 모델을 개발했다고 밝힌 바 있습니다.
그럼에도 불구하고, 현존하는 최고의 "월드 모델(world models)"조차도 한계가 있으며, 오디세이는 이 모든 문제를 해결했다고 주장하지는 않습니다. 그럼에도 불구하고 회사는 사업 확장을 위해 자금을 확보하고 있습니다.
오디세이는 오늘 EQT Ventures가 주도하고 GV와 Air Street Capital이 참여한 시리즈 A 펀딩 라운드에서 1,800만 달러를 유치했다고 발표했습니다. 이로써 회사의 총 유치 자금은 2,700만 달러에 달하게 되었으며, 이 신규 자금은 캘리포니아 지역에서 오디세이의 데이터 수집 운영을 확장하는 데 사용될 계획입니다.
오디세이는 향후 데이터 수집 영역을 다른 주와 국가로 확장할 계획입니다. (이 과정에서 사생활 보호 조치가 마련되기를 기대해 봅니다. (예를 들어, 구글 스트리트 뷰 팀은 공공장소의 이미지를 촬영했다는 이유로 행인들의 사생활 침해 문제에 휩싸여 규제 당국의 표적이 된 사례가 있습니다.))
이 회사는 자사 블로그 게시물을 통해 "생성 모델이 마치 살아있는 듯한 할리우드급의 세계를 구현하려면, 방대한 양의 풍부한 멀티모달(multimodal) 실제 세계 3D 데이터로 훈련하는 것이 필수적이라고 생각합니다. 우리는 고급 생성 월드 빌딩 모델이 영화, 게임 등 다양한 분야의 창작 방식을 한 단계 끌어올릴 것이라고 믿습니다."라고 밝혔습니다.
[출처:] https://techcrunch.com/2024/11/13/this-generative-ai-startup-is-strapping-cameras-to-peoples-backs