로스앤젤레스에 본사를 둔 AI 비디오 생성 스타트업 [회사명] 팀은 단순히 프롬프트만으로 영화 제작이 가능하다고 보지 않는다. 이러한 배경으로, 이 회사는 지난 화요일 ‘3D 인식(3D-aware)’ 모델을 공개하며, 기존의 표준 텍스트-투-비디오 모델보다 영화 제작자에게 더 많은 통제권을 제공하는 ‘하이브리드(hybrid)’ 접근 방식을 제시했다.
문밸리(Moonvalley)는 마레이(Marey)라는 이름의 모델을 지난 3월 베타 버전으로 처음 출시한 바 있으며, 현재는 월별 크레딧 기반 구독 형태로 서비스를 개시했다. 사용자는 100 크레딧에 $14.99, 250 크레딧에 $34.99, 1,000 크레딧에 $149.99를 지불할 수 있다. 사용자는 최대 5초 분량의 클립을 생성할 수 있으며, 이는 현재 공개적으로 이용 가능한 비디오 생성 모델의 업계 표준에 부합하는 수치다.
전(前) 딥마인드 연구원들로 공동 창업되었으며, 이 연구원들이 구글의 비디오 생성 모델을 개발한 이력이 있는 이 스타트업은 마레이가 완전히 공개 라이선스 데이터로 훈련된 몇 안 되는 모델 중 하나라고 주장한다. 이러한 특징은 문밸리의 주요 고객층, 즉 AI 생성 콘텐츠가 저작권 자료와 유사할 경우 발생할 수 있는 미래 소송을 피하고 싶은 영화 제작자들의 요구와 정확히 맞아떨어진다.
독립 영화 제작자 안헬 마누엘 소토(Ángel Manuel Soto)에게 마레이의 가장 큰 강점은 최고의 AI 스토리텔링 도구에 대한 접근성을 민주화한다는 점이다. 특히 전통적인 영화 제작 환경에서 오랫동안 소외감을 느껴온 이들에게 더욱 그렇다. 푸에르토리코에서 자란 소토는 영화 한 편을 만들기 위해서도 카메라 대여 비용만 수백에서 수천 달러가 필요했다고 회상했다.
그는 "고향에서는 우리 이야기가 세상에 나오려면 먼저 허락을 구해야 했다"며, "AI는 누군가가 자금을 지원하지 않거나, 심지어 당신 나라의 이야기가 수익성을 갖지 못할 것이라며 꿈을 포기해야 할 필요 없이, 스스로 원하는 조건으로 창작할 수 있는 능력을 제공한다"고 말했다.
소토에 따르면, 마레이는 그가 제작 비용을 20%에서 40%까지 줄이고 훨씬 자유롭게 작업을 진행하는 데 도움을 주었다고 한다.
소토는 이전에 문밸리의 스튜디오 아스테리아(Asteria)와 HBO 다큐 시리즈 "Menudo: Forever Young" 작업을 함께한 경험이 있다. General Catalyst의 CEO인 헤만트 타네자(Hemant Taneja)에 따르면, 아스테리아는 XTR로도 알려져 있으며 올해 문밸리에 인수되었다. (GC는 아스테리아의 주요 주주였으며, 합병된 법인에 추가 자금을 투자했다.)
마레이의 ‘하이브리드 영화 제작 방식’
문밸리 CEO 겸 공동 창업자인 나임 탈쿠다르(Naeem Talukdar)는 TechCrunch를 대상으로 마레이가 촬영 전후 과정에 어떻게 활용될 수 있는지 시연했다. 촬영 전 장면을 테스트하는 것부터 나중에 카메라 각도를 수정하는 것까지, 나아가 객체, 캐릭터, 움직임, 장면 구성을 어떻게 정교하게 제어할 수 있는지 보여주었다.
탈쿠다르는 TechCrunch에게 마레이가 물리 세계에 대한 이해도를 가지고 있으며, 기술 발전과 함께 더욱 상호작용적인 스토리텔링 구현이 가능할 것이라고 설명했다. 현재 이러한 능력(마레이가 구글의 Veo 3나 OpenAI의 아직 비공개 모델인 Sora 등 다른 모델과 공유하는 특징) 덕분에 마레이는 물리학 법칙을 준수하면서도 움직임을 모방하는 등 다양한 작업을 수행할 수 있다.
예를 들어, 초원을 달리는 바이슨의 영상을 초원 환경을 가로지르는 캐딜락이 달리는 영상으로 변환할 수 있으며, 이 과정에서 풀과 흙이 자동차의 움직임에 반응하는 디테일까지 구현된다. 또한, 마레이는 배우에게 조지 워싱턴과 닮은 캐릭터를 합성(superimpose)하거나, 배우의 표정 변화부터 손짓을 하는 과정에서의 전완근 근육 움직임까지 모든 요소를 구현할 수 있다.
마레이의 독보적인 기능 중 하나는 자유 카메라 움직임(free camera motion) 지원이다. 탈쿠다르는 마우스로 카메라 궤적을 자유롭게 이동시키는 방법을 시연했다. 그는 커서(cursor)를 단순하게 드래그하는 동작만으로 로키 산맥의 기차에 탄 여자를 담은 영상에 팬(pan) 및 슬라이드 줌(slide zoom) 효과를 적용했다. 아울러 마레이는 거의 360도에 가까운 카메라 움직임을 구현할 수 있으며, 마치 핸드헬드 카메라나 돌리(dolly)로 촬영한 것처럼 지시에 따라 영상을 생성할 수 있다고 언급했다.
마레이는 비디오 배경 변경 기능도 제공하여, 제작자들이 원하는 장면을 구성하기 위해 소스 푸티지(source footage)를 활용할 수 있게 한다. 탈쿠다르는 교외 도로에서 오토바이를 탄 남자의 영상을 재생했고, 이 영상이 헤드폰을 쓰지 않은 같은 남자가 약간 다른 자전거를 타고 시골 고속도로를 달리는 모습으로 자연스럽게 변화하는 모습을 보여줬다.
탈쿠다르는 문밸리가 앞으로 몇 달간 조명(lighting), 심층 객체 궤적(deep object trajectories), 캐릭터 라이브러리 등 새로운 제어 기능을 순차적으로 출시할 계획이라고 밝혔다.
마레이의 공개는 AI 비디오 생성기라는 급성장하는 분야의 모델들(예: Runway Gen-3, Pika, Haiper 등)과 직접적인 경쟁 구도를 형성하게 되었다.
마리나 템킨(Marina Temkin)의 추가 취재