a16z로부터 투자를 받은 AI 비디오 및 3D 모델 기업인 루마(Luma)가 기존 영상을 수정할 수 있는 새로운 모델인 Ray3 Modify를 공개했습니다. 이 모델은 캐릭터 참조 이미지(character reference images)를 활용하여 원본 영상의 퍼포먼스를 유지한 채 수정이 가능합니다. 또한, 사용자는 시작 프레임과 끝 프레임을 제공하여 모델이 전환 영상(transitional footage)을 생성하도록 안내할 수도 있습니다.
루마는 목요일 성명을 통해 Ray3 Modify 모델이 AI를 활용해 크리에이티브 스튜디오에서 효과를 편집하거나 생성할 때 발생하는 인간 퍼포먼스 보존 문제를 해결한다고 밝혔습니다. 이 스타트업에 따르면, 이 모델은 입력된 영상의 움직임을 더욱 정확하게 따라가기 때문에 스튜디오들이 창작물이나 브랜드 영상 제작 시 인간 배우를 효과적으로 활용할 수 있게 합니다. 구체적으로, 루마는 이 새로운 모델이 장면을 변환하는 과정에서도 배우의 원래 움직임, 타이밍, 아이라인, 감정 표현을 그대로 유지한다고 설명했습니다.
Ray3 Modify를 이용하면 사용자는 특정 캐릭터 참조 이미지를 원본 영상에 제공함으로써 인간 배우의 외모를 해당 캐릭터로 변환할 수 있습니다. 이러한 참조 기능은 의상(costumes), 유사성(likeness), 정체성(identity) 등의 정보를 촬영 전반에 걸쳐 일관되게 유지하는 데 도움을 줍니다.
나아가, 사용자는 시작 및 끝 참조 프레임을 제공하여 Ray3 Modify 모델로 비디오를 제작할 수 있습니다. 이는 크리에이터가 장면 간의 연속성(continuity)을 유지하면서 전환을 지시하거나 캐릭터의 움직임 및 행동을 세밀하게 제어하는 데 매우 유용합니다.
루마 AI의 공동 창립자이자 CEO인 아무트 Jain은 성명을 통해 "생성형 비디오 모델은 놀라울 만큼 표현력이 풍부하지만 제어하기가 어렵습니다. 오늘 우리는 현실 세계의 요소와 AI의 표현력을 결합하고 창작자에게 완전한 통제권을 부여하는 Ray3 Modify를 선보이게 되어 매우 기쁩니다. 이는 크리에이티브 팀이 카메라로 퍼포먼스를 포착한 후, 상상하는 모든 장소로 즉시 배경을 변경하거나, 의상을 변경하거나, 심지어 AI를 이용해 영상을 재촬영할 수 있다는 의미입니다. (물리적인 촬영 과정을 처음부터 다시 할 필요가 없습니다)"라고 말했습니다.
루마는 새로운 모델이 자사의 Dream Machine 플랫폼을 통해 사용자에게 제공된다고 밝혔습니다. Runway나 Kling과 같은 경쟁 서비스들과 경쟁하고 있는 루마는 지난 2025년 6월에 비디오 수정 기능을 출시한 바 있습니다.
이번 모델 출시는 지난 11월에 발표된 루마가 사우디아라비아의 국부펀드(Public Investment Fund)가 소유한 AI 기업인 Humain이 주도한 9억 달러 규모의 신규 투자 유치 라운드(funding round)에 힘입은 것입니다. a16z, Amplify Partners, Matrix Partners와 같은 기존 투자자들도 이번 라운드에 참여했습니다. 또한, 루마는 Humain과 함께 사우디아라비아에 2GW 규모의 AI 클러스터를 건설할 계획도 가지고 있습니다.