3D 캐릭터를 처음부터 애니메이션으로 만드는 과정은 일반적으로 노동 집약적이고 비용이 많이 드는 작업이며, 복잡한 소프트웨어와 모션 캡처 도구 사용이 필수적입니다.
Cartwheel은 이러한 과정을 단순한 동작 설명만큼 쉽게 만들고, AI를 활용하여 기초적인 움직임을 생성함으로써 창작자들이 더욱 표현적인 작업에 집중할 수 있도록 합니다.
애니메이터이자 스타트업의 공동 창업자 겸 CEO인 조나단 자비스(Jonathan Jarvis)는 "애니메이션 작업을 시작한 이후로 새롭거나 혁신적인 것이 많이 없었습니다"라고 말하며, "버튼과 옵션이 수백만 개에 달하는 거대한 ‘빈 화면’ 문제가 있습니다. 때로는 원하는 모양이 무엇인지 확인하기도 전에 몇 시간 동안 작업에 몰두해야 할 때가 있습니다"라고 지적했습니다.
Cartwheel은 바로 이 첫 단계를 건너뛰는 것을 목표로 합니다. 이를 통해 애니메이터는 장면이나 캐릭터를 만들 때, 단순히 발을 떼거나, 파리를 쫓거나, 앉는 것과 같은 기본적인 동작에 너무 많은 시간을 할애할 필요가 없습니다.
자비스는 "우리는 모션 캡처 세트업에서 얻은 모션이나 사용자가 직접 키프레임(keyframe)으로 애니메이션한 움직임을 훨씬 더 빠르게 생성할 수 있도록 돕습니다. 아이디어에 담긴 생각을 신속하게 움직임으로 구현하는 것 자체만으로도 큰 가치가 있습니다. 그 후 가져가서 수정 작업을 거치면 됩니다"라고 설명했습니다.
인터페이스는 의도적으로 매우 단순합니다. 캐릭터와 텍스트 상자만으로 구성되어 있어, 여기에 거의 모든 것을 입력할 수 있으며, 1~2분 만에 기본적이면서도 유려한 애니메이션이 생성되어 모든 일반 3D 편집 스위트에 내보낼 수 있습니다.
사이트에서는 다음과 같은 라이브 3D 예시도 확인할 수 있습니다.
- 이 복싱 애니메이션
- 또는 작은 캐릭터가
- 솔로 왈츠를 추는 모습
회사 최고 과학자인 공동 창업자 앤드류 카(Andrew Carr)는 그들이 구축한 모델이 완전히 독창적이라고 설명했습니다.
그는 "우리는 윤리적으로 확보된 여러 데이터 소스를 보유하고 있으며, 자체 라벨러들이 이 움직임들을 라벨링했습니다"라며, "움직임은 포즈, 시간, 속도 등으로 이루어진 행렬(matrix)로 표현됩니다. 이는 문헌에서 잘 알려진 개념입니다. 따라서 움직임 행렬을 동작에 대한 텍스트 설명과 연관시키고, 이미지나 비디오를 생성하는 방식과 동일하게 움직임-언어(motion-language) 쌍에 대해 표준적인 훈련을 진행합니다"라고 설명했습니다.
카는 생성되는 애니메이션의 완성도가 "평균적으로 80% 수준"이라고 추정했습니다. 자비스에 따르면, 이 시스템은 인상적인 전문가 수준의 결과물을 만들어낼 수 있지만, "때때로 기대에 못 미치는 경우도 있습니다." 그러나 이는 여러 아티스트가 하나의 프로세스에 참여하고 사소한 수정 작업조차도 여러 단계를 거쳐 진행해야 하는 환경에서 볼 때, 전통적인 애니메이션 워크플로우보다 훨씬 빠르고 간단합니다.
이들이 사용하는 모델들은 크기가 크지 않아 구동 비용이 저렴하고, 이론적으로는 로컬 환경에서도 호스팅할 수 있습니다.
카는 "사실 이것은 정말 대단합니다. 비디오 모델은 60프레임/초 동안 매 프레임마다 2,000 x 2,000 픽셀을 예측해야 합니다. 그 데이터 양은 정말 방대해서 처리하기가 버겁습니다. 하지만 저희가 예측하는 것은 그보다 한 자릿수 이상 적은 수준입니다. CPU나 구형 GPU에서도 구동이 가능하고, 모델 학습 속도도 빠릅니다"라고 말했습니다.
(사진: Cartwheel 공동 창업자 조나단 자비스(좌)와 앤드류 카)
자비스는 나아가, 게임 분야에서 캐릭터가 일반적으로 정해진 제한된 동작 세트와 대화 라인에 국한된다는 점을 언급하며, 궁극적으로는 새롭거나 수정된 애니메이션을 실시간으로 렌더링할 수 있게 될 수도 있다고 제안했습니다. 카메라 움직임이나 각도 역시 직관적으로 묘사할 수 있으며, 비인간 캐릭터 작업도 진행 중입니다. 다만, 현재는 가장 보편적으로 요구되는 인간 애니메이션에 초점을 맞추고 있습니다.
이는 Wonder Dynamics가 3D 캐릭터 삽입 과정을 대폭 간소화했던 방식과 유사합니다. Wonder Dynamics는 애니메이터나 아티스트를 대체하는 데 초점을 맞추기보다, 애니메이션 작업의 반복적이고 지루한 노동을 건너뛰는 데 집중했습니다. 업계 전반은 AI 관련 도구를 시간 절약의 수단으로 수용하며 크리에이터들이 창작 자체에 더욱 집중할 수 있게 했습니다. 실제로 Autodesk가 2주 전 Wonder Dynamics를 인수한 것이 이를 입증합니다.
스타트업이 초기 단계에 있는 시점에 그 궁극적인 운명을 추측하는 것은 다소 섣부를 수 있지만, 이 기술은 경쟁력을 가질 수 있습니다. 이 플랫폼은 잠재적인 우위를 가져오며, 만약의 경우에도 가치가 높습니다.
이 회사는 Accel(엔젤)의 투자를 유치했습니다.