화요일에 열린 Augmented World Expo에서 스냅(Snap)은 생생한 AR 경험을 구현하는 실시간 온디바이스 이미지 확산 모델의 초기 버전을 공개했으며, AR 크리에이터를 위한 생성형 AI 도구 역시 함께 선보였습니다.
스냅 공동 창립자이자 CTO인 바비 머피(Bobby Murphy)는 무대에서 해당 모델이 스마트폰 환경에서 구동하기에 충분히 작고, 텍스트 프롬프트에 따라 프레임을 실시간으로 재렌더링(re-render)할 만큼 충분히 빠르다고 설명했습니다.
머피는 생성형 AI 이미지 확산 모델의 등장이 매우 흥미롭지만, 증강 현실 분야에 실질적인 영향을 미치려면 모델의 속도가 훨씬 더 빨라야 하다고 강조하며, 이 때문에 회사 팀들이 머신러닝 모델 가속화에 집중해 왔다고 덧붙였습니다.
스냅챗(Snapchat) 사용자는 향후 몇 달 내로 이 생성형 모델이 적용된 렌즈(Lenses)를 접할 수 있게 되며, 스냅은 연말까지 크리에이터들에게도 해당 기능을 제공할 계획입니다.
머피는 "이 모델과 향후 출시될 실시간 온디바이스 생성 ML 모델들은 증강 현실에 대한 흥미로운 새로운 지평을 열며, 우리가 AR 경험을 렌더링하고 창조하는 방식 자체를 근본적으로 재고할 수 있는 기반을 마련해 줄 것"이라고 밝혔습니다.
나아가 머피는 오늘 개발자를 대상으로 렌즈 스튜디오 5.0(Lens Studio 5.0)이 출시되며, 이 버전에는 기존 방식보다 월등히 빠르게 AR 효과를 제작할 수 있도록 돕는 새로운 생성형 AI 도구가 포함되어 주 단위는 물론 몇 달의 개발 시간을 단축할 수 있을 것이라고 발표했습니다.
AR 크리에이터는 이제 매우 사실적인 ML 얼굴 효과를 생성하여 셀피 렌즈를 제작할 수 있습니다. 더 나아가 사용자의 얼굴, 몸, 주변 환경에 현실적인 변형을 실시간으로 적용하는 맞춤형 스타일화 효과까지 생성할 수 있으며, 몇 분 만에 3D 에셋을 생성하여 자신의 렌즈에 포함하는 것도 가능합니다.
이 외에도 AR 크리에이터는 회사의 Face Mesh 기술을 활용하여 텍스트 또는 이미지 프롬프트만으로 외계인이나 마법사와 같은 캐릭터를 생성할 수 있으며, 얼굴 마스크, 질감 및 재료 역시 짧은 시간 내에 만들어낼 수 있습니다.
또한 최신 버전의 렌즈 스튜디오에는 AR 크리에이터가 가질 수 있는 질문에 직접 답변해 주는 AI 어시스턴트 기능도 탑재되었습니다.