AI가 만든 Quake II.
어제 마이크로소프트는 실시간 게이밍을 위한 생성형 AI 모델 WHAMM을 공개했습니다. 이 모델은 고전 게임인 28년 전의 《Quake II》를 활용한 데모를 통해 시연되었는데요. 본 대화형 데모는 컨트롤러나 키보드 입력을 받아 반응하지만, 프레임 속도는 겨우 10대 초중반대에 머물렀습니다. 마이크로소프트는 시청자들에게 이 모델을 게임 경험 그 자체로 판단하기보다는, 모델의 독특한 특성들을 분석하는 데 초점을 맞춰달라고 강조했습니다.
WHAMM은 World and Human Action MaskGIT Model의 약자로, 지난 2월 공개된 기존 WHAM-1.6B 모델의 업데이트 버전입니다. 이는 더 빠른 시각적 출력을 구현한 실시간 플레이 확장 기능을 담당합니다. 기존 WHAM은 LLM(대규모 언어 모델)과 유사하게 각 토큰이 순차적으로 예측되는 오토회귀(autoregressive) 방식을 사용했습니다. 마이크로소프트는 사용자 경험을 실시간으로 원활하게 만들기 위해, 모든 이미지 토큰을 병렬로 생성할 수 있는 MaskGIT 스타일의 구조로 전환했습니다. 이 방식은 모델 의존성을 낮추고 필요한 순방향 패스(forward passes) 횟수를 줄이는 데 기여했습니다.
WHAMM은 《Quake II》 데이터를 활용해 1주일여의 짧은 기간에 훈련되었으며, 이는 WHAM-1.6B 모델에 필요했던 7년이라는 데이터 양에서 극적인 감소를 보여줍니다. 또한, 해상도 역시 픽셀 느낌의 300x180에서 화질이 개선된 640x360으로 높아졌습니다. 이 데모는 Copilot Labs에서 직접 체험해 볼 수 있습니다.
- 아마치한 개발자가 64KB의 소용량 실행 파일에 저장된 세 단계의 매끄러운 Quake 유사 게임을 선보이다.
- ‘마이크로칩 위의 20만 개 살아있는 인간 뉴런’이 Doom을 플레이하는 모습을 시연하다.
이 모델은 가끔 발생하는 그래픽 오류에도 불구하고, 기존 환경을 추적하는 능력과 동시에 사용자 입력에 적응하는 능력을 보여주며 인상적입니다. 다만, 심각한 입력 지연이 있음에도 불구하고 그렇습니다. 사용자는 총을 쏘고, 이동하고, 점프하고, 웅크리고, 시야를 돌릴 수 있으며 심지어 적을 사격하는 등의 활동이 가능하지만, 궁극적으로는 그저 화려한 시연에 불과하며 원작의 경험을 대체할 수는 없습니다.
예상대로 이 모델은 완벽하지 않습니다. 적과의 상호작용이 모호하게 표현되는 점, 컨텍스트 길이가 제한적이라는 점, 체력이나 피해량 같은 필수 통계를 부정확하게 저장하는 점, 그리고 단일 레벨에 국한된다는 한계가 명확합니다.
이번 발표는 OpenAI의 최근 지브리(Ghibli) 트렌드를 따른 것이며, 이에 대해 상당한 부정적 관심이 제기되었습니다. 저는 예술가로서의 시각은 아니지만, 모든 창작물에는 AI가 결코 완벽하게 재현할 수 없는 인간 고유의 요소가 존재합니다. 그러나 AI의 현재 발전 속도를 고려했을 때, 향후 몇 년 안에 완전히 AI가 생성한 게임과 영화가 현실화될 수도 있으며, 현 기술은 그 방향으로 나아가고 있습니다.
진정한 발전 지점은 창작물을 ‘대체’하는 것이 아니라, AI가 창작물을 ‘강화’하는 영역에 있습니다. 이는 생생한 NPC(Non-Player Characters) 구현이 가능한 엔비디아의 ACE 기술과 같습니다. 이 기술의 일부 기능은 이미 라이프 시뮬레이션 게임인 inZOI에 통합되기도 했습니다. 기술적 관점에서 볼 때, WHAMM은 이전 시도들이 종종 혼란스럽고 비일관적이었으며 '환각(hallucinations)'을 동반했던 단계들보다 명확하게 진보한 단계로 평가됩니다.