오래된 콘솔에서도 AI를 로컬에서 구동할 수 있다니, 누가 상상이나 했을까요?
X(구 트위터) 사용자 안드레이 데이비드(Andrei David)가 거의 20년 전 콘솔인 Xbox 360에 안드레이 카파티(Andrej Karpathy)의 llama2.c 기반 AI 모델을 성공적으로 설치하고 구동했습니다. 콘솔의 오래된 연식에도 불구하고, 데이비드는 부트로더를 이용하여 모델을 로드하고 'Sleep Joe said'라는 프롬프트를 실행했습니다. 이에 따르면, EXO Lab이 Windows 98 PC에서 Llama 모델을 성공적으로 실행한 시도가 데이비드에게 영감을 준 계기였습니다.
Xbox 360에서 사용된 AI LLM은 EXO Lab이 Windows 98 펜티엄 II PC에서 활용한 것과 기반이 같지만, 데이비드는 콘솔의 PowerPC 아키텍처와 당시의 특이했던 메모리 관리 기능을 위해 코드를 상당 부분 최적화해야 했습니다. 가장 중요한 기술적 차이점은 빅-엔디언(big-endian) 방식에 있습니다. PowerPC는 가장 가중치가 큰 값(가장 중요한 값)을 먼저 저장하는 빅-엔디언 구조인 반면, EXO Lab의 구현에 사용된 인텔 펜티엄 II 프로세서는 가장 작은 값을 먼저 저장하는 리틀-엔디언(little-endian) 방식입니다.
따라서 모델이 오류 없이 작동하도록 보장하기 위해 데이비드는 바이트 스와핑(byte-swapping) 시스템을 직접 구현해야 했으며, 또한 Xbox 360의 메모리 하위 시스템이 요구하는 대로 생성되고 저장되는 모든 데이터가 정확한 128바이트 메모리 정렬(memory alignment)을 유지하도록 보장하는 작업이 필수적이었습니다.
[원본 출처 참고: LLM running on Xbox 360 With Xenon CPU (3.2GHz PowerPC w/ 3 cores) and 512MB unified RAM. Based on @karpathy's🩷llama2.c, ported to run on Microsoft's powerful console from 2005. Pure C implementation optimized for PowerPC architecture and Xbox memory management. Inspired by… pic.twitter.com/e9oMLaWIyi January 10, 25]
데이비드가 직면했던 또 다른 도전 과제는 콘솔의 통합 메모리(unified memory) 사용이었습니다. 통합 메모리는 오늘날의 최신 콘솔 및 APU에서는 일반적이지만, Xbox 360이 출시될 당시에는 새로운 영역이었습니다. 이로 인해 게임 개발자들은 자신들의 타이틀이 콘솔 하드웨어를 최대한 활용하도록 시스템을 구성해야 했습니다. 이 때문에 512MB의 RAM이 있음에도 불구하고, 안드레이는 60MB 모델이 CPU와 GPU가 동일한 메모리 풀을 공유하기 때문에 시스템이 할당하는 공간 안에 충분히 들어갈지 확인해야 했습니다.
그러나 정교한 메모리 관리와 PowerPC 작동 방식에 대한 세심한 조정을 거쳐, 그는 고대 Xbox 360 콘솔에서 LLM을 구동시키는 데 성공했습니다. 이는 단순히 하나의 업적을 넘어, 최고 사양 장비에 수십억 달러를 투자하고 메가와트급 전력을 소비하는 거대 기술 기업에만 AI 접근성이 국한되는 것이 아니라, 모든 일반인에게 AI를 보편적으로 제공하려는 EXO Lab의 목표를 향한 중요한 진전이라고 평가됩니다.
수십 년 전 장치에서 Llama 2 기반 AI 모델을 구동했다는 것 자체가 놀라운 성과이지만, 한 사용자 댓글은 512MB의 통합 RAM이라면 Hugging Face의 SmolLM이나 4비트 0.5B Qwen2.5 모델을 돌리기에 충분할 것이라는 내용이었습니다. 안드레이 데이비드는 이에 '도전 수락! :)'이라고 화답했으며, 업계는 향후 Xbox 360 같은 구형 장치에서 더욱 강력한 AI 모델들이 구동되는 사례를 기대하고 있습니다.