DeepSeek R1을 AMD의 최신 소비자용 하드웨어에서도 구동할 수 있습니다.
AMD는 AI 가속 Ryzen AI 및 Radeon 제품에서 DeepSeek의 R1 AI 모델을 구동하는 방법을 안내했으며, 사용자들은 새로운 사고 과정(chain-of-thought) 모델을 PC에서 로컬로 쉽게 실행할 수 있게 되었다. R1을 활용하는 여러 LLM은 RX 7000 시리즈 데스크톱 GPU와 XDNA NPU가 장착된 특정 Ryzen CPU와 호환된다. 다만, 이를 구동하려면 선택적 드라이버인 Adrenalin 25.1.1이 필요하다.
이 가이드는 AMD 사용자가 자체 지원 장치에서 DeepSeek R1을 실행하는 데 필요한 모든 정보를 담고 있다. AMD 사용자들은 R1을 설치하기 위해 LM Studio에서 제공하는, Ryzen AI에 최적화된 원클릭 설치 프로그램(one-click installer)을 사용하게 된다. 또한 AMD는 애플리케이션이 해당 하드웨어에 맞춰 어떻게 튜닝되어야 하는지, 그리고 최대 지원 가능한 LLM 파라미터 목록을 함께 보여주고 있다.
DeepSeek R1은 최근에야 "고성능"의 소규모 모델로 증류(distilled)되어 일반 소비자용 하드웨어에서도 실행 가능한 수준에 도달했다고 알려져 있다. 참고로 DeepSeek-V3 모델은 컨텍스트 학습을 위해 초기에는 2,048개의 Nvidia H800 GPU 클러스터에서 훈련되었다.
최대 지원 가능한 LLM 파라미터는 메모리 용량을 기준으로 한다. RX 7600 XT, 7700 XT, 7800 XT, 7900 GRE, 그리고 7900 XT는 모두 "DeepSeek-R1-Distill-Qwen-14B"까지 지원한다. 플래그십 모델인 RX 7900 XTX는 "DeepSeek-R1-Distill-Qwen-32B"까지 지원한다. VRAM 8GB를 탑재한 RX 7600은 "DeepSeek-R1-Distill-Llama-8B"까지 지원한다.
마찬가지로, Ryzen 8040 및 7040 시리즈 모바일 APU는 32GB RAM을 기본으로 탑재하고 있으며, Ryzen AI HX 370과 365는 각각 24GB 및 32GB RAM을 탑재하여 "DeepSeek-R1-Distill-Llama-14B"까지 지원할 수 있다. Ryzen AI Max+ 395는 최대 "DeepSeek-R1-Distill-Llama-70B"까지 지원할 수 있으나, 이는 128GB 및 64GB 메모리 용량에서만 가능하다. 32GB 용량의 경우 최대 "DeepSeek-R1-Distill-Qwen-32B"까지 지원한다.
DeepSeek의 새로운 AI 모델은 최고 수준 모델 대비 컴퓨팅 비용을 11분의 1로 낮추며 세계적인 주목을 받았다. 이 모델은 (이틀 전) Nvidia가 기록적인 5,890억 달러의 시가총액 손실을 겪는 배경이 된 모델이기도 하다. DeepSeek R1 모델은 11배의 효율 향상을 제공하기 위해 극도의 최적화 수준에 의존하며, 성능 향상의 대부분은 Nvidia의 어셈블리 기반 병렬 스레드 실행(PTX) 프로그래밍에 의존한다.
R1을 구동할 수 있는 GPU는 Nvidia와 AMD에 국한되지 않는다. 화웨이(Huawei)는 이미 자체 개발한 중국 하드웨어에 DeepSeek 지원을 구현하여, 현지 장치에서 고성능 AI 실행을 가능하게 했다.