Gaia는 XDNA NPU와 RDNA iGPU를 활용하는 Ryzen AI PC에서 더 빠르게 실행됩니다.
개인 PC 환경에서 대규모 언어 모델(LLM)을 로컬로 구동하는 것이 전 세계적으로 인기를 얻고 있습니다. 이에 발맞춰 AMD가 자체 LLM 애플리케이션인 Gaia를 선보였습니다. Gaia는 모든 Windows 장치에서 로컬 LLM을 실행할 수 있도록 설계된 오픈 소스 프로젝트입니다.
Gaia는 Windows PC에서 다양한 LLM 모델을 구동할 수 있도록 설계되었으며, 특히 Ryzen AI 프로세서가 장착된 기기(Ryzen AI Max 395+ 포함)에는 추가적인 성능 최적화 기능을 제공합니다. Gaia는 LLM 추론 과정에 ONNX TurnkeyML의 오픈 소스 Lemonade SDK를 활용합니다. Gaia를 통해 요약, 복잡한 추론 작업 등 다양한 목적에 맞춰 모델을 적응시킬 수 있는 것으로 알려져 있습니다.
Gaia는 검색 증강 생성 에이전트(Retrieval-Augmented Generation agent), 즉 RAG 방식을 통해 작동합니다. RAG는 LLM과 지식 기반을 결합하여, LLM이 사용자에게 더 정확하고 문맥을 이해하는 상호작용형 AI 경험을 제공하도록 돕습니다. 현재 RAG는 네 가지 Gaia 에이전트가 통합되어 있습니다: Simple Prompt Completion(테스트 및 평가를 위한 직접 모델 상호작용 에이전트); Chaty(사용자와 상호작용하는 LLM 챗봇 기능); Clip(YouTube 검색 및 Q&A 기능을 담당하는 에이전트); 그리고 Joker(챗봇에 유머러스한 개성을 부여하는 농담 생성기)입니다.
AMD의 이 새로운 오픈 소스 프로젝트는 Lemonade SDK를 통해 LLM 전용 태스크를 제공하고, 이를 여러 런타임 환경에 걸쳐 서비스합니다. Lemonade는 "OpenAI 호환 REST API를 통해 GAIA 애플리케이션과 통신하는 LLM 웹 서비스를 노출한다"고 알려져 있습니다. Gaia 자체는 데이터를 검색하고 처리하는 AI 기반 에이전트 역할을 수행하며, 외부 콘텐츠(예: GitHub, YouTube, 텍스트 파일)를 벡터화하여 로컬 벡터 인덱스에 저장합니다.
즉, Gaia는 LLM이 처리하기 전에 사용자 질의를 향상(enhance)시켜, 응답의 정확성과 관련성을 개선하는 방식으로 작동합니다.
새로운 AI 챗봇은 두 가지 설치 프로그램을 제공합니다. 하나는 AMD 하드웨어 유무와 관계없이 모든 Windows PC에서 작동하는 일반 설치 프로그램이며, 다른 하나는 Ryzen AI PC에 최적화된 "하이브리드(Hybrid)" 설치 프로그램입니다. 후자는 Gaia가 Ryzen AI CPU의 신경망 처리 장치(NPU) 및 통합 그래픽을 사용하여 연산을 수행하도록 특별히 활성화하여 더 뛰어난 성능을 발휘하게 합니다.
Gaia는 LM Studio와 ChatRTX를 포함한 로컬 LLM 애플리케이션 시장에 진출한 최신 경쟁 제품입니다. LLM을 로컬에서 구동하는 방식은 클라우드 기반 솔루션에 비해 보안성이 뛰어나고 지연 시간이 짧으며, 시스템 하드웨어에 따라 경우에 따라 더 우수한 성능을 제공하는 등 상당한 이점을 가집니다. 무엇보다 로컬 LLM은 인터넷 연결 없이 오프라인에서도 구동 가능하다는 점이 가장 큰 장점입니다.