각 AI 연구소는 각각 다른 우선순위에 초점을 맞추고 있습니다. 예를 들어, OpenAI는 전통적으로 소비자 사용자층을 중점적으로 다루어 온 반면, 경쟁사인 Anthropic은 기업 고객을 목표로 하는 경향을 보입니다. 최근 파악한 바에 따르면, 일론 머스크의 xAI는 특히 비디오 게임 공략(walkthroughs)에 큰 비중을 두고 있습니다.
지난 금요일, 비즈니스 인사이더(Business Insider)의 그레이스 케이(Grace Kay)는 최근 SpaceX가 인수한 AI 스타트업 xAI에 대한 상세하고 광범위한 보고서를 발표했습니다. 이 기사는 특히 머스크가 직원들의 업무 환경을 어렵게 만드는 방식에 초점을 맞추고 있습니다. 그러나 이 중 단연 눈에 띄는 일화가 하나 있었습니다.
사정에 밝은 사람들에 따르면, 작년에 한 모델 출시가 며칠 동안 지연되기도 했는데, 그 이유는 머스크가 챗봇이 비디오 게임 "Baldur’s Gate"에 대한 세부 질문에 응답하는 방식에 만족하지 못했기 때문이라고 합니다. 이들은 출시 전에 응답을 개선하기 위해 고위 엔지니어들이 다른 핵심 프로젝트에서 차출되었다고 전했습니다.
물론, 지식 및 머신 지능의 근본적인 문제를 해결하리라 기대하며 출근한 숙련되고 명망 있는 엔지니어가 결국 54세 남자가 비디오 게임을 클리어하는 과정을 돕는 일에 시간을 쓰게 된다면 얼마나 좌절할지 상상해 볼 수 있습니다. 하지만 이 일화는 우리에게 훨씬 더 시급한 질문을 던집니다. 머스크는 과연 자신이 원했던 수준의 게이밍 기술을 실제로 확보했을까요?
이 질문에 답하기 위해, 저희의 RPG 애호가인 람 아이어(Ram Iyer)가 '발더스 게이트'에 대한 5가지 일반 질문 세트를 준비했고, 저희는 이를 xAI와 세 개의 주요 모델을 대상으로 일종의 준(準)벤치마크, 즉 'BaldurBench'를 진행했습니다.
저널리즘적 투명성을 위해 모든 채팅 기록을 공개했습니다. 여기에서 확인하실 수 있습니다:
ChatGPT와
우선, 좋은 소식부터 전하자면, Grok은 매우 괜찮은 정보를 제공합니다. 다만 답변이 게이머 전문 용어—예를 들어, 저장(saving) 대신 '세이브-스컴밍(save-scumming)', 피해량(damage) 대신 'DPS' 등—로 다소 밀집되어 있었지만, 그것이 무엇에 대한 이야기인지 알면 유용하고 정보 밀도가 높은 답변들이었습니다. Grok은 또한 테이블과 '이론 구성(theorycraft)'을 특히 좋아하는 점은 예상 가능한 부분이었습니다.
'발더스 게이트' 관련 가이드 자료가 워낙 많았기에, 모델들은 대체로 비슷한 자료를 기반으로 작동했습니다. 따라서 가장 두드러진 차이점은 스타일적인 부분이었습니다. ChatGPT는 글머리 목록과 구절(sentence fragments)을 선호하는 반면, Gemini는 중요한 단어를 굵게 표시하는 경향을 보였습니다.
가장 놀라웠던 것은 Claude였습니다. Claude는 제가 게임 경험을 해치거나 스포일러가 될 만한 정보를 제공하는 것에 특히 신중했습니다. 제가 좋은 파티 구성에 대해 질문하자, "너무 스트레스받지 말고 재미있게 느껴지는 대로 플레이하세요"라며 안내를 마무리 지었습니다. 클로드, 정말 감사합니다!
다만 한 가지 유념할 점은, 이는 저희가 이미 알고 있는 영역입니다(Business Insider의 보도 덕분에). xAI가 구체적으로 '동등성(parity)' 달성에 초점을 맞추었기 때문입니다. 따라서 이번 보고된 '스프린트' 이후 Grok의 조언이 다른 모델들과 유사하게 나왔다는 사실에 과도한 의미를 부여해서는 안 됩니다. 그럼에도 불구하고, xAI가 시도한다면 충분히 목표를 이룰 수 있음을 알게 되어 기쁩니다.
플레이어 로딩 중…