미라 무라티(Mira Murati)의 씽킹 머신즈 랩(Thinking Machines Lab)이 확보한 20억 달러의 시드 펀딩과 전 OpenAI 연구원들로 구성된 최고 전문가들로 이루어진 팀이 어떤 작업을 진행하고 있는지 큰 관심이 쏠리고 있습니다. 무라티의 연구소는 수요일에 발행한 블로그를 통해 프로젝트 중 하나인 ‘재현 가능한(reproducible) 응답을 가진 AI 모델 생성’ 작업을 처음 공개했습니다.
'LLM 추론에서의 비결정성 극복(Defeating Nondeterminism in LLM Inference)'이라는 제목의 이 연구 블로그 게시물은 AI 모델 응답에 무작위성을 도입하는 근본적인 원인을 깊이 있게 분석합니다. 예를 들어, ChatGPT에 동일한 질문을 여러 번 던지면 광범위한 범위의 답변을 얻을 가능성이 높습니다. 이는 오늘날 AI 모델이 비결정적 시스템(non-deterministic systems)으로 간주되면서 이미 AI 커뮤니티에서 사실로 받아들여진 현상입니다. 하지만 씽킹 머신즈 랩은 이 현상을 해결 가능한 문제로 보고 있습니다.
씽킹 머신즈 랩은 오늘 연구 블로그인 '커넥셔니즘(Connectionism)'을 공식적으로 출범했습니다. 첫 번째 게시물이 바로 "LLM 추론에서의 비결정성 극복"입니다.
우리는 과학은 공유될 때 더욱 발전한다고 믿습니다. 커넥셔니즘은 우리 연구가 다루는 것처럼 매우 폭넓은 주제를 다룰 예정입니다. 커널 수치 계산부터…
— Thinking Machines (@thinkymachines)
2025년 9월 10일
씽킹 머신즈 랩 연구원 호레이스 히(Horace He)가 작성한 이 게시물에 따르면, AI 모델의 무작위성은 GPU 커널(Nvidia 컴퓨터 칩 내부에서 실행되는 작은 프로그램들)이 추론 처리 과정(ChatGPT에서 엔터 키를 누른 후 발생하는 모든 과정)에서 조합되는 방식이 근본 원인이라고 주장합니다. 그는 이러한 오케스트레이션 계층(layer of orchestration)을 세심하게 통제함으로써 AI 모델의 결정론적(deterministic) 특성을 높일 수 있다고 시사합니다.
히는 AI 모델의 응답을 더욱 신뢰성 있게 만드는 것 외에도, 재현 가능한 응답 생성이 강화 학습(RL) 훈련의 효율성을 높일 수 있다고 지적합니다. RL은 AI 모델에 올바른 답변을 보상하는 과정인데, 만약 답변들이 미묘하게 모두 다를 경우 데이터에 노이즈가 커지게 됩니다. 히에 따르면, 더욱 일관된 AI 모델 응답을 확보하는 것은 전체 RL 과정을 '더 매끄럽게(smoother)' 만드는 데 기여할 수 있습니다. 실제로 씽킹 머신즈 랩은 이전에 인포메이션(The Information)을 통해 투자자들에게 RL을 활용하여 비즈니스 맞춤형 AI 모델을 개발할 계획이라고 밝힌 바 있습니다.
오픈AI의 전 최고 기술 책임자였던 무라티는 지난 7월에 씽킹 머신즈 랩의 첫 번째 제품이 몇 달 안에 공개될 것이며, 이는 "맞춤형 모델을 개발하는 연구원과 스타트업에게 유용할 것"이라고 밝혔습니다. 이 제품이 정확히 무엇인지, 또는 이 연구에서 얻은 기술을 활용해 더 재현성 높은 응답을 생성할지는 아직 불명확합니다.
씽킹 머신즈 랩은 또한 "공익에 기여하는 동시에 자체적인 연구 역량 문화를 발전시키기 위해" 블로그 게시물, 코드 및 기타 연구 정보를 자주 공개할 계획임을 밝힌 바 있습니다. '커넥셔니즘' 시리즈의 첫 게시물인 이 글이 그 노력의 일환으로 해석됩니다. 오픈AI 역시 창립 당시 연구 개방을 약속했으나, 회사가 커지면서 다소 폐쇄적인 경향을 보여왔습니다. 무라티의 연구소가 이 약속을 얼마나 지켜나갈지는 주목할 부분입니다.
이 연구 블로그는 실리콘 밸리에서 가장 비밀스러운 AI 스타트업 중 한 곳의 내부를 엿볼 수 있는 보기 드문 기회를 제공합니다. 비록 기술이 정확히 어떤 방향으로 발전할지 전부 공개하지는 않지만, 씽킹 머신즈 랩이 AI 연구의 최전선에 있는 가장 근본적이고 거대한 문제들을 다루고 있음을 보여줍니다. 진정한 시험대는 씽킹 머신즈 랩이 이러한 문제들을 실제로 해결하고, 그 연구 성과를 기반으로 제품을 개발하여 120억 달러(12 billion)에 달하는 기업 가치를 정당화할 수 있는지 여부입니다.
[출처:] https://techcrunch.com/2025/09/10/thinking-machines-lab-wants-to-make-ai-models-more-consistent