마이크로소프트가 자사의 생성형 AI 모델인 Phi 제품군의 최신 모델을 공개했습니다.
마이크로소프트는 Phi-4가 이전 모델 대비 여러 면에서 개선되었으며, 특히 수학 문제 해결 능력이 향상되었다고 밝혔습니다. 이러한 성능 향상에는 더 나아진 훈련 데이터 품질이 일부 기여한 것으로 알려졌습니다.
Phi-4는 현재 마이크로소프트가 최근 출시한 개발 플랫폼인 Azure AI Foundry를 통해서만 매우 제한적으로 접근이 가능하며, 마이크로소프트 연구 라이선스 계약에 의거하여 연구 목적으로만 이용할 수 있습니다.
이 모델은 마이크로소프트의 최신 소형 언어 모델(SLM)로, 파라미터 크기는 140억 개입니다. Phi-4는 GPT-4o mini, Gemini 2.0 Flash, Claude 3.5 Haiku 등 다른 소형 모델들과 경쟁할 예정입니다. 이러한 소형 AI 모델들은 일반적으로 구동 속도가 빠르고 운영 비용이 저렴하다는 특징이 있으며, 지난 몇 년 동안 성능이 점진적으로 향상되어 왔습니다.
마이크로소프트는 Phi-4의 성능 급증을 인간이 생성한 고품질 데이터셋뿐만 아니라 "고품질 합성 데이터셋"과 일부 미공개 사후 훈련 개선을 병행했기 때문이라고 분석했습니다.
최근 많은 AI 연구소들이 합성 데이터와 사후 훈련(post-training)을 통해 어떤 혁신을 이끌어낼 수 있을지 주목하고 있습니다. 스케일 AI(Scale AI)의 CEO 알렉산더 왕(Alexandr Wang)은 목요일 트윗을 통해 "우리는 사전 훈련 데이터의 벽에 도달했다"고 말하며, 최근 몇 주간 제기된 해당 주제에 대한 보고들을 뒷받침했습니다.
특히 주목할 점은, Phi-4가 세바스티앙 뷔벡(Sébastien Bubeck)이 회사를 떠난 이후 출시된 Phi 제품군 최초의 모델이라는 것입니다. 뷔벡은 이전에 마이크로소프트의 AI 담당 부사장직을 역임하며 Phi 모델 개발의 핵심 인물이었으나, 10월에 OpenAI로 합류하며 회사를 떠났습니다.