프랑스 AI 스타트업 미스트랄(Mistral)이 노트북이나 휴대폰 같은 엣지 디바이스에서 구동되도록 설계된 최초의 생성형 AI 모델을 출시했습니다.
미스트랄이 "Les Ministraux"라고 명명한 이 새로운 모델군은 기본적인 텍스트 생성부터 고성능 모델과 연동하여 복잡한 작업을 완료하는 것에 이르기까지 다양한 애플리케이션에 사용되거나 미세 조정될 수 있습니다.
Les Ministraux 모델로는 Ministral 3B와 Ministral 8B 두 가지가 공개되었으며, 두 모델 모두 128,000 토큰의 컨텍스트 윈도우를 제공하여 대략 50페이지 분량의 책을 처리할 수 있습니다.
미스트랄은 블로그 게시물을 통해 "저희의 가장 혁신적인 고객 및 파트너들은 온디바이스 번역, 인터넷 연결 없이 작동하는 스마트 비서, 로컬 분석, 자율 로봇 공학 같은 핵심 애플리케이션을 위해 로컬 환경에서의 개인 정보 보호를 우선하는 추론 능력을 점점 더 요구하고 있습니다. Les Ministraux는 이러한 시나리오에 대한 컴퓨팅 효율적이고 낮은 지연 시간의 솔루션을 제공하기 위해 구축되었습니다."라고 밝혔습니다.
Ministral 8B는 오늘부로 다운로드가 가능하지만, 이는 연구 목적으로만 엄격하게 제한됩니다. 미스트랄은 Ministral 8B 또는 Ministral 3B를 자체 배포 환경으로 구축하려는 개발자 및 기업들에게는 상업용 라이선스를 위해 회사에 직접 연락할 것을 요청했습니다.
그 외의 개발자들은 미스트랄의 클라우드 플랫폼인 La Platforme와 향후 파트너십을 맺을 다른 클라우드를 통해 Ministral 3B 및 Ministral 8B를 사용할 수 있습니다. 이용료는 Ministral 8B의 경우 출력/입력 토큰 백만 단위당 10센트(약 75만 단어)이며, Ministral 3B는 출력/입력 토큰 백만 단위당 4센트입니다.
최근에는 더 크고 강력한 모델에 비해 훈련, 미세 조정, 운영 비용이 저렴하고 빠른 소형 모델로의 추세가 확산되고 있습니다. 구글은 자체 소형 모델군에 지속적으로 모델을 추가하고 있으며, 마이크로소프트 역시 모델 모음을 제공하고 있습니다. 메타는 최근 제품군 업데이트를 통해 엣지 하드웨어에 최적화된 여러 소형 모델을 선보였습니다.
미스트랄은 Ministral 3B와 Ministral 8B가 명령어 수행 및 문제 해결 능력을 평가하도록 설계된 여러 AI 벤치마크에서, 유사한 성능의 Llama 모델이나 Gemma 모델뿐만 아니라 자체 Mistral 7B 모델보다 우수하다고 주장합니다.
최근 6억 4,000만 달러의 벤처 자본을 유치한 파리 기반의 미스트랄은 AI 제품 포트폴리오를 지속적으로 확장하고 있습니다. 지난 몇 달 동안 회사는 개발자가 모델을 테스트할 수 있는 무료 서비스, 고객이 모델을 미세 조정할 수 있는 SDK, 그리고 코드 생성용 생성형 모델인 Co-를 포함한 새로운 모델들을 출시했습니다.
메타와 구글 딥마인드 출신 인재들이 공동 창립한 미스트랄의 목표는 OpenAI의 GPT-4o나 Anthropic의 Claude와 같이 현재 최고 성능을 자랑하는 모델에 필적하는 플래그십 모델을 개발하는 것이며, 이상적으로는 이 과정에서 수익을 창출하는 것입니다. "수익 창출"은 (대부분의 생성형 AI 스타트업이 그러하듯이) 어려운 과제지만, 미스트랄은 보도에 따르면 올여름부터 수익을 창출하기 시작했다고 전해졌습니다.
[출처:] https://techcrunch.com/2024/10/16/mistral-releases-new-ai-models-optimized-for-edge-devices