IBM 소유의 오픈 소스 소프트웨어 기업인 Red Hat은 AI 모델을 범용 프로세서 및 GPU 환경에서 더 빠르게 구동하도록 최적화하는 스타트업인 Neural Magic을 인수합니다.
거래 조건은 공개되지 않았습니다.
MIT 연구 과학자 알렉스 마트비예프(Alex Matveev)와 니르 샤비트(Nir Shavit) 교수는 AI 고성능 실행 엔진 분야의 연구 경험을 바탕으로 2018년 매사추세츠주에 본사를 둔 Neural Magic을 설립했습니다.
Neural Magic의 소프트웨어는 특수 AI 칩(예: TPU)에 필적하는 속도로 프로세서와 GPU에서 AI 워크로드를 처리하는 것을 목표로 합니다. 특히 일반 프로세서가 더 많은 사용 가능한 메모리를 갖는다는 장점을 활용하여, 이 회사의 소프트웨어는 이러한 성능 향상을 실현할 수 있습니다.
AMD와 같은 대형 기술 기업을 비롯해 NeuReality, CoCoPie, OctoML, DeepCube 등 수많은 스타트업들이 다양한 형태의 AI 최적화 소프트웨어를 제공하고 있습니다. 하지만 Neural Magic은 무료 플랫폼과 이를 보완하는 오픈 소스 도구 모음을 보유한 몇 안 되는 기업 중 하나입니다.
Neural Magic은 지금까지 Andreessen Horowitz, New Enterprise Associations, Amdocs, Comcast Ventures, Pillar VC, Ridgeline Ventures 등으로부터 총 5,000만 달러의 벤처 캐피털을 유치한 바 있습니다.
Red Hat CEO 맷 힉스(Matt Hicks)는 모델 서빙용 오픈 소스 프로젝트인 vLLM에 대한 Neural Magic의 역량에 특히 큰 관심을 표했다고 밝혔습니다. 힉스는 Neural Magic을 통해 Red Hat은 오픈 소스 기업으로서 고객이 인프라 및 보안을 완벽하게 제어하며 클라우드 환경 전반에 걸쳐 모델을 최적화하고 배포할 수 있는 vLLM 기반의 '엔터프라이즈급' 스택의 이점을 확보하게 될 것이라고 설명했습니다.
Red Hat은 이미 vLLM 프로젝트에 참여하고 있으며, 이를 활용하여 Red Hat Enterprise Linux AI 및 Red Hat OpenShift AI와 같은 제품에서 모델을 구동하고 있습니다. 힉스는 이번 인수를 통해 Red Hat과 Neural Magic이 결합되면서, 자사 인프라 파트너들은 플랫폼 전반에 걸쳐 AI를 더욱 효과적으로 확장할 수 있게 될 것이며, 통합 서비스 제공업체 파트너들은 자사 제품군에 통합할 수 있는 더욱 강력한 추론 능력과 성능을 얻게 될 것이라고 강조했습니다.
힉스는 성명에서 "AI 워크로드는 고객 데이터가 존재하는 하이브리드 클라우드 전반의 모든 곳에서 구동되어야 합니다. 따라서 조직이 고유한 운영 및 데이터 요구 사항에 가장 적합한 환경, 리소스, 아키텍처를 선택할 수 있도록 하는 유연하고 표준화되며 개방된 플랫폼과 도구가 필수적입니다"라고 말했습니다. 이어 "우리는 Neural Magic의 획기적인 AI 혁신을 통해 하이브리드 클라우드 중심의 AI 포트폴리오를 보완하게 되어 매우 기쁘며, 단순히 오픈 소스의 'Red Hat'을 넘어 AI 분야의 'Red Hat'이 되려는 노력에 박차를 가할 것입니다"라고 덧붙였습니다.
Red Hat의 Neural Magic 인수는 회사가 이번 주 샐트레이크시티에서 열리는 연례 컴퓨팅 컨퍼런스인 KubeCon에서 다수의 AI 관련 발표를 진행하는 가운데 이루어졌습니다. 또한 Red Hat은 데이터 센터 에너지 효율성 최적화를 위해 Intel, Bloomberg, IBM과 협력하여 개발한 도구 Climatik과 OpenShift AI 및 Device Edge 개발 플랫폼의 새로운 버전을 공개했습니다.
AI를 개발하고 배포하는 데 필요한 전력 수요와 비용이 증가함에 따라, 대형 기술 기업들은 AI 알고리즘 최적화에 도움이 될 수 있는 제품을 가진 기업들을 인수하는 흐름을 보이고 있습니다. 실제로 Nvidia는 지난 4월 개발자가 AI 인프라를 관리하고 최적화하는 과정을 용이하게 하는 Run:ai를 인수했으며, Intel은 2020년 10월 모델링 최적화 전문 기업인 SigOpt를 매입한 바 있습니다.
[출처:] https://techcrunch.com/2024/11/12/red-hat-acquires-ai-optimization-startup-neural-magic