Uptime Industries는 'AI 박스' 형태의 휴대용 장치인 Lemony AI를 통해 온프레미스 AI 인프라 시장에 진출하고 있다.
샌드위치 크기의 Lemony AI는 단일 노드에서 대규모 언어 모델(LLM), AI 에이전트, AI 워크플로우를 모두 구동할 수 있다. 각 장치는 노트북 충전 수준에 해당하는 65와트의 전력만 필요하며, 이를 쌓거나 연결하여 대규모 AI 클러스터를 형성할 수 있다.
업타임의 공동 설립자 겸 CEO인 사샤 부어레(Sascha Buehrle)는 TechCrunch 인터뷰에서, 각 노드가 최대 750억 개 파라미터의 LLM을 구동할 수 있으며 오픈 소스 모델이나 수정된 폐쇄형 모델도 호스팅 가능하다고 설명했다. 또한, Lemony 노드 클러스터에서는 각 장치가 다른 모델을 독립적으로 구동할 수 있다.
업타임은 IBM 및 JetBrains와 파트너십을 맺고, 고객들에게 IBM의 폐쇄형 모델을 포함한 AI 솔루션을 제공하며 시장 진입을 가속화하고 있다.
업체는 이러한 기술을 통해 기업들이 민감한 데이터를 외부 클라우드에 노출하지 않고도 첨단 AI 분석 역량을 갖출 수 있도록 지원할 계획이다.
이러한 솔루션은 특히 데이터 보안이 최우선시되는 금융, 의료, 정부 등 공공 부문 분야에서 큰 주목을 받고 있다.