민간 기업의 채무 불이행률이 최대 9.2%까지 치솟으면서(수년 만에 최고치), VC 기업 럭스 캐피탈(Lux Capital)은 AI에 의존하는 기업들에게 컴퓨팅 역량 약속을 서면으로 확정받도록 자문했습니다. 럭스는 금융 불안정성이 AI 공급망 전반에 파급되고 있다며, 단순한 구두 합의로는 충분하지 않다고 경고했습니다.
하지만 완전히 다른 대안도 존재합니다. 바로 외부 컴퓨팅 인프라에 대한 의존을 아예 끊는 것입니다. 사용자 자신의 장치에서 직접 구동되는 소형 AI 모델은 데이터 센터나 클라우드 제공업체, 또는 거래 상대방 위험(counterparty risk)으로부터 자유로우며, 그 성능이 충분히 향상되어 주목할 가치가 높아지고 있습니다. 그리고
한편, 한 기업이 이 대안을 제시하고 있습니다.
이 스페인 스타트업은 그동안 경쟁사들보다 낮은 주목도를 유지해 왔지만, AI 효율성에 대한 수요가 증가함에 따라 그 상황이 변화하고 있습니다. 이 회사는 OpenAI, Meta, DeepSeek, Mistral AI 등 주요 AI 연구소의 모델들을 압축(compressing)하여, 압축된 모델의 기능을 시연하는 앱과 개발자가 해당 모델에 접근하고 구축할 수 있는 게이트웨이 역할을 하는 API 포털을 동시에 공개했습니다.
이 회사에 따르면, 이 방식은 사용자가 기기상에서 직접 구동되도록 설계되어 사용자 경험을 획기적으로 개선할 수 있습니다.
이러한 온디바이스(On-device) 실행의 이점은 기기상에서 직접 구동되도록 설계되어 사용자 경험을 획기적으로 개선할 수 있습니다.
이러한 온디바이스(On-device) 실행의 장점은 사용자가 인터넷 연결이 불안정한 환경에서도 모델을 안정적으로 실행할 수 있도록 지원한다는 점입니다.
이러한 온디바이스(On-device) 실행의 장점은 인터넷 연결이 불안정한 환경에서도 모델을 안정적으로 실행할 수 있도록 지원한다는 점입니다.
특히, 이 방식은 데이터 프라이버시 보호 측면에서 큰 이점을 가집니다. 사용자의 민감한 데이터가 클라우드로 전송되지 않고 기기상에서만 처리되기 때문에 보안성이 크게 향상됩니다.
이처럼 온디바이스 실행은 사용자 데이터의 프라이버시 보호 측면에서 가장 큰 이점을 가집니다. 사용자의 민감한 데이터가 클라우드로 전송되지 않고 기기상에서만 처리되기 때문에 보안성이 크게 향상됩니다.
이 방식은 온디바이스(On-device) 실행의 가장 큰 장점은 사용자가 인터넷 연결이 불안정한 환경에서도 모델을 안정적으로 실행할 수 있도록 지원한다는 점입니다.
결과적으로, 온디바이스는 기기와의 통합성을 높이고, 네트워크 연결 상태에 관계없이 일관된 사용자 경험을 제공하며, 프라이버시 보호 수준을 극대화하는 차세대 AI 애플리케이션 개발의 새로운 기준을 제시하고 있습니다.