Shawn Shen은 AI가 물리적 세계에서 성공하려면 자신이 본 것을 기억하는 능력이 필수적이라고 믿는다. Shen의 회사인 Memories.ai는 Nvidia AI 도구를 활용하여 웨어러블 장치와 로봇 공학의 인프라를 구축함으로써 시각적 기억을 저장하고 불러내는 기술을 개발하고 있다.
Memories.ai는 지난 월요일(현지시간) GTC 컨퍼런스에서 반도체 대기업 Nvidia와 파트너십을 체결했다고 발표했다. 이번 제휴를 통해 Memories.ai는 Nvidia의 추론 기반 비전 언어 모델인 Cosmos-Reason 2와 비디오 검색 및 요약의 참조 아키텍처인 Nvidia Metropolis를 활용하여 시각적 기억 기술 개발을 지속할 계획이다.
(왼쪽 상단의 사진 속) Shen은 TechCrunch 인터뷰에서 자신과 공동 창립자이자 CTO인 Ben Zhou (오른쪽 상단 사진)가 Meta의 Ray-Ban 스마트 글래스를 개발하는 과정에서 회사의 아이디어를 얻었다고 전했다. 이 AI 안경을 만들면서, 사용자가 녹화한 비디오 데이터를 회상할 수 없다면 실제 생활에서 이 기술을 어떻게 사용하게 될지에 대해 고민하게 되었다는 것이다.
그들은 AI를 위한 시각적 기억 솔루션을 이미 구축한 기업을 찾았지만, 그런 서비스를 발견할 수 없었다. 결국 Meta에서 독립하여 자체적으로 이 기술을 구축하기로 결정했다.
Shen은 "AI는 이미 디지털 세계에서 엄청난 성과를 내고 있습니다. 그렇다면 물리적 세계는 어떨까요? AI 웨어러블이나 로봇 공학 역시 기억 기능이 필요합니다... 결국, AI가 시각적 기억을 갖추는 것이 필요합니다. 우리는 그 미래를 확신합니다"라고 강조했다.
AI 시스템의 '기억 능력' 그 자체가 비교적 최근에 주목받기 시작한 분야다.
실제로 OpenAI는 2024년에 ChatGPT를 업데이트하여 과거 채팅 내용을 기억하게 했고, 2025년에는 해당 기능을 개선했다.
Elon Musk의 xAI 역시 지난 2년 동안 자체적인 메모리 도구를 출시해왔다.
하지만 Shen에 따르면, 이러한 발전들은 대부분 텍스트 기반의 기억에 초점을 맞춰왔다. 텍스트 기반 메모리는 구조화가 잘 되어 있고 인덱싱하기 쉬운 장점이 있지만, 시각과 이미지를 통해 세상과 상호작용하는 물리적 AI 애플리케이션에는 큰 도움이 되지 않는다.
Memories.ai는 2024년에 출범했으며, 2025년 7월 800만 달러 규모의 시드 라운드와 추가 800만 달러의 자금 조달을 통해 현재까지 총 1,600만 달러를 모금했다. 이번 라운드는 Susa Ventures가 주도했으며, Seedcamp, Fusion Fund, Crane Venture Partners 등이 참여했다.
Shen에 따르면, 이 시각적 기억 레이어를 성공적으로 구축하려면 두 가지 요소가 필요했다. 첫째, 비디오를 저장하고 회상할 수 있는 데이터 형식으로 임베딩하고 인덱싱하는 데 필요한 인프라를 구축하는 것이었고, 둘째, 이 작업을 수행하도록 모델을 훈련하는 데 필요한 데이터를 확보하는 것이었다.
이에 회사는 2025년 7월에 자체 대규모 시각적 기억 모델(LVMM)을 출시했다. Shen은 이 모델이 이달 초에 공개된 멀티모달 인덱싱 및 검색 모델인 Gemini Embedding 2의 소형 버전과 비교될 수 있다고 설명했다.
데이터 수집을 위해 회사는 '데이터 수집원(data collectors)'이 착용하는 하드웨어 장치인 LUCI를 개발하여 모델 훈련에 사용되는 비디오를 녹화하고 있다. Shen은 회사가 하드웨어 회사로 거듭나거나 이 장치를 판매할 계획은 없다고 밝히면서도, 고화질에 배터리를 많이 소모하는 상용 비디오 레코더로는 만족할 수 없었기 때문에 자체적으로 개발했다고 덧붙였다.
회사는 LVMM의 2세대 버전을 출시했으며, 올해 후반부터 Qualcomm의 프로세서에서 구동될 수 있도록 Qualcomm과 파트너십을 체결했다.
Shen은 Memories.ai가 이미 여러 대형 웨어러블 회사들과 협력하고 있다고 밝혔지만, 구체적인 기업명은 공개하지 않았다. 현재 수요가 존재함에도 불구하고, Shen은 앞으로 등장할 웨어러블 장치와 로봇 공학 분야에서 훨씬 더 큰 기회를 보고 있다고 말했다.
Shen은 "상용화 측면에서는 현재 모델과 인프라에 더 집중하고 있습니다. 저희는 웨어러블 및 로보틱스 시장 자체가 형성될 것이라 확신하지만, 시기적으로는 아직 이르다고 판단합니다"라고 말했다.