한때 주목받았던 하둡 스타트업 클라우데라(Cloudera)는 2018년 10억 달러를 모금하여 상장했으나, 2021년에는 사모펀드(private equity)에 53억 달러에 인수되었습니다. 오늘날 클라우데라는 자체 생성형 AI에 활용되는 대규모 언어 모델(LLM)을 포함하여, 고객이 머신러닝 모델을 관리할 수 있도록 돕는 AI 스타트업 버타(Verta)의 인수를 발표했습니다.
인수된 지 1년 만에 SaaS 데이터 레이크하우스를 출시했던 클라우데라는 현 시장에서 관련성을 유지하기 위해 AI 역량이 필요했습니다. 회사 CEO인 찰스 샌스버리(Charles Sansbury)는 이를 명확히 인지하고 있습니다.
그는 성명을 통해 "데이터 관리의 미래는 AI이며, 이 둘은 불가분의 관계입니다. 클라우데라는 우리 팀을 강화하고 운영 AI 역량을 가속화하기 위해 버타의 운영 AI 플랫폼(Operational AI platform)을 인수하고 있습니다"라고 밝혔습니다.
기업들이 LLM 중심으로 빠르게 전환함에 따라, 버타는 단순한 작업 기반 모델 관리 플랫폼을 넘어 오늘날의 대규모 언어 모델 관리에 특화된 플랫폼으로 진화했으며, 사실상 모델의 통제 센터 역할을 수행하고 있습니다.
고품질 AI 인재 확보가 어려운 시점에 이루어진 이번 인수는 클라우데라가 자체 AI 툴링을 운영하고 확장하는 데 도움이 될 최고 수준의 인재들(예: MIT CSAIL 출신 공동 창립자 CEO 마나시 바르탁(Manasi Vartak)과 트위터의 전 머신러닝 리드 출신 CTO 콘라도 미란다(Conrado Miranda))을 영입하는 효과도 가져왔습니다.
버타는 2018년에 설립되었으며, 피치북(PitchBook)에 따르면 약 1,600만 달러를 모금했으며, 여기에는 2020년 시리즈 A(Series A) 투자로 1,000만 달러가 포함되었습니다. 바르탁은 학업 중에도 머신 모델의 버전 추적을 위한 오픈 소스 프로젝트인 ModelDB 데이터베이스를 직접 개발했으며, 나중에 이 아이디어를 버타로 확장했습니다.
클라우데라는 2008년, 기업들이 대규모 데이터 처리 방안에 대해 고민하기 시작했을 때 하둡 스타트업으로 탄생했습니다. 하둡은 2005년 야후(Yahoo)에서 개발된 오픈 소스 프로젝트로, 당시 업계의 최첨단 데이터 처리 방식이었습니다. 그러나 회사가 상장할 무렵에는 데이터를 처리하는 더 간단하고 비용 효율적인 대안들이 등장하면서 하둡의 주도권이 약화되고 있었습니다.
한편, 기업들은 데이터 워크로드의 상당 부분을 클라우드(Amazon, Microsoft, Google과 같은 빅 3 클라우드 벤더 또는 Snowflake, Databricks 같은 스타트업)로 이전시키고 있었습니다. 흥미롭게도 클라우데라의 솔루션들은 오랜 기간 동안 이름과 달리 온프레미스(on prem) 환경에 주로 구축되어 있었습니다.
2021년 SaaS 데이터 레이크하우스를 구축하려는 시도는 부분적으로 클라우드 네이티브 경쟁사들과의 경쟁적 대응이었습니다. 그 이후 데이터브릭스와 스노우플레이크는 자체 개발과 인수를 병행하며 AI 역량을 꾸준히 강화해 왔습니다.
결국 오늘날의 움직임은 시장의 흐름을 따르기 위한 경쟁적 대응이라 할 수 있습니다.