올해 초 웹사이트들이 AI 봇의 콘텐츠 스크래핑에 비용을 부과할 수 있는 마켓플레이스를 출시한 클라우드플레어(Cloudflare)는 현재 AI 분야의 규제 강화를 촉구하고 있습니다.
클라우드플레어의 매튜 프린스(Matthew Prince) CEO는 런던에서 영국 경쟁 및 시장청(CMA, Competition and Markets Authority)을 만나, 검색 분야에서 압도적인 영향력을 가진 구글의 AI 경쟁 참여 방식에 대해 더욱 엄격한 규칙을 제안할 예정입니다.
CMA는 지난달 초 구글의 '실질적이고 확고한' 시장 지위를 근거로 구글에 검색 및 광고 시장 내 특별 지위를 부여했습니다. 이 조치에 따라 규제 당국은 검색 및 광고를 넘어, 구글의 AI 오버뷰(AI Overviews), AI 모드(AI Mode), 디스커버 피드(Discover feed), 탑 스토리(Top Stories), 뉴스 탭(News tab) 등 다양한 영역에도 보다 강력한 규제를 적용할 수 있게 됩니다.
프린스에 따르면, 클라우드플레어는 AI 사업을 직접 영위하는 기업이 아니기에 중립적인 입장에서 권고안을 제시할 좋은 위치에 있습니다. 대신, 클라우드플레어는 다수의 AI 기업들과 광범위한 관계망을 구축하고 있다는 점이 강점입니다.
프린스는 이번 주 런던 컨퍼런스에서 "우리는 싸움의 당사자가 아닙니다. AI 기업도 아닙니다"라고 말하며 덧붙였습니다. "저희는 미디어 출판사도 아니지만, 이들 사이에 위치한 네트워크입니다. AI 기업의 80%가 저희의 고객입니다."
클라우드플레어의 수장(head)은 구글이 다른 AI 기업들과 동등한 출발선에서 경쟁해야 한다고 믿으며, 현재 상황은 그렇지 못하다고 강조했습니다. 구글은 검색 엔진 외에도 자체 웹 크롤러를 사용하여 AI 제품 및 서비스의 콘텐츠를 수집하고 있으며, 프린스에 따르면 이것이 구글에게 불공정한 우위를 제공합니다. (프린스는 AI 오버뷰와 같은 AI 기능을 포함한 검색용 크롤러인 구글봇(Googlebot)을 언급했습니다. 이에 대해 구글 대변인 네드 아드리언스(Ned Adriance)는 사이트 소유주가 콘텐츠가 AI 제품 학습에 사용되는 것을 선택적으로 제외할 수 있으며, 이는 사이트의 구글 검색 노출 여부에 영향을 미치지 않는다고 밝혔습니다. 다만, 일부 미디어 기업들은 AI 기능 전반을 제외하는 것을 선호할 경향이 높아, 이 문제는 여전히 논쟁거리입니다.)
프린스는 "구글의 주장은 '우리가 비용을 지불하지 않아도 세상 모든 콘텐츠에 대한 절대적인 권리가 있다. 지난 27년간 우리가 이룬 업적을 보라'와 같습니다. 그리고 검색에 쓰는 것과 동일한 크롤러로 AI 시스템을 구동할 수 있다고 주장합니다. 만약 어느 한쪽을 제외하려면, 둘 다 제외해야 한다는 식입니다."라고 설명했습니다.
그는 이러한 조건이 특히 검색 기능 상실이 수입의 약 20% 손실로 이어지는 미디어 산업 종사자들에게는 사실상 불가능하다고 말했습니다.
프린스는 "게다가 더 심각합니다. 구글의 크롤러를 차단하면, 그들과 연결된 광고 안전팀도 차단되는 것이고, 이는 모든 플랫폼에 걸쳐 광고가 작동하지 않는다는 뜻이므로, 도저히 불가능한 상황입니다."라고 덧붙였습니다.
구글은 크롤러를 통합적으로 사용하여, 안트로픽(Anthropic), OpenAI, 퍼플렉시티(Perplexity)와 같이 다른 기업들이 비용을 지불해야만 접근할 수 있는 콘텐츠에 손쉽게 접근할 수 있습니다.
프린스는 "문제는 우리가 결과적으로 게임의 판도를 구글에게 넘겨주게 된다는 점입니다."라고 지적했습니다.
그가 제시하는 해결책은 시장 내 경쟁을 촉진하는 것입니다. 이를 통해 수천 개의 AI 기업이 수많은 미디어 기업 및 수백만 개의 중소기업으로부터 콘텐츠를 구매하기 위해 경쟁할 수 있습니다. 그는 영국 CMA가 구글을 잠재적인 규제 대상으로 지정한 것은 매우 사려 깊은 조치이며, 구글의 독특한 우위를 인지하고 있다는 증거라고 평가했습니다.
클라우드플레어는 또한 CMA에 구글 크롤러의 작동 방식과 다른 경쟁자들이 구글이 누린 성공을 재현하기가 거의 불가능하다는 근거 자료를 제공했습니다.
이러한 의견은 프린스만이 최근에 공유한 것은 아닙니다. 지난달, 미국 최대 디지털 및 인쇄 출판사이며 40개 이상의 미디어 브랜드를 운영하는 People, Inc.의 닐 포겔(Neil Vogel) CEO도 본질적으로 같은 주장을 펼쳤습니다. 그는 인터뷰에서 구글을 "나쁜 행위자(bad actor)"로 규정하며, 크롤러가 결합된 방식으로 인해 미디어 기업들은 AI 콘텐츠를 위해 구글의 사이트 크롤링을 막을 수 없는 상황이었다고 비판했습니다.
자신의 회사가 유료가 아닌 AI 크롤러를 차단하기 위해 클라우드플레어의 솔루션을 도입한 포겔은, 현재 여러 대형 LLM 제공업체들과 협상을 진행 중이라며 시스템이 효과적으로 작동하고 있다고 주장했습니다.
구글 코멘트 업데이트됨.