미국 최대 디지털 및 인쇄 출판사 CEO가 구글이 자사 AI 제품 개발을 지원하기 위해 웹사이트를 크롤링(crawl)하는 것은 부당한 행위라고 비난했습니다.
People Inc.의 CEO인 닐 보겔(Neil Vogel)은 People, Food & Wine, Travel + Leisure, Better Homes & Gardens, Real Simple, Southern Living, Allrecipes 등 40개 이상의 브랜드를 운영하는 출판사입니다. 그는 구글이 검색 엔진용으로 웹사이트를 크롤링하여 색인화(index)하는 데 사용하는 봇을, AI 기능 지원에도 동일하게 사용하며 공정하게 경쟁하지 않고 있다고 지적했습니다.
보겔은 이번 주 포춘 브레인스톰 테크 컨퍼런스(Fortune Brainstorm Tech conference)에서 "구글은 하나의 크롤러를 사용합니다. 즉, 검색에 사용할 때나 우리의 콘텐츠를 훔쳐 가는 AI 제품에 사용할 때나 같은 크롤러를 이용합니다"라고 말했습니다.
그는 3년 전 구글 검색이 회사 전체 트래픽의 약 65%를 차지했으나, 현재는 "20%대 높은 수치"로 떨어졌음을 언급했습니다. (보겔은 지난달 AdExchanger를 통해 더 충격적인 통계도 공개했는데, 몇 년 전만 해도 구글이 People Inc.의 오픈 웹 트래픽 중 최대 90%를 차지했다고 밝혔습니다.)
보겔은 컨퍼런스 참석자들에게 "우리가 불평하는 것이 아닙니다. 우리는 독자층과 매출을 성장시켰습니다. 아주 잘하고 있습니다. 문제는 이것입니다. 우리의 콘텐츠를 가져가 우리와 경쟁하는 것은 부당하다는 것입니다"라고 강조했습니다.
보겔은 출판사들이 AI 시대에는 더 큰 협상력(leverage)이 필요하다고 믿기에, AI 크롤러(AI crawlers)를 차단하는 것이 필수적이라고 주장했습니다. AI 크롤러는 웹사이트를 스캔하여 AI 시스템을 훈련하는 자동화 프로그램을 의미하며, 이를 차단하는 행위 자체가 기업들에게 콘텐츠 계약을 맺도록 강제할 수 있기 때문입니다. 실제로 그의 회사는 OpenAI와 계약을 체결했으며, 보겔은 OpenAI를 '건전한 행위자(good actor)'라고 묘사했습니다.
People Inc.는 비용을 지불하지 않는 AI 크롤러를 차단하기 위해 웹 인프라 회사 Cloudflare의 최신 솔루션을 활용하고 있으며, 이로 인해 AI 개발사들이 잠재적인 콘텐츠 거래 제안과 함께 출판사에 접근하고 있습니다. 보겔은 관련 회사를 직접적으로 명시하지 않았지만, 이들을 "대형 LLM 제공업체(large LLM providers)"라고 소개했습니다. 아직 계약이 완료되지는 않았지만, 보겔에 따르면 회사는 크롤러 차단 솔루션을 채택하기 전보다 "훨씬 더 진전된 단계"에 와 있습니다.
하지만 보겔은 구글의 크롤러는 차단할 수 없다고 지적했습니다. 왜냐하면 이를 막을 경우 출판사 웹사이트가 구글 검색에 색인화되지 않아, 구글이 여전히 제공하는 "20% 정도"의 트래픽이 끊기기 때문입니다.
그는 "구글은 이 점을 알고 있으면서도, 크롤러를 분리하여 사용하지 않습니다. 따라서 그들은 의도적으로 부당한 행위를 하는 것입니다"라고 단언했습니다.
뉴스레터 제공 업체인 Janice Min 편집장 겸 CEO 역시 이에 동의하며, 구글이나 메타 같은 빅테크 기업들을 오랜 기간 "콘텐츠 도둑(content kleptomaniacs)"이라고 불렀습니다.
그녀는 "현재 어떤 AI 회사와 파트너십을 맺을 만한 이점을 느끼지 못한다"며, 자사 역시 AI 크롤러를 차단한다고 덧붙였습니다.
한편, Cloudflare CEO 매튜 프린스(Matthew Prince)는 자사에서 AI 차단 솔루션을 개발했으며 (참석자이기도 함), AI 기업들의 행동 방식은 미래에 여전히 변화할 것이라고 믿는다고 말했습니다. 그는 이러한 변화가 새로운 규제를 통해 촉발될 수 있다고 추측했습니다.
클라우드플레어 임원은 또한, 전(前) AI 시대에 맞춰진 저작권법과 같은 법적 방안을 이용해 AI 기업들과 다투는 것이 올바른 접근 방식인지 의문을 제기했습니다.
프린스는 "그런 길로 가는 것은 어리석은 짓입니다. 저작권법상 일반적으로 어떤 것이 파생적일수록 공정 이용(fair use)으로 더 많이 보호받기 때문입니다... 이 AI 기업들이 하고 있는 것은 실제로 파생물을 만들어내는 것입니다. 따라서 지금까지 나온 최고의 판례들을 보면, 앤트로픽(Anthropic) 등에게 발생했던—얼마 전 모든 출판사들과 15억 달러로 합의했던—사건은 그들이 받았던 긍정적인 저작권 판결을 유지하기 위한 것이었습니다"라고 설명했습니다.
프린스는 또한 "오늘날 세상의 모든 잘못은 어느 정도 수준에서 구글의 잘못"이라고 단언했습니다. 검색 대기업이 출판사들에게 원본 콘텐츠 제작보다 트래픽에 가치를 두도록 가르쳤고, 이로 인해 BuzzFeed와 같은 출판사들이 클릭률 유도에 초점을 맞춘 글을 쓰게 만들었다는 것입니다. 그럼에도 그는 구글이 현재 경쟁적인 측면에서 어려운 처지에 놓여 있음을 인정했습니다.
그는 "내부적으로는 자신들이 무엇을 해야 하는지에 대해 거대한 논쟁을 벌이고 있으며, 제 예측으로는 내년 이맘때쯤이면 구글이 콘텐츠 크롤링을 통해 콘텐츠 제작자들로부터 내용을 받고, 이를 AI 모델에 활용하는 대가로 비용을 지불할 것"이라고 전망했습니다.