웹사이트 운영자들이 사람들의 조회수로부터 돈을 벌기 때문에, AI 크롤러들도 그에 걸맞은 분담금을 지불해야 한다.
클라우드플레어(Cloudflare)의 CEO 매튜 프린스(Matthew Prince)에 따르면, 회사는 올해 '콘텐츠 독립성 데이(Content Independence Day)' 이니셔티브를 발표하고 이를 기본 옵션으로 설정한 이후, 4,160억 건 이상의 AI 봇 요청을 차단했습니다. 프린스는 와이어드(Wired)와의 인터뷰에서 이 기능이 웹사이트 소유주가 AI 회사로부터 콘텐츠 접근에 대한 대가를 지불하지 않는 한, 기본적으로 AI 크롤러를 차단할 수 있도록 한다고 설명했습니다.
프린스는 와이어드에 "인터넷의 비즈니스 모델은 항상 트래픽을 유발하는 콘텐츠를 생성하고, 이를 통해 상품, 구독, 혹은 광고를 판매하는 것이었습니다"라고 말했습니다. 그러나 그는 "사람들이 아직 깨닫지 못하는 것은 AI가 곧 플랫폼 변화를 의미한다는 점입니다. 인터넷의 비즈니스 모델이 극적으로 변할 예정입니다. 정확히 어떻게 변할지는 모르겠지만, 저는 이 생각에 잠들어 있는 시간 거의 매 순간을 보내고 있습니다"라고 덧붙였습니다.
클라우드플레어가 거의 모든 AI 크롤러를 차단하고 있음에도 불구하고, 고객의 온라인 존재에 영향을 미치지 않으면서 차단할 수 없는 특정 봇이 하나 있습니다. 바로 구글입니다. 이 검색 거대 기업은 검색 기능과 AI 크롤러를 하나로 결합했기 때문에, 구글의 AI 크롤러 사용을 거부하는 사용자는 구글 검색 결과에 색인(index)되지 않습니다. 프린스는 "한쪽을 거부하면 다른 쪽도 거부해야 하는데, 이는 정말 심각한 문제입니다. 터무니없습니다. 어제의 독점적 위치를 이용해 내일 시장에서도 독점적 지위를 확보하려 해서는 안 됩니다"라고 강조했습니다.
AI 코딩 봇의 실수로 인한 AWS 중단 사태, 보고서 주장
AI 기업이 모델을 학습하는 데 필수적인 것은 인간이 직접 생성한 콘텐츠입니다. 연구에 따르면 AI 모델이 AI 생성 데이터로만 학습될 경우 저품질(slop) 데이터를 사용하게 됩니다. AI 요약본은 웹사이트 트래픽을 감소시키는 것으로 입증되었으며, 특히 광고 수익을 위해 노출도와 조회수에 크게 의존하는 사이트에 큰 영향을 미치고 있습니다. 하지만 라이선싱 거래는 이러한 문제를 완화하여 온라인 출판물이 창작자와 출판사에게 지속 가능한 수입원 역할을 유지할 수 있도록 돕습니다.
클라우드플레어는 또한 실제 인간의 콘텐츠가 활발히 게시되는 다양한 인터넷 환경으로부터 이익을 얻을 것입니다. 이 회사의 CEO는 와이어드에 클라우드플레어가 창작자와 기업이 공정한 경쟁의 장에서 성장하는 미래를 목표로 하며, 그렇게 되면 보호가 필요한 웹사이트가 늘어나 클라우드플레어의 잠재 고객이 더 많아질 것이기 때문이라고 말했습니다. 이로 인해 클라우드플레어는 2022년 기준으로 시장의 79.9%를 점유하며 세계 최대의 콘텐츠 전송 네트워크(CDN) 중 하나가 되었습니다. 그러나 이러한 높은 점유율은 취약점을 야기하기도 하는데, 예를 들어 단 하나의 오구성된 파일이 11월에 웹의 거대한 부분을 마비시켰던 사례가 있습니다.
이는 전 세계 웹 인프라가 AWS, Azure, Cloudflare, CrowdStrike, Google 등 몇몇 거대 기업에 의존하고 있는 현재의 문제점을 보여줍니다. 이러한 기관들이 인터넷 의존 기업들에게 편리함과 효율성을 제공했음은 분명하지만, 이는 또한 이들 서비스 중 단 하나만 마비되어도 전 세계적으로 수십억 달러 규모의 손실과 심각한 혼란을 초래할 수 있음을 의미합니다.
최신 뉴스, 분석 및 리뷰를 피드에서 받아보려면 구글 뉴스에서 Tom's Hardware를 팔로우하거나, 저희를 선호하는 출처로 추가해 주세요.