올해 초 개방형 AI 생태계 프레임워크를 발표한 이 비영리 단체는 최근 '지불형 크롤링(pay-to-crawl)' 기술에 우호적인 입장을 밝혔습니다. 지불형 크롤링이란 AI 웹 크롤러 같은 기계가 웹사이트 콘텐츠에 접근할 때 자동으로 비용을 지불하도록 하는 시스템입니다.
크리에이티브 커먼즈(Creative Commons, CC)는 저작권을 유지하면서 창작자가 자신의 저작물을 공유할 수 있도록 하는 라이선싱 운동을 주도한 것으로 가장 잘 알려져 있습니다. 이 조직은 지난 7월, 데이터를 소유한 기업과 해당 데이터를 활용해 훈련하려는 AI 제공업체 간의 데이터 세트 공유를 위한 법적·기술적 프레임워크 마련 계획을 발표하기도 했습니다.
현재 CC는 해당 지불형 크롤링 시스템을 잠정적으로 지지하며 "신중한 지지(cautiously supportive)" 입장을 전했습니다.
CC 블로그에 따르면, "책임 있게 구현될 경우, 지불형 크롤링은 웹사이트가 자체 콘텐츠의 제작 및 공유를 지속하고, 대체 사용을 관리할 수 있는 방안이 될 수 있습니다. 이를 통해 콘텐츠가 그렇지 않았다면 공유되지 않았거나, 훨씬 더 제한적인 결제 장벽 뒤에 사라졌을 곳에서도 대중에게 접근 가능하도록 유지할 수 있습니다."
클라우드플레어(Cloudflare)와 같은 기업들이 주도하는 지불형 크롤링의 핵심 아이디어는 AI 봇이 모델 훈련이나 업데이트를 위해 사이트를 스크랩할 때마다 비용을 청구하는 것입니다.
과거 웹사이트는 크롤러가 자신들의 콘텐츠를 수집하여 구글 같은 검색 엔진에 포함하는 것을 자유롭게 허용했습니다. 웹사이트는 이러한 방식으로 검색 결과에 노출되어 방문자와 클릭을 유도하는 이점을 얻었습니다. 그러나 AI 기술의 등장으로 이러한 구도가 근본적으로 바뀌었습니다. 소비자가 AI 챗봇을 통해 답변을 얻는 경우, 원 출처를 클릭할 가능성은 현저히 낮아졌기 때문입니다.
이 변화는 이미 출판사들에게 검색 트래픽 감소라는 치명타를 입혔으며, 그 심각성은 꺾일 기미가 보이지 않습니다.
반면 지불형 크롤링 시스템은 출판사들이 AI로 인해 타격받은 수익 구조를 회복하는 데 도움을 줄 수 있습니다. 또한, 이는 AI 제공업체와 일회성 콘텐츠 계약을 협상할 경제적 힘이 부족한 소규모 웹 출판사들에게 특히 유리할 수 있습니다. 현재 OpenAI와 Condé Nast 간, Perplexity와 Gannett 간, Amazon과 The New York Times 간, Meta와 여러 미디어 출판사 간 등 대규모 계약들이 이미 체결된 바 있습니다.
다만 CC는 지불형 크롤링에 대한 지지 의사를 표명하면서도 몇 가지 주의사항을 함께 제시했습니다. 이러한 시스템이 웹 상의 권한을 집중시키고, "연구원, 비영리 단체, 문화유산 기관, 교육자, 공익을 위해 활동하는 기타 주체"의 콘텐츠 접근을 차단할 위험이 있다는 점을 지적했습니다.
CC는 책임 있는 지불형 크롤링을 위한 여러 원칙을 제안했습니다. 여기에는 지불형 크롤링을 모든 웹사이트의 기본 설정으로 삼지 않아야 하며, 웹 전체에 대한 포괄적인 규제를 피해야 한다는 점이 포함됩니다. 또한, 이러한 시스템은 단순히 접근을 차단하는 것(blocking)을 넘어 속도를 조절(throttling)하는 기능을 허용해야 하며, 공공의 이익에 기반한 접근성을 보존해야 한다고 강조했습니다. 아울러 개방적이고 상호 운용성이 높으며 표준화된 구성 요소로 구축되어야 한다고 덧붙였습니다.
지불형 크롤링 분야에 투자하는 기업은 클라우드플레어에 국한되지 않습니다. 마이크로소프트(Microsoft) 역시 출판사 전용 AI 마켓플레이스를 구축하고 있으며, ProRata.ai나 TollBit과 같은 소규모 스타트업들도 이 시장에 진입하고 있습니다. 또한 RSL 컬렉티브(RSL Collective)라는 그룹은 크롤러가 웹사이트의 어떤 부분에 접근할 수 있을지 지정하지만, 실제 차단은 하지 않는 '진정으로 단순한 라이선스(Really Simple Licensing, RSL)'라는 새로운 표준 사양을 발표했습니다.
이후 클라우드플레어, 아카마이(Akamai) 등 여러 주체가 RSL을 채택했으며, 이는 야후(Yahoo), 지프 데이비스(Ziff Davis), 오라일리 미디어(O’Reilly Media) 등의 지지를 받고 있습니다.
CC 역시 RSL 지지 주체 중 하나로 나섰으며, CC signals와 함께 AI 시대를 위한 기술 및 도구 개발이라는 광범위한 프로젝트를 진행하고 있습니다.