매튜 프린스(Matthew Prince) 클라우드플레어(Cloudflare) CEO에 따르면, 웹 공간은 현재 봇(bot)들이 장악하고 있습니다. 프린스는 이번 주 오스틴에서 열린 SXSW 컨퍼런스 인터뷰에서, 인공지능(AI)의 급격한 성장 속도를 고려할 때 2027년에는 AI 봇 트래픽이 온라인상 인간 트래픽을 초과할 것이라고 전망했습니다.
프린스는 봇의 웹 사용량 증가가 생성형 AI 기술의 발전과 맞물려 발생했다고 설명합니다. 그 배경에는 봇이 사용자들의 챗봇 질의에 답하기 위해 인간보다 훨씬 광범위하게 사이트를 방문할 수 있는 능력이 있기 때문입니다.
프린스는 "인간이 특정 과제(예: 디지털카메라 쇼핑)를 수행한다고 가정해 봅시다. 사람이 다섯 개의 웹사이트를 방문할지라도, 이 작업을 수행하는 에이전트나 봇은 실제 인간이 방문하는 사이트보다 1,000배가량 많은 곳을 방문하는 경우가 많습니다"라며, "따라서 5,000개의 사이트를 방문할 수도 있습니다. 이것은 모두 실제 트래픽이자 실제 부하(load)이며, 모든 이해관계자가 반드시 감안해야 할 문제입니다"라고 강조했습니다.
프린스에 따르면, 생성형 AI 시대 이전까지는 인터넷 트래픽 중 봇 트래픽이 약 20%에 불과했으며, 그중 구글(Google)의 웹 크롤러가 가장 큰 비중을 차지했습니다. 그의 회사 인프라 및 보안 솔루션은 전체 웹사이트의 5분의 1에서 사용되고 있습니다. 그러나 기존의 주요 크롤러를 제외한 봇들은 대부분 사기꾼이나 악의적인 행위자들이 사용하는 것이었습니다.
그는 "생성형 AI의 부상과 데이터에 대한 끝없는 수요와 함께, 저희는 2027년에는 온라인 봇 트래픽이 인간 트래픽을 추월하는 증가세가 나타날 것으로 예상합니다"라고 덧붙였습니다.
이 임원은 이러한 웹 환경의 변화가, AI 에이전트를 필요할 때 즉시 구축했다가 작업 완료 후 해체할 수 있는 '샌드박스'와 같은 신기술의 개발을 요구할 것이라고 지적했습니다. 이는 소비자가 여행 계획과 같은 특정 작업을 에이전트에게 위임할 때 활용될 수 있습니다.
프린스는 "우리가 고민하는 지점은, 마치 웹 브라우저에서 새 탭을 여는 것처럼 손쉽게, 온라인에 존재하는 에이전트들을 실행하고 서비스할 수 있는 기반 인프라를 어떻게 구축할 수 있느냐"라고 설명했습니다.
그는 조만간 에이전트를 위한 수백만 개의 "샌드박스"가 매초 생성되는 시기가 올 것이라 상상했습니다.
물론, 이러한 규모의 봇 사용은 데이터 센터 및 서버 형태의 물리적 인프라를 필수적으로 요구합니다. 프린스는 코로나19 기간 동안 인터넷 트래픽이 너무 빠르게 증가하여, 특히 유튜브(YouTube), 디즈니(Disney), 넷플릭스(Netflix) 같은 비디오 스트리밍 서비스 부문에서 일부 인터넷 구간이 포화 상태에 이르렀음을 지적했습니다.
프린스는 "현재의 성장세는 코로나 팬데믹 때처럼 2주 만에 급등했다가 새로운 고점에서 횡보한 형태가 아니라, 트래픽이 지속적이고 꾸준하게 증가하는 추세입니다. 그리고 이 증가세가 둔화하거나 멈출 징후는 보이지 않습니다"라고 덧붙였습니다.
과부하에 대한 이러한 모든 우려는 웹사이트의 높은 가용성(availability) 유지, 빠른 로딩, 공격 방어에 초점을 맞춘 클라우드플레어에게 핵심적인 마케팅 강점입니다. 이 회사는 콘텐츠 전송 네트워크(CDN), 일련의 보안 및 DDoS 방어 솔루션, 그리고 주 서버가 장애나 오프라인 상태일 때 웹사이트의 캐시된 버전을 제공하는 "Always Online" 기술을 제공합니다. 아울러 기업들이 원하지 않는 AI 봇 트래픽을 차단하는 도구까지 제공합니다.
그럼에도 불구하고 클라우드플레어는 이러한 독보적인 규모를 바탕으로 인터넷의 지속적인 진화 과정과 생성형 AI 시대가 직면하는 급변하는 과제들을 선제적으로 파악할 수 있다는 이점을 갖습니다.
프린스는 웹의 과거 플랫폼 전환(예: 데스크톱에서 모바일로의 변화)을 언급하며, "대중이 AI의 가치를 충분히 인식하지 못하는 점은, 그것이 근본적인 플랫폼 전환점이라는 사실입니다. AI는 또 다른 플랫폼 전환점이며, 우리가 정보를 소비하는 방식 자체가 완전히 달라질 것입니다"라고 강조하며 마무리했습니다.