Crawlerele AI consuma din ce in ce mai multa banda — Cum raspund companiile de hosting

Daca ai un site web, exista sanse mari ca in acest moment sa fie accesat de crawlere AI mult mai intens decat acum un an. Volumul cererilor generate de acesti boti a crescut cu 18% intre mai 2024 si mai 2025, iar tendinta nu da semne de incetinire. Pentru companiile de hosting, asta inseamna costuri mai mari cu banda si incarcarea serverelor — si fiecare a ales sa raspunda diferit.

Dimensiunea problemei: 50 de miliarde de cereri pe zi

Conform datelor din martie 2025, doar pe reteaua Cloudflare se inregistreaza zilnic aproximativ 50 de miliarde de cereri de la crawlere AI. Aceasta reprezinta sub 1% din traficul total, dar impactul asupra serverelor de hosting partajat este disproportionat — fiecare cerere consuma cicluri CPU, banda si operatiuni de I/O.

GPTBot (OpenAI) a crescut de la 5% la 30% din piata de crawlere AI, cu o crestere de 305% in volumul brut de cereri. Bytespider de la ByteDance a avut o traiectorie inversa — a scazut de la 42% la 7% din cota de piata, dupa ce a fost documentat ca face scraping de 25 de ori mai rapid decat GPTBot si de 3.000 de ori mai rapid decat ClaudeBot.

Un exemplu concret: platforma Read the Docs a reusit sa isi reduca consumul zilnic de banda de la 800 GB la 200 GB — o scadere de 75% — pur si simplu blocand crawlerele AI.

Doua tipuri de crawlere, doua abordari diferite

Inainte de a intelege cum raspund companiile de hosting, e important sa facem o distinctie. Exista doua categorii de crawlere AI:

• Crawlere de antrenament — GPTBot, ClaudeBot, Bytespider, CCBot — colecteaza date pentru a antrena modele de limbaj. Consuma mult trafic si nu ofera beneficii directe site-ului.
• Crawlere de actiune — ChatGPT-User, OAI-SearchBot, PerplexityBot, Gemini-Deep-Research — sunt declansate de utilizatori si pot genera trafic catre site-ul tau. Functioneaza similar cu un motor de cautare.

Aceasta distinctie devine din ce in ce mai importanta. Unele companii de hosting blocheaza doar crawlerele de antrenament, pastrand pe cele de actiune care pot aduce vizitatori.

Cloudflare: de la buton de blocare la model de monetizare

Cloudflare a avut cea mai agresiva evolutie pe acest subiect. In iulie 2024, a introdus un buton "AI Scrapers and Crawlers" disponibil pe toate planurile. Un an mai tarziu, in iulie 2025, a facut blocare automata pentru toate domeniile noi.

Dar cea mai interesanta miscare a fost lansarea modelului pay-per-crawl — rebranduit ulterior ca AI Crawl Control. In loc sa blocheze pur si simplu crawlerele, Cloudflare ofera acum trei optiuni per crawler: Allow (permite accesul), Charge (solicita plata pentru acces) sau Block (blocheaza complet). Practic, transforma traficul AI dintr-un cost intr-o sursa potentiala de venit.

SiteGround: blocare selectiva, cu exceptii

SiteGround a ales o abordare mai nuantata. Blocheaza la nivel de server crawlerele de antrenament, dar permite crawlerele de actiune care pot genera trafic. Clientii care doresc exceptii pot configura reguli prin .htaccess sau pot contacta suportul.

IONOS: rate limiting pe hosting partajat

IONOS, furnizorul german cu prezenta globala, a adoptat o abordare bazata pe rate limiting. Pe planurile de hosting partajat, crawlerele de antrenament precum GPTBot si ClaudeBot primesc raspunsuri HTTP 429 (Too Many Requests). Crawlerele de actiune — OAI-SearchBot, ChatGPT-User — sunt in continuare permise.

Scopul declarat al IONOS este protectia infrastructurii, nu controlul asupra continutului. O abordare pragmatica care reduce incarcarea serverelor fara a elimina potentialul de trafic de la platformele AI.

WP Engine vs. Kinsta: doua filozofii opuse

In ecosistemul WordPress gestionat, diferentele sunt vizibile. WP Engine a blocat 75 de miliarde de cereri de la boturi in 2025, folosind un layer WAF bazat pe Cloudflare. Mai mult, si-a actualizat politica de facturare pentru a exclude traficul generat de boturi din calculul de banda.

Kinsta a ales exact opusul — nu blocheaza nimic si absoarbe costurile suplimentare. Filozofia lor: clientul decide. Daca un utilizator Kinsta vrea sa blocheze crawlerele AI, trebuie sa foloseasca un cont extern Cloudflare sau alte instrumente.

Website buildere: Squarespace conduce, Wix ramane in urma

Squarespace ofera un checkbox dedicat "Block known artificial intelligence crawlers" care blocheaza peste 20 de agenti AI, inclusiv GPTBot, ClaudeBot si Bytespider. Optiunea este dezactivata implicit — utilizatorul alege daca o activeaza.

Wix, in schimb, ofera doar un editor robots.txt. Daca vrei sa blochezi crawlere AI pe Wix, trebuie sa adaugi manual directive user-agent — nu exista niciun buton dedicat.

Ce inseamna asta pentru proprietarii de site-uri

Raspunsul fragmentat al industriei creeaza o situatie in care alegerea furnizorului de hosting influenteaza direct cat de expus esti la traficul de crawlere AI. Cateva lucruri de retinut:

• Verifica setarile furnizorului tau — unii furnizori blocheaza crawlerele de antrenament implicit, altii nu fac nimic. Daca esti pe hosting partajat, serverul tau imparte resursele cu alte site-uri, iar impactul e mai mare.
• Diferentiaza intre crawlere — blocarea tuturor crawlerelor AI poate insemna sa pierzi trafic de la platformele de cautare AI (Perplexity, ChatGPT Search). Blocheaza crawlerele de antrenament si pastreaza-le pe cele de actiune.
• robots.txt nu e suficient — directivele robots.txt sunt respectate voluntar. Unele crawlere le ignora. Solutiile la nivel de server sau firewall sunt mai eficiente.
• Monitorizeaza banda — daca observi cresteri neasteptate de banda, crawlerele AI ar putea fi cauza. Pluginuri WordPress precum Bot Traffic Shield sau Known Agents ofera analytics si blocare automata.

Un subiect care abia incepe

Traficul de crawlere AI nu va scadea — dimpotriva. Pe masura ce apar noi modele de limbaj si noi platforme de cautare AI, volumul de cereri va continua sa creasca. Companiile de hosting care ofera instrumente clare de control (precum Cloudflare, SiteGround sau IONOS) au un avantaj competitiv real fata de cele care lasa problema in sarcina utilizatorului.

Modelul pay-per-crawl al Cloudflare ar putea deveni un standard al industriei — transformand traficul AI dintr-un cost intr-o sursa de venituri. Dar pana acolo, cea mai buna protectie ramane informarea: stii ce crawlere iti acceseaza site-ul si ai instrumentele sa le controlezi?