Roboti dnes na některých e-shopech tvoří více než 60 % požadavků na server. Vedle Googlebotu přibyli AI crawleři, chatovací agenti a scrapery, které se často vydávají za někoho jiného. Každý jejich požadavek zatěžuje server, a ve špičce to mohou odnést reální zákazníci i SEO.
Na reálných datech ukážeme, kdo na web skutečně chodí, jak jednotlivé typy botů rozpoznat a jak ovlivňují odezvu serveru a Core Web Vitals. Probereme možnosti řízení přístupu pomocí robots.txt, Content Signals, llms.txt a cache. A hlavně ukážeme, jak nasadit Cloudflare tak, abyste spolu s nežádoucími roboty neodřízli také vyhledávače nebo důležitý obsah.
Co si odnesete
- Jak v serverových záznamech rozlišit vyhledávače, AI crawlery, agenty a scrapery
- Jak provoz botů ovlivňuje rychlost webu, Core Web Vitals a SEO
- Co skutečně respektují robots.txt, Content Signals a llms.txt
- Jak řídit přístup AI nástrojů k obsahu webu
- Jak nastavit Cloudflare bez poškození indexace a organické návštěvnosti
Tomáš Svoboda je specialista na rychlost webu v PageSpeed.ONE. Zaměřuje se na oblasti jako je backend, bezpečnost, infrastruktura, včetně Cloudflare. Řeší také specifické CMS jako WordPress, Shopify a další.
