Tohle je informace spíše pro mě a aby byla nalezitelná.
Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.
@PavelUngr Robot vždy stahuje celý obsah url. SeznamBot se http hlavičkou x-robots neřídí.
— Seznam Vyhledávání (@hledani_seznam) 26. dubna 2017
@PavelUngr_Eng @JohnMu It *is* crawled
— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 25. dubna 2017
Další články, které vás budou zajímat
Ze Search Console zmizel nástroj na odeslání ke crawlingu a následně indexaci
Google akceptuje nejvíce omezující tag meta robots
Spouštění programu Screaming Frog SEO Spider na serverech Google Cloud
Vyjádření Xhostingu k výpadkům v komunikaci po převzetí webhostingu Kapusta
Jak spouštět Open Refine s větší přidělenou pamětí ve Windows 10
Jsem konzultant online marketingu a specializuji se na SEO a inbound marketing. Od roku 2009 jsem pracoval jako senior SEO konzultant pro největší klienty agentur Ataxo a H1.cz. Úspěšně publikuji, školím a přednáším o online marketingu, který doopravdy miluju. Jsem důsledný, zodpovědný, kritický, se smyslem pro detail.
