Tohle je informace spíše pro mě a aby byla nalezitelná.
Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.
@PavelUngr Robot vždy stahuje celý obsah url. SeznamBot se http hlavičkou x-robots neřídí.
— Seznam Vyhledávání (@hledani_seznam) 26. dubna 2017
@PavelUngr_Eng @JohnMu It *is* crawled
— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 25. dubna 2017
Další články, které vás budou zajímat
Ze Search Console zmizel nástroj na odeslání ke crawlingu a následně indexaci
Google akceptuje nejvíce omezující tag meta robots
Spouštění programu Screaming Frog SEO Spider na serverech Google Cloud
Webinář online marketingu pro “gastro” zdarma- Mobilní weby mají ode dneška přednost v mobilním vyhledávání
Jsem konzultant online marketingu a specializuji se na SEO a inbound marketing. Od roku 2009 jsem pracoval jako senior SEO konzultant pro největší klienty agentur Ataxo a H1.cz. Úspěšně publikuji, školím a přednáším o online marketingu, který doopravdy miluju. Jsem důsledný, zodpovědný, kritický, se smyslem pro detail.
