Tohle je informace spíše pro mě a aby byla nalezitelná.
Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.
@PavelUngr Robot vždy stahuje celý obsah url. SeznamBot se http hlavičkou x-robots neřídí.
— Seznam Vyhledávání (@hledani_seznam) 26. dubna 2017
@PavelUngr_Eng @JohnMu It *is* crawled
— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 25. dubna 2017
343 zhlédnutí (celkově) 3 zhlédnutí (dnes)
