X-robots tag nezabrání crawlingu celé URL

Tohle je informace spíše pro mě a aby byla nalezitelná.

Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.

343 zhlédnutí (celkově) 3 zhlédnutí (dnes)
Sdílením buduješ SEO!Share on Facebook
Facebook
0Pin on Pinterest
Pinterest
0Tweet about this on Twitter
Twitter
Share on LinkedIn
Linkedin

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

CommentLuv badge