X-robots tag nezabrání crawlingu celé URL

Tohle je informace spíše pro mě a aby byla nalezitelná.

Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.

2526 zhlédnutí (celkově) 4 zhlédnutí (dnes)
Sdílením buduješ SEO!Share on Facebook
Facebook
0Pin on Pinterest
Pinterest
0Tweet about this on Twitter
Twitter
Share on LinkedIn
Linkedin

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

CommentLuv badge