Nové školení SEO a AI > 12.12.
Stopařův průvodce po světě SEO a online marketingu.
NEPROPADEJTE PANICE!
Před časem Google spustil nástroj pro kontrolu URL adresy – URL inspection tool, který najdete v nové betě Search Console. Kvůli tomu už nenajdete v Search Console formulář pro odeslání crawlera/odeslání do indexu:
Tohle je informace spíše pro mě a aby byla nalezitelná. Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.
Občas by se nám hodilo, aby jedna direktiva meta robots platila pro jeden vyhledávač a druhá pro jiná. Třeba takto při řešení stránkování pro Seznam (první zápis) a pro Google (druhý zápis): <meta name="robots" content="noindex,follow" /> <meta name="googlebot" content="index,follow" />
Většina z vás používá pro svou práci Screaming Frog a pokud testujete věší weby a nemáte neomezeně operační paměti , kterou můžete Screaming Frogu přidělit – hledáte řešení. Pokud nechcete přejít jinam, tak se vám může hodit následující návod jak využívat při crawling…