Experiment: Crawlují a indexují vyhledávače URL označené nofollow parametrem?

Před časem jsme se se Zdeňkem Dvořákem na Facebooku bavili o tom, jak je to s parametrem nofollow. Indexují vyhledávače URL, na kterou vede odkazy z nofollow odkazů? Mohou, pokud na ně vede i jiný odkaz. Crawlují je? Mohli by, že … ale čert ví. Takže jsem pustil experiment.

Postup experimentu

  • 4. dubna 2019 jsem vytvořil URL, o které nikdo nevěděl, nevedly na ni žádné odkazy a ani nebyla nikde uvedena. Obsah byl unikátní.
  • Na zaindexované úvodní stránce jsem přidal odkaz na tuto stránku s parametrem nofollow.
  • Ukládal jsem si logy.
  • Další měsíce jsem s webem vůbec nic nedělal a dnes jsem experiment uzavřel.

Hypotézy

  • Pokud vyhledávač vidí nofollow, stránku neindexuje.
  • Pokud vyhledávač vidí nofollow, stránku crawluje.

Výsledek experimentu

Po analýze logů od 4.4.2019 do 15.7.2019 testovaná URL https://www.experimenty.marketing/testy/crawl-nofollow.html nevykázala žádnou návštěvu robotů:

URL není zaindexovaná a zjevně ji roboti nenavštěvovali i když provoz na webu byl:

Vyhledávače úvodní stránku s odkazem procházeli:

Vyhodnocení

Na základě tohoto experimentu bychom mohli říci, že pokud na stránku vedou pouze a jen odkazy odznačené v HTML (bez použití JS) parametrem nofollow, tak je roboti vyhledávače neprocházejí a ani neindexují.

Několik ale …

To ale neznamená, že pokud na stránku nepovede jiný odkaz, že stránku vyhledávače nebudou procházet nebo indexovat. Mohou a pravděpodobně i budou.

Na další problém mne upozornila Zdeněk Nešpor v diskusi SEOloger na Facebooku – totiž, to že tam roboti nechodí, může znamenat že testovací stránka může být prostě nedůležitá a nemusí být zapojená do komplexnějších signálů.

Pravý význam nofollow (Google)

Podle oficiální dokumentace Google se můžeme dozvědět, že to, že Google weby neprochází znamená, že jim nepředává hodnocení:

Tyto odkazy obecně nejsou sledovány. To znamená, že Google na tyto odkazy nepřevádí hodnocení PageRank ani text odkazu. Použití atributu nofollow v podstatě způsobí, že cílové odkazy vypustíme z celkového grafu webu. Cílové stránky se přesto mohou zobrazit v našem indexu, pokud na ně odkazují jiné stránky bez označení nofollow nebo pokud jejich adresy URL byly odeslány společnosti Google v souboru Sitemap. Také upozorňujeme, že jiné vyhledávače mohou s atributem nofollow zacházet mírně odlišným způsobem.

Nápověda Search Console

Znamená to, že tam robot nechodí? Čert ví, pravděpodobně ano, ale jistý si 100 % nejsem.

Pravý význam nofollow (Seznam)

Vyjádření Dušana Janovského ze Seznam.cz:

Jenom se netváří, že když něco kliká jako odkaz, uživatel vidí odkaz a v kódu je to odkaz, že to není odkaz. …

… SeznamBot si Nofollow vykládá jako “tudy nechoď”, což, nutno říct, porušuje. A tam končí svět robota. To ale neznamená, že se informace o nofollow u odkazu ztrácí. Neztrácí a většinou vede k tomu, že se odkaz při vyhodnocování relevance zahazuje. A ještě jinak se může chovat u výpočtů z odkazových sítí. …

… Seznam přes ty odkazy občas chodí, protože informaci o tom, že něco je odkaz, potřebujeme v dalším zpracování (relevance, část ranků, statistické signály, výpočty BTE a spousta dalších věcí). A v těch desítkách miliard odkazů z technických důvodů nedostaneme informaci o follow/nofollow do zakládací funkce robota (jinam jo). Roboťáky to trápí natolik, že to považují za základní rys NEzpracování nofollow a na základě toho ti řeknou, že nofollow Seznam nerespektuje. Já to považuju spíše za maličkost, takže říkám, že nofollow Seznam respektuje.

Dušan Janovský

Výsledek?

Jako téměř u všeho v SEO, to záleží.

U Google, pokud opravdu zařídíte, že jiné odkazy než nofollow na cíl nepovedou, tak stránka nebude pravděpodobně v indexu a nebude se na ni převádět hodnocení. Pravděpodobně nebude ani crawlována.

U Seznamu bude pravděpodobně crawlována, ale také nebude ukládána do indexu.

17971 zhlédnutí (celkově) 2 zhlédnutí (dnes)
4.2/5 - (5 votes)

Jsem konzultant online marketingu a specializuji se na SEO a inbound marketing. Od roku 2009 jsem pracoval jako senior SEO konzultant pro největší klienty agentur Ataxo a H1.cz. Úspěšně publikuji, školím a přednáším o online marketingu, který doopravdy miluju. Jsem důsledný, zodpovědný, kritický, se smyslem pro detail.

Pavel Ungr
Jsem konzultant online marketingu a specializuji se na SEO a inbound marketing. Od roku 2009 jsem pracoval jako senior SEO konzultant pro největší klienty agentur Ataxo a H1.cz. Úspěšně publikuji, školím a přednáším o online marketingu, který doopravdy miluju. Jsem důsledný, zodpovědný, kritický, se smyslem pro detail.

Komentáře: 4

  1. Už z podstaty toho, že se nofollow má používat k reklamním linkům bych řekl, že jej robot nepoužívá jako hodnotící faktor pro vstup Pageranku. Jinak si myslím, že se robot dívá, co je za tím linkem.

  2. Dělám experimentů se SEO poměrně hodně. Před několika lety jsem dělal experiment s celou novou doménou. Google trvalo někdy dokonce až 3/4 roku než ji zaindexovalo v situaci, kdy na URI vedl jediný odkaz bez nofollow.

    Jinak řečeno, experiment v článku je zajímavý a má jistý přínos, ale pro ověření zmíněných hypotéz ohledně nofollow linku je neprůkazný. Jednak trval jen 1/4 roku, druhak by mělo být testováno více nezávislých případů.

    Dále si myslím, že situace “na stránku vede jeden nofollow odkaz” se pro Google příliš blíží situaci “na stránku žádný odkaz neodkazuje”. Pokud by na stránku vedlo třeba sto nofollow odkazů, zřejmě je to jiný signál.

    Objevila by se stránka v indexu, kdyby na URI vedlo třeba deset/sto/tisíc nofollow odkazů z 10 různých URI? Já myslím, že ano.

    Myslím, že 1/4 roku je příliš krátká doba, aby šlo něco vyvozovat. Google indexuje jen zlomek celého internetu, a rok od roku má více a více práce s tím vybrat, co bude indexovat a co nikoli. Hraje zde značnou roli čas. To, že stránka je vybrána k zaindexování je rozhodnutí sestávající z mnoha proměnných závisejících nejen na “follow” odkazu.

    1. Díky za komentář. K vaším poznámkám.

      3/4 roku na indexaci domény je strašně moc a patrně ta doména měla problém. Mě u nových domén trvá indexace v řádu dní. I proto nesouhlasím s tím, že 3 měsíce je málo. Na základě čeho myslíte, že je to málo?

      Ohledně toho, že je to jeden nofollow – to je to co jsem psal v článku, může to hrát roli, ale možná taky ne. Ale pokud děláte exerimenty běžně, budu rád když ho připravíte.

      1. To s tou doménou byl experiment. Byla to doména, kde vůbec nezáleželo na návštěvnosti z vyhledávačů – a tak jsem si dovolil experiment s jediným vnějším odkazem na doménu. To byl ten “problém”.

        Vytvářím a spravuji webové stránky několika desítkám lidí. Není to mé povolání a dělám to víceméně zdarma pro známé. Před několika lety jsem postupně uváděl několik desítek domén s různými vlastníky – a dalo se na tom báječně experimentovat. Zároveň jsem si různě statisticky zpracovával logy vyhledávačů i výsledků.

        Google indexuje jen zlomek internetu. Drtivá většina URI není dostupná přes Google. Jinak řečeno, ani Google by nezvládl ani se svými obrovskými prostředky indexovat a udržovat aktuální hledání pro celý internetový prostor.

        Statická neměnná izolovaná stránka, na kterou vede jediný odkaz, a z té stránky nevedou odkazy jinam – je naprosto ideálním kandidátem na neindexování. Případně na odložení indexace “až na někdy”.

        Dokonce se domnívám, že rozdíl v nakládání s odkazy “follow” a “nofollow” rok od roku ve vyhledávačích klesá. Každá další aktualizace vyhledávačů (nejen Google, ale třeba já mám ve statistikách několik set crawlerů, které mi navštěvují a procházejí webobé stránky) salámovou metodou krůček po krůčku přibližuje chování “nofollow” odkazů k normálním odkazům. Rozhodně pozoruji, že neizolované stránky, na kterou vedou jen “nofollow” odkazy jsou procházeny.

        1) Bylo by indexováno URI, na kterou vede řekněme sto nofollow odkazů?

        2) Bylo by indexováno URI, na kterou vede jeden/několik nofollow odkazů. Přičemž z daného URI by také vedlo např. deset odkazů na jiné už indexované URI?

        3) Bylo by indexováno URI s jedním nofollow odkazem, kdyby se obsah na daném URI dynamicky měnil řekněme jednou týdně?

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

CommentLuv badge