Protokol pro zakázání přístupu robotům

Z Multimediaexpo.cz

Protokol pro zakázání přístupu robotům (robots.txt) je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu.

Obsah 1 Příklady 2 Alternativy 2.1 HTML tagy 3 Související články 4 Externí odkazy

Příklady

Uvedením následujícího textu v souboru robots.txt lze zakázat indexování všech vyhledávačů:

User-agent: *
Disallow: /

Následující příklad zakáže všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Zakázaní googlbotu indexovat vše v adresáři /en:

User-Agent: Googlebot
Disallow: /en/

Alternativy

HTML tagy

Zakázat indexování lze i vložením následujícího HTML kódu mezi tzv. metatagy:

<meta name="robots" content="noindex,nofollow" />

Související články

• Google
• PageRank
• SEO

Externí odkazy

• Vysvětlení na Jakpsatweb.cz
• Vysvětlení (anglicky)
• Validace správnosti zapsání robots.txt
• Jak správně zapsat soubor robots.txt ?
• EN.wikipedia.org – robots.txt (anglicky)

Náklady na energie a provoz naší encyklopedie prudce vzrostly. Potřebujeme vaši podporu... Kolik ?? To je na Vás. Náš FIO účet — 2500575897 / 2010
Informace o článku. Článek je převzat z Wikipedie, otevřené encyklopedie, do které přispívají dobrovolníci z celého světa. Tento text je dostupný za podmínek Creative Commons 3.0 Unported – creativecommons.org. Originální článek na české Wikipedii