Robots.txt: Kontrolujte, jak vyhledávače procházejí váš web

Naučte se používat robots.txt pro řízení chování crawlerů vyhledávačů.

Robots.txt: Kontrolujte, jak vyhledávače procházejí váš web

Co je Robots.txt?

Robots.txt je textový soubor v kořeni vašeho webu, který říká crawlerům vyhledávačů, které stránky mohou nebo nemohou procházet.

Základní syntaxe

``

User-agent: *

Allow: /

Disallow: /admin/

``

Běžné použití

  • Blokování admin oblastí
  • Blokování výsledků vyhledávání
  • Blokování AI crawlerů

    • Důležité poznámky

  • Robots.txt je veřejný
  • Není to bezpečnostní opatření
  • Přidejte odkaz na sitemapu

    • Zkontrolujte svůj robots.txt pomocí našeho bezplatného validačního nástroje.