Kedy kontrolu použiť
Chcete obmedziť prehľadávanie, odstrániť stránku z indexu alebo chrániť súkromné údaje? Sú to tri rôzne úlohy. Pravidlá Googlebotu nižšie sa nemusia zhodovať so správaním iných robotov.
Vedieť, čo kontrolujete.
Robots.txt riadi prehľadávanie pre robotov, ktorí ho rešpektujú. Pre Googlebot rozhoduje skupina User-agent a najkonkrétnejšie pravidlo cesty. Samotný Disallow môže ponechať URL vo výsledkoch vyhľadávania.
Praktický príklad
User-agent: *
Disallow: /offers/
Allow: /offers/public/
Sitemap: https://example.com/sitemap.xmlČastá chyba
Disallow spoľahlivo neodstráni URL z vyhľadávania ani neochráni súkromné dáta. Chyba servera pri robots.txt tiež nie je prázdnym súborom povoľujúcim všetko; pred úpravou ciest vyriešte dostupnosť.
Otestujte pravidlá robots.txt
Vložte obsah súboru, zadajte URL a vyberte robota. Fukamo ukáže rozhodujúce pravidlo pre danú cestu.
Používame najšpecifickejšiu skupinu robota a najdlhšiu zhodu cesty; pri rovnakej zhode vyhrá Allow. Fragment # sa ignoruje. Nejde o kontrolu HTTP odpovede, WAF ani skutočnej návštevy robota. Správanie poskytovateľov sa môže líšiť.
Povolenie nie je dôkaz indexácie. Blokovanie nie je noindex. Tento tester vyhodnocuje Allow a Disallow, nie celý súbor ako validátor. Google robots.txt ↗ · OpenAI bots ↗
Rozumieť výsledku. Urobiť správnu zmenu.
Pre ktorého robota a hostiteľa platí robots.txt
Kontrolujte robots.txt pre presný protokol, hostiteľa a port. Súbor hlavnej domény automaticky nepopisuje samostatnú subdoménu.
- Pred čítaním ciest vyberte príslušnú skupinu User-agent.
- Googlebot nekombinuje konkrétnu skupinu so všeobecnou skupinou s hviezdičkou.
- Ku každej zmenenej podmienke uložte povolenú aj blokovanú testovaciu URL.
Ako otestovať pravidlá Allow a Disallow
V príklade vyššie je /offers/public/bike povolená, ale /offers/draft/bike blokovaná. Podobne pomenovaná cesta mimo /offers/ má zostať nedotknutá.
- Cesty rozlišujú veľkosť písmen; /Offers/ otestujte samostatne.
- Dlhšia zhodná cesta je konkrétnejšia; pri rovnakej konkrétnosti Google uprednostní Allow.
- Prázdny Disallow nezamieňajte s Disallow: /, ktorý sa vzťahuje na celý web.
Kedy použiť robots.txt, noindex alebo prihlásenie
Disallow riadi prehľadávanie. Nechráni súkromný dokument ani spoľahlivo neodstráni už známu URL z vyhľadávania.
- Pri vylúčení z indexu umožnite robotovi načítať pokyn noindex.
- Pri súkromnom obsahu vyžadujte prihlásenie.
- Pri kontrole JavaScript SEO nezablokujte zdroje potrebné na vykreslenie verejnej stránky.
Ako skontrolovať dostupnosť a veľkosť robots.txt
Správne nastavenie CMS nestačí, ak verejná adresa vracia chybu alebo starý obsah. Pred hodnotením správania robota skontrolujte odpoveď.
- Overte textový súbor namiesto HTML prihlásenia alebo chybovej stránky.
- Google ignoruje obsah za 500 KiB; príliš veľké zoznamy pravidiel zoskupte.
- Riešte odpovede 5xx a 429. Robots.txt so stavom 404 nie je pre Google zákazom prehľadávania.
Primárny zdroj: developers.google.com ↗
Časté otázky
Môžem odstrániť stránku z Google cez Disallow?
Disallow obmedzuje prehľadávanie, nie samotné zobrazenie URL vo výsledkoch. Ak robot nesmie načítať stránku, nemusí vidieť jej noindex. Pre verejnú stránku určenú na vyradenie povoľte načítanie a použite vhodnú indexačnú direktívu. Súkromný obsah chráňte autentifikáciou; robots.txt nie je ochrana prístupu.
Má robots.txt patriť do priečinka konkrétnej stránky?
Robot ho hľadá v koreni príslušného hostiteľa, napríklad /robots.txt. Pravidlá sa nezdedia automaticky medzi subdoménami. Overte súbor na tom hostiteľovi, z ktorého sa načítava kontrolovaná URL.
Prečo samotný tester robots.txt nestačí?
Tester posúdi pravidlá v zadanom texte pre vybraný user-agent a cestu. CDN, firewall, prihlasovanie či odpoveď servera môžu prístup ovplyvniť nezávisle. Výsledok porovnajte so skutočnou požiadavkou a odpoveďou webu.
Kedy môžete úlohu uzavrieť
Overte pravidlá pre konkrétnu cestu aj user-agent a odpoveď stránky bez prihlásenia. Cieľom nie je iba syntakticky platný súbor, ale súlad skutočného prístupu so zámerom vlastníka.