Kontrola robots.txt
Načíta robots.txt webu a vyhodnotí pravidlá crawlerov pre zadanú stránku.
Otestujte pravidlá robots.txt
Vložte obsah súboru, zadajte URL a vyberte robota. Fukamo ukáže rozhodujúce pravidlo pre danú cestu.
Používame najšpecifickejšiu skupinu robota a najdlhšiu zhodu cesty; pri rovnakej zhode vyhrá Allow. Fragment # sa ignoruje. Nejde o kontrolu HTTP odpovede, WAF ani skutočnej návštevy robota. Správanie poskytovateľov sa môže líšiť.
Povolenie nie je dôkaz indexácie. Blokovanie nie je noindex. Tento tester vyhodnocuje Allow a Disallow, nie celý súbor ako validátor. Google robots.txt ↗ · OpenAI bots ↗
Môžem odstrániť stránku z Google cez Disallow?
Chcete obmedziť prehľadávanie, odstrániť stránku z indexu alebo chrániť súkromné údaje? Sú to tri rôzne úlohy. Pravidlá Googlebotu nižšie sa nemusia zhodovať so správaním iných robotov.
Ak robots.txt povoľuje produkt, ale Search Console uvádza vylúčenie, skontrolujte canonical URL na produkte a jeho indexáciu. XML sitemap má uvádzať preferovanú produktovú adresu. Tieto tri signály porovnávajte na tej istej URL.
Ako postupovať krok za krokom
- Načítajte /robots.txt presného hostiteľa a skontrolujte stav odpovede.
- Vyberte príslušnú skupinu User-agent a otestujte povolenú aj blokovanú URL.
- Overte veľkosť písmen a konkrétnosť cesty; pri zhode Googlebot uprednostní Allow.
- Publikujte opravu a znovu otestujte doručený súbor aj zdroje potrebné na vykreslenie.
Ako povoliť stránku blokovanú cez robots.txt
Výuková ukážka; adresy example.com sú ilustračné.
Pred úpravou
User-agent: *
Disallow: /offers/Po úprave
User-agent: *
Disallow: /offers/
Allow: /offers/public/Do testera vložte URL https://example.com/offers/public/bike. Pred úpravou je blokovaná; po úprave vyhrá dlhšia zhoda Allow. URL https://example.com/offers/draft/bike zostáva blokovaná. Otestujte obe.
Častý omyl
Disallow spoľahlivo neodstráni URL z vyhľadávania ani neochráni súkromné dáta. Chyba servera pri robots.txt tiež nie je prázdnym súborom povoľujúcim všetko; pred úpravou ciest vyriešte dostupnosť.
Vyskúšajte report na našom webe.
Pozrite si ukážku reportu a potom zadajte vlastnú URL. Získate nálezy, HTML dôkazy a plán opráv pre svoju stránku.
Spustiť vlastný audit
Pre ktorého robota a hostiteľa platí robots.txt
Kontrolujte robots.txt pre presný protokol, hostiteľa a port. Súbor hlavnej domény automaticky nepopisuje samostatnú subdoménu.
- Pred čítaním ciest vyberte príslušnú skupinu User-agent.
- Googlebot nekombinuje konkrétnu skupinu so všeobecnou skupinou s hviezdičkou.
- Ku každej zmenenej podmienke uložte povolenú aj blokovanú testovaciu URL.
Ako otestovať pravidlá Allow a Disallow
V príklade vyššie je /offers/public/bike povolená, ale /offers/draft/bike blokovaná. Podobne pomenovaná cesta mimo /offers/ má zostať nedotknutá.
- Cesty rozlišujú veľkosť písmen; /Offers/ otestujte samostatne.
- Dlhšia zhodná cesta je konkrétnejšia; pri rovnakej konkrétnosti Google uprednostní Allow.
- Prázdny Disallow nezamieňajte s Disallow: /, ktorý sa vzťahuje na celý web.
Kedy použiť robots.txt, noindex alebo prihlásenie
Disallow riadi prehľadávanie. Nechráni súkromný dokument ani spoľahlivo neodstráni už známu URL z vyhľadávania.
- Pri vylúčení z indexu umožnite robotovi načítať pokyn noindex.
- Pri súkromnom obsahu vyžadujte prihlásenie.
- Pri kontrole JavaScript SEO nezablokujte zdroje potrebné na vykreslenie verejnej stránky.
Ako skontrolovať dostupnosť a veľkosť robots.txt
Správne nastavenie CMS nestačí, ak verejná adresa vracia chybu alebo starý obsah. Pred hodnotením správania robota skontrolujte odpoveď.
- Overte textový súbor namiesto HTML prihlásenia alebo chybovej stránky.
- Google ignoruje obsah za 500 KiB; príliš veľké zoznamy pravidiel zoskupte.
- Riešte odpovede 5xx a 429. Robots.txt so stavom 404 nie je pre Google zákazom prehľadávania.
Čím potvrdiť výsledok
Proti príkladu otestujte https://example.com/offers/public/bike a https://example.com/offers/draft/bike. Verejná cesta má byť povolená a koncept blokovaný. Po publikovaní zohľadnite verziu uloženú v cache robota.
Primárna dokumentácia developers.google.com ↗
Časté otázky
Môžem odstrániť stránku z Google cez Disallow?
Disallow obmedzuje prehľadávanie, nie samotné zobrazenie URL vo výsledkoch. Ak robot nesmie načítať stránku, nemusí vidieť jej noindex. Pre verejnú stránku určenú na vyradenie povoľte načítanie a použite vhodnú indexačnú direktívu. Súkromný obsah chráňte autentifikáciou; robots.txt nie je ochrana prístupu.
Má robots.txt patriť do priečinka konkrétnej stránky?
Robot ho hľadá v koreni príslušného hostiteľa, napríklad /robots.txt. Pravidlá sa nezdedia automaticky medzi subdoménami. Overte súbor na tom hostiteľovi, z ktorého sa načítava kontrolovaná URL.
Prečo samotný tester robots.txt nestačí?
Tester posúdi pravidlá v zadanom texte pre vybraný user-agent a cestu. CDN, firewall, prihlasovanie či odpoveď servera môžu prístup ovplyvniť nezávisle. Výsledok porovnajte so skutočnou požiadavkou a odpoveďou webu.
Kedy môžete úlohu uzavrieť
Overte pravidlá pre konkrétnu cestu aj user-agent a odpoveď stránky bez prihlásenia. Cieľom nie je iba syntakticky platný súbor, ale súlad skutočného prístupu so zámerom vlastníka.
Súvisiace SEO návody
Overte konkrétnu stránku.
Fukamo ukáže nálezy, dôkazy a ďalší krok.
679 pravidiel + merania SEO, AI čitateľnosti, výkonu a prístupnosti zadarmo.