Môžem povoliť vyhľadávanie a obmedziť tréning modelov?
Pred úpravou robots.txt si ujasnite, čo chcete povoliť a čo obmedziť. Nekopírujte zoznam názvov robotov bez kontroly aktuálnej dokumentácie poskytovateľa. Identifikátory a účely sa môžu meniť.
Ako postupovať krok za krokom
- Spíšte požadovanú dostupnosť pre vyhľadávanie a ďalšie použitie.
- Overte aktuálne identifikátory v primárnej dokumentácii služby.
- Skontrolujte účinné pravidlá pre konkrétnu cestu.
- Zohľadnite CDN, firewall a odpoveď servera nad rámec robots.txt.
- Zmenu zaznamenajte a podľa logov overte správanie známych robotov.
Praktický príklad
Vlastník chce byť dostupný vo vyhľadávaní, ale nechce povoliť niektoré ďalšie použitie obsahu. Najprv rozlíši príslušné roboty; plošný zákaz User-agent: * by zasiahol aj nechcené oblasti.
Častý omyl
Názov v User-Agent možno napodobniť. Robots.txt nie je bezpečnostná bariéra a rešpektujú ho iba spolupracujúci roboti. Citlivý obsah chráňte autentifikáciou.
Vyskúšajte report na našom webe.
Pozrite si ukážku reportu a potom zadajte vlastnú URL. Získate nálezy, HTML dôkazy a plán opráv pre svoju stránku.
Spustiť vlastný audit
fukamo.com/sk16. septembra 2026
59/ 100
Veľkosť HTML odpovede · limit Fukamo 200 kB
- Dôkaz
- 314476 bajtov dekódovaného HTML; nejde o prenesenú komprimovanú veľkosť.
- Oprava
- Zmenšite nadbytočné HTML a inline dáta. Limit 200 kB je rozpočet Fukamo, nie limit Googlu ani komprimovaného prenosu.
Objem inline JS · limit Fukamo 64 KiB
- Dôkaz
- 4 blokov; 179621 bajtov pred prenosovou kompresiou.
- Oprava
- Znížte objem inline dát nad rozpočet Fukamo 64 KiB. Porovnajte externý cachovateľný súbor a zmerajte dopad.
ImageObject · základné údaje
- Dôkaz
- 1 entít. Chýbajúce údaje: ImageObject #1: contentUrl.
- Oprava
- Overte vhodné vlastnosti pre tento typ. Kontrola vybranej sady nenahrádza úplnú validáciu ani nárok na rich result.
Ilustrácie majú potrebný kontext
- Dôkaz
- 1 z 1 figure prvkov nemá textový figcaption.
- Oprava
- Pridajte popis, ak obrázok potrebuje vysvetlenie. Figcaption nie je povinný a nenahrádza alt.
Na čo slúžia OAI-SearchBot a GPTBot
OpenAI dokumentuje osobitné ovládanie vyhľadávania cez OAI-SearchBot a trénovania cez GPTBot. Pravidlo pre jedno meno nevyjadruje úplnú politiku pre oba účely.
- Určte verejný obsah dostupný pre vyhľadávanie.
- Obmedzenia trénovania zaznamenajte samostatne.
- Súkromné účty chráňte prihlásením.
Pre ktorého robota Anthropic má pravidlo platiť?
Anthropic rozlišuje ClaudeBot, Claude-SearchBot a Claude-User. K politike priložte dokumentáciu poskytovateľa, aby budúci správca rozumel jednotlivým pravidlám.
- Priraďte identifikátor k zdokumentovanému účelu.
- Určte hostiteľa a cestu, na ktoré pravidlo platí.
- Zapíšte vlastníka a dôvod ďalšej kontroly.
Zdroj Anthropic · crawlers ↗
Prečo môže HTTP 200 skrývať blokovanie robota
Výzva WAF môže vrátiť úspešný stav a pritom nahradiť článok. Chýbajúce nadpisy potom opisujú výzvu, nie vašu stránku.
- Overte konečnú URL, telo odpovede a presmerovania.
- Porovnajte verejný článok a obmedzenú cestu.
- Identitu robota overujte postupom poskytovateľa.
Ako overiť zmenu prístupu robotov
Oddeľte overenie konfigurácie od skutočných návštev robotov. Chýbajúca návšteva hneď po nasadení nepreukazuje chybu pravidla.
- Načítajte publikovaný robots.txt.
- Overte vzorku povolených a obmedzených URL.
- Uložte históriu konfigurácie a relevantné odpovede z logov.
Čím potvrdiť výsledok
Pre konkrétneho robota otestujte jednu povolenú a jednu obmedzenú cestu. Uložte účinné pravidlo robots.txt a odpoveď servera; návštevy v logoch overujte podľa postupu poskytovateľa.
Primárna dokumentácia developers.openai.com ↗
Časté otázky
Môžem povoliť vyhľadávanie a obmedziť tréning modelov?
Poskytovatelia môžu používať odlišné identifikátory a kontroly pre rôzne účely. Rozhodnutie preto robte podľa aktuálnej dokumentácie konkrétnej služby. Plošné blokovanie všetkých robotov môže vyradiť aj zamýšľané vyhľadávanie. Pravidlo pre jedného poskytovateľa automaticky neplatí pre ostatných.
Kedy môžete úlohu uzavrieť
Zaznamenajte účel pravidla, zdroj identifikátora a dátum overenia. Porovnajte robots.txt s CDN ochranou a skutočnými odpoveďami; samotný deklarovaný názov robota nepotvrdzuje identitu návštevníka.
Súvisiace SEO návody
Overte konkrétnu stránku.
Fukamo ukáže nálezy, dôkazy a ďalší krok.
836 pravidiel + merania SEO, AI čitateľnosti, výkonu a prístupnosti zadarmo.