Môžem povoliť vyhľadávanie a obmedziť tréning modelov?
Pred úpravou robots.txt si ujasnite, čo chcete povoliť a čo obmedziť. Nekopírujte zoznam názvov robotov bez kontroly aktuálnej dokumentácie poskytovateľa. Identifikátory a účely sa môžu meniť.
Ako postupovať krok za krokom
- Spíšte požadovanú dostupnosť pre vyhľadávanie a ďalšie použitie.
- Overte aktuálne identifikátory v primárnej dokumentácii služby.
- Skontrolujte účinné pravidlá pre konkrétnu cestu.
- Zohľadnite CDN, firewall a odpoveď servera nad rámec robots.txt.
- Zmenu zaznamenajte a podľa logov overte správanie známych robotov.
Praktický príklad
Vlastník chce byť dostupný vo vyhľadávaní, ale nechce povoliť niektoré ďalšie použitie obsahu. Najprv rozlíši príslušné roboty; plošný zákaz User-agent: * by zasiahol aj nechcené oblasti.
Častý omyl
Názov v User-Agent možno napodobniť. Robots.txt nie je bezpečnostná bariéra a rešpektujú ho iba spolupracujúci roboti. Citlivý obsah chráňte autentifikáciou.
Vyskúšajte report na našom webe.
Pozrite si ukážku reportu a potom zadajte vlastnú URL. Získate nálezy, HTML dôkazy a plán opráv pre svoju stránku.
Spustiť vlastný auditfukamo.com/sk
59/100Váš web potrebuje úpravy.
- Prešlo 241
- Na overenie 17
- Zlyhalo 7
- Nedostupné 8
- Kritické 0
- Vysoká priorita 5
- Bežná priorita 2
- Na overenie 17
- 01Štruktúrované dátaVysoká priorita×2
- 02BezpečnosťVysoká priorita
- 03Výkonové signályVysoká priorita
- 04VýkonVysoká priorita
- Zistenia7 na opravu241 kontrol v poriadku
- Plán opráv24 úloh7 opráv · 17 overení
- Údaje stránky3 243 slov10 obrázkov bez alt
- Výkon a prístupnosť66 / 100Mobil · Lighthouse
- Odkazy a server282 odkazov23 externých odkazov
Na čo slúžia OAI-SearchBot a GPTBot
OpenAI dokumentuje osobitné ovládanie vyhľadávania cez OAI-SearchBot a trénovania cez GPTBot. Pravidlo pre jedno meno nevyjadruje úplnú politiku pre oba účely.
- Určte verejný obsah dostupný pre vyhľadávanie.
- Obmedzenia trénovania zaznamenajte samostatne.
- Súkromné účty chráňte prihlásením.
Pre ktorého robota Anthropic má pravidlo platiť?
Anthropic rozlišuje ClaudeBot, Claude-SearchBot a Claude-User. K politike priložte dokumentáciu poskytovateľa, aby budúci správca rozumel jednotlivým pravidlám.
- Priraďte identifikátor k zdokumentovanému účelu.
- Určte hostiteľa a cestu, na ktoré pravidlo platí.
- Zapíšte vlastníka a dôvod ďalšej kontroly.
Zdroj Anthropic · crawlers ↗
Prečo môže HTTP 200 skrývať blokovanie robota
Výzva WAF môže vrátiť úspešný stav a pritom nahradiť článok. Chýbajúce nadpisy potom opisujú výzvu, nie vašu stránku.
- Overte konečnú URL, telo odpovede a presmerovania.
- Porovnajte verejný článok a obmedzenú cestu.
- Identitu robota overujte postupom poskytovateľa.
Ako overiť zmenu prístupu robotov
Oddeľte overenie konfigurácie od skutočných návštev robotov. Chýbajúca návšteva hneď po nasadení nepreukazuje chybu pravidla.
- Načítajte publikovaný robots.txt.
- Overte vzorku povolených a obmedzených URL.
- Uložte históriu konfigurácie a relevantné odpovede z logov.
Čím potvrdiť výsledok
Pre konkrétneho robota otestujte jednu povolenú a jednu obmedzenú cestu. Uložte účinné pravidlo robots.txt a odpoveď servera; návštevy v logoch overujte podľa postupu poskytovateľa.
Primárna dokumentácia developers.openai.com ↗
Časté otázky
Môžem povoliť vyhľadávanie a obmedziť tréning modelov?
Poskytovatelia môžu používať odlišné identifikátory a kontroly pre rôzne účely. Rozhodnutie preto robte podľa aktuálnej dokumentácie konkrétnej služby. Plošné blokovanie všetkých robotov môže vyradiť aj zamýšľané vyhľadávanie. Pravidlo pre jedného poskytovateľa automaticky neplatí pre ostatných.
Kedy môžete úlohu uzavrieť
Zaznamenajte účel pravidla, zdroj identifikátora a dátum overenia. Porovnajte robots.txt s CDN ochranou a skutočnými odpoveďami; samotný deklarovaný názov robota nepotvrdzuje identitu návštevníka.
Súvisiace SEO návody
Overte konkrétnu stránku.
Fukamo ukáže nálezy, dôkazy a ďalší krok.
836 pravidiel + merania SEO, AI čitateľnosti, výkonu a prístupnosti zadarmo.