Lädt die robots.txt der Website und wertet die Crawler-Regeln für die angegebene Seite aus.
Lädt die robots.txt der Website und wertet die Crawler-Regeln für die angegebene Seite aus.
robots.txt steuert das Crawling durch Crawler, die die Regeln beachten. Für Googlebot zählen die User-agent-Gruppe und die spezifischste Pfadregel. Ein Disallow allein kann die URL in den Suchergebnissen belassen.
Möchten Sie Crawling einschränken, eine Seite aus dem Index entfernen oder private Daten schützen? Das sind drei verschiedene Aufgaben. Die folgenden Googlebot-Regeln müssen nicht dem Verhalten anderer Crawler entsprechen.
User-agent: *
Disallow: /offers/
Allow: /offers/public/
Sitemap: https://example.com/sitemap.xmlDisallow entfernt eine URL nicht zuverlässig aus der Suche und schützt keine privaten Daten. Ein Serverfehler bei robots.txt ist auch keine leere Datei, die alles erlaubt. Beheben Sie vor Pfadänderungen die Erreichbarkeit.
Fügen Sie den Dateiinhalt ein, geben Sie eine URL ein und wählen Sie einen Crawler. Fukamo zeigt die maßgebliche Regel für diesen Pfad.
Es gelten die spezifischste Crawler-Gruppe und die längste Pfadübereinstimmung; bei gleicher Übereinstimmung hat Allow Vorrang. Das Fragment # wird ignoriert. Geprüft werden weder die HTTP-Antwort noch die WAF oder tatsächliche Crawler-Besuche. Das Verhalten der Anbieter kann abweichen.
Eine Freigabe ist kein Beleg für die Indexierung. Eine Sperre entspricht nicht noindex. Dieser Tester wertet Allow und Disallow aus, validiert aber nicht die gesamte Datei. Google robots.txt ↗ · OpenAI bots ↗
Testen Sie als Gegenprobe https://example.com/offers/public/bike und https://example.com/offers/draft/bike. Der öffentliche Pfad sollte erlaubt und der Entwurf blockiert sein. Berücksichtigen Sie nach der Veröffentlichung die beim Crawler zwischengespeicherte Version.
Prüfen Sie robots.txt für das genaue Protokoll, den Host und den Port. Die Datei der Hauptdomain beschreibt nicht automatisch eine separate Subdomain.
Im obigen Beispiel ist /offers/public/bike erlaubt, /offers/draft/bike dagegen blockiert. Ein ähnlich benannter Pfad außerhalb von /offers/ sollte unberührt bleiben.
Disallow steuert das Crawling. Es schützt weder ein privates Dokument noch entfernt es eine bereits bekannte URL zuverlässig aus der Suche.
Eine korrekte CMS-Einstellung reicht nicht, wenn die öffentliche Adresse einen Fehler oder veraltete Inhalte liefert. Prüfen Sie vor der Bewertung des Crawler-Verhaltens die Antwort.
Primärquelle: developers.google.com ↗
Disallow beschränkt das Crawling, nicht die Anzeige der URL in Suchergebnissen. Darf der Crawler die Seite nicht abrufen, sieht er möglicherweise auch ihr noindex nicht. Erlauben Sie bei einer öffentlichen Seite, die entfernt werden soll, den Abruf und verwenden Sie eine passende Indexierungsdirektive. Schützen Sie private Inhalte durch Authentifizierung; robots.txt schützt keinen Zugriff.
Crawler suchen die Datei im Stammverzeichnis des jeweiligen Hosts, zum Beispiel unter /robots.txt. Regeln werden nicht automatisch zwischen Subdomains vererbt. Prüfen Sie die Datei auf dem Host, von dem die kontrollierte URL geladen wird.
Ein Tester bewertet die eingegebenen Regeln für einen ausgewählten User-Agent und Pfad. CDN, Firewall, Anmeldung oder Serverantwort können den Zugriff unabhängig davon beeinflussen. Vergleichen Sie das Ergebnis mit einer tatsächlichen Anfrage und Antwort der Website.
Prüfen Sie Regeln für den konkreten Pfad und User-Agent sowie die Antwort der nicht angemeldeten Seite. Ziel ist nicht nur eine syntaktisch gültige Datei, sondern ein tatsächlicher Zugriff, der der Absicht des Betreibers entspricht.
Mit Ihrer Zustimmung speichern wir zuletzt verwendete Adressen und Auditergebnisse und messen Besuche mit Google Analytics und Google Tag Manager. Verlauf und Analyse können Sie getrennt erlauben. Wir verwenden keine Werbe-Cookies.
So gehen wir mit Daten um ↗Liste von Cookies und Drittanbietern ↗