Lee el archivo robots.txt del sitio y evalúa las reglas de rastreo para la página indicada.
Lee el archivo robots.txt del sitio y evalúa las reglas de rastreo para la página indicada.
Robots.txt controla el acceso de los rastreadores que respetan sus reglas. Para Googlebot, el grupo User-agent y la ruta coincidente más específica determinan el acceso. Una regla Disallow por sí sola puede dejar la URL visible en los resultados.
¿Desea limitar el rastreo, excluir una página del índice o proteger datos privados? Son tres tareas distintas. Las reglas de Googlebot que se describen aquí no reflejan necesariamente el comportamiento de otros rastreadores.
User-agent: *
Disallow: /offers/
Allow: /offers/public/
Sitemap: https://example.com/sitemap.xmlDisallow no elimina de forma fiable una URL de las búsquedas ni protege datos privados. Un fallo del servidor de robots.txt tampoco equivale a un archivo vacío que permite todo; investigue la disponibilidad antes de cambiar las reglas de rutas.
Pegue el contenido del archivo, introduzca una URL y seleccione un rastreador. Fukamo mostrará la regla que determina el acceso a esa ruta.
Se aplica el grupo de rastreador más específico y la coincidencia de ruta más larga; en caso de empate, prevalece Allow. Se ignora el fragmento #. No se comprueban la respuesta HTTP, el WAF ni las visitas reales del rastreador. El comportamiento de cada proveedor puede variar.
Permitir el rastreo no demuestra que la página esté indexada. Disallow no equivale a noindex. Este comprobador evalúa Allow y Disallow; no valida el archivo completo. Google robots.txt ↗ · OpenAI bots ↗
Pruebe https://example.com/offers/public/bike y https://example.com/offers/draft/bike con el ejemplo. La ruta pública debe estar permitida y la de borrador bloqueada. Tenga en cuenta la versión almacenada por el rastreador después de publicar.
Compruebe el robots.txt del protocolo, host y puerto exactos. El archivo del dominio principal no describe automáticamente un subdominio separado.
En el ejemplo anterior, /offers/public/bike está permitido y /offers/draft/bike bloqueado. Una ruta similar fuera de /offers/ debe quedar sin cambios.
Disallow gestiona el rastreo. No protege un documento privado ni elimina de forma fiable de las búsquedas una URL ya conocida.
Una configuración correcta del CMS no basta si el recurso público devuelve errores o contenido antiguo. Compruebe la respuesta antes de interpretar el comportamiento del rastreador.
Referencia principal: developers.google.com ↗
Disallow restringe el rastreo, no necesariamente la aparición de una URL en los resultados. Un rastreador bloqueado puede no llegar a ver el noindex de la página. Para excluir una página pública, permita recuperarla y use la directiva de indexación adecuada. Proteja el contenido privado mediante autenticación; robots.txt no es un control de acceso.
Los rastreadores buscan /robots.txt en la raíz del host correspondiente. Los subdominios no heredan automáticamente las reglas de otros. Compruebe el archivo en el host que sirve la URL inspeccionada.
Un comprobador evalúa las reglas proporcionadas para un agente y una ruta elegidos. La CDN, el cortafuegos, la exigencia de iniciar sesión o la respuesta del servidor pueden afectar al acceso independientemente. Compare el resultado con una solicitud y respuesta reales.
Compruebe la regla efectiva para la ruta y el agente exactos e inspeccione después la respuesta sin autenticar de la página. Un archivo válido no basta si su comportamiento contradice la política de acceso prevista.
Con su consentimiento, recordaremos las direcciones recientes y los resultados de auditoría, y mediremos las visitas con Google Analytics y Google Tag Manager. Puede elegir por separado el historial y las estadísticas. No utilizamos cookies publicitarias.
Lista de cookies y terceros ↗