Sirve para probar un archivo antes de subirlo, o uno que está detrás de contraseña.
El robots.txt se lee desde nuestra función en Cloudflare y no se guarda. Lo que pegas y las URLs que pruebas no salen de tu navegador.
Resultado
—
Lee un robots.txt o pega uno para empezar.
El archivo
Rastreadores de IA
Qué puede hacer cada uno con la portada y con la URL probada, según este archivo.
| Rastreador | Portada (/) | URL probada |
|---|---|---|
| Google-ExtendedEntrenamiento de los modelos de IA de Google (Gemini). Bloquearlo no afecta a la búsqueda. | ||
| Applebot-ExtendedEntrenamiento de los modelos de Apple. Bloquearlo no afecta a Siri. | ||
| GPTBotOpenAI: entrenamiento de modelos. | ||
| ChatGPT-UserOpenAI: cuando una persona pide a ChatGPT que lea una página. | ||
| OAI-SearchBotOpenAI: resultados de búsqueda de ChatGPT. Bloquearlo te saca de ahí. | ||
| ClaudeBotAnthropic: entrenamiento de modelos. | ||
| anthropic-aiAnthropic, token antiguo. Conviene listarlo junto a ClaudeBot. | ||
| Claude-WebAnthropic: cuando Claude lee una página a petición de una persona. | ||
| PerplexityBotPerplexity: índice de su buscador. | ||
| Perplexity-UserPerplexity: lectura a petición de una persona. | ||
| CCBotCommon Crawl: el archivo abierto con el que se entrenan muchos modelos. | ||
| BytespiderByteDance (TikTok). Conocido por ignorar robots.txt. | ||
| AmazonbotAmazon: Alexa y sus modelos. | ||
| cohere-aiCohere: entrenamiento de modelos. | ||
| Meta-ExternalAgentMeta: entrenamiento de sus modelos (Llama). | ||
| DiffbotDiffbot: extracción de datos para terceros. |
Sitemaps declarados
Hallazgos
Siguiente paso
¿Lo arreglamos por ti?
Envíanos este resultado y te respondemos en menos de 24 horas hábiles con qué arreglaríamos primero, cuánto trabajo es y qué puedes dejar como está.
Abre el formulario con el diagnóstico ya escrito. Puedes editarlo antes de enviarlo.
¿Cómo se usa?
01
Lee o pega el archivo
Escribe tu dominio y leemos /robots.txt desde nuestro servidor, o pega el contenido para probarlo antes de subirlo.
02
Prueba una URL
Elige el rastreador y la dirección. Te decimos si puede pasar y qué línea lo decide, con la misma regla de coincidencia más larga que usa Google.
03
Repasa a los de IA
La matriz muestra qué pueden hacer GPTBot, ClaudeBot y compañía. Bloquearlos no cambia nada en Google.
Qué hace robots.txt, y qué no
Le dice a los rastreadores qué pueden pedir. Nada más. No desindexa: una URL bloqueada que recibe enlaces puede aparecer en Google con el título a medias y sin descripción, porque Google sabe que existe pero no puede leerla. Para sacar algo del índice se usa la meta robots «noindex» o la cabecera X-Robots-Tag, y para eso el rastreador tiene que poder entrar.
Tampoco es un control de acceso: es una petición de cortesía que los rastreadores serios respetan y los demás no. Lo que de verdad no quieras que se lea tiene que estar detrás de una contraseña.
Bloquear a los robots de IA
Cada empresa de IA usa un rastreador distinto para entrenar sus modelos y, a veces, otro para responder cuando una persona le pide leer una página. GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent y Bytespider recogen texto para entrenamiento; ChatGPT-User y Claude-Web actúan a petición de alguien. Google-Extended no es un rastreador: es un interruptor que le dice a Googlebot que no use lo que lee para entrenar a Gemini.
Bloquear a los de entrenamiento no cambia nada en los resultados de búsqueda de Google ni de Bing. Lo que sí cambia es la presencia en los buscadores con IA: OAI-SearchBot alimenta la búsqueda de ChatGPT y PerplexityBot la de Perplexity. Decide por separado qué quieres para cada cosa.
Un robots.txt mal puesto se nota tarde
El caso típico: un «Disallow: /» que se puso en el entorno de pruebas y viajó a producción con el despliegue. Nadie lo ve, porque la web funciona. Lo que ocurre es que Google deja de rastrear, y las posiciones caen semanas después, cuando ya nadie recuerda el despliegue.
En los sitios que construimos, el robots.txt lo genera el build según el entorno y la verificación lo comprueba antes de publicar: en staging bloquea todo y en producción no bloquea nada que Google necesite. Es la diferencia entre descubrirlo en el build y descubrirlo en Search Console.
Preguntas frecuentes
¿Bloquear una URL en robots.txt la saca de Google?
No. robots.txt controla el rastreo, no la indexación. Si otras páginas enlazan a esa URL, Google puede listarla igualmente, sin título ni descripción, porque no puede leerla. Para sacarla del índice hay que dejar que la rastree y ponerle una meta robots «noindex» o la cabecera X-Robots-Tag. Bloquearla en robots.txt además de noindex es contraproducente: Google nunca llega a ver el noindex.
¿Cómo bloqueo a ChatGPT sin perder visibilidad en Google?
Con un grupo propio para los rastreadores de IA: «User-agent: GPTBot», «User-agent: ClaudeBot», «User-agent: CCBot» y debajo «Disallow: /». Google usa Googlebot para la búsqueda y Google-Extended solo para entrenar sus modelos, así que bloquear Google-Extended tampoco te quita de los resultados. Ten en cuenta que OAI-SearchBot alimenta el buscador de ChatGPT: bloquearlo sí te saca de ahí.
¿Qué pasa si no tengo robots.txt?
Nada malo: un 404 en /robots.txt significa «todo permitido» y es perfectamente normal. Lo que sí hace daño es un error 5xx en esa ruta, porque Google lo interpreta como «no sé si puedo rastrear» y deja de hacerlo durante un tiempo.
¿Qué significa un «Disallow:» vacío?
Que no se prohíbe nada: es lo mismo que no tener regla. Mucha gente lo escribe pensando que bloquea todo, y es justo lo contrario. Para bloquear todo es «Disallow: /».
¿Distingue mayúsculas y minúsculas?
Las rutas sí: «Disallow: /Admin/» no bloquea «/admin/». Los nombres de directiva y de rastreador no: «user-agent: googlebot» funciona igual que «User-agent: Googlebot».
¿Qué comodines puedo usar?
Dos, y solo dos: el asterisco, que casa con cualquier secuencia de caracteres, y el dólar al final, que exige que la ruta termine ahí. «Disallow: /*.pdf$» bloquea los PDF; sin el dólar bloquearía también «/informe.pdf?v=2». No hay expresiones regulares.
¿Sirve «Crawl-delay»?
Con Google, no: lo ignora desde siempre y la frecuencia se ajusta desde Search Console. Bing y Yandex sí lo respetan. Si tu problema es un rastreador que satura el servidor, el sitio correcto para frenarlo es el servidor o la CDN, no robots.txt.
¿Se guarda algo de lo que pruebo?
No. El robots.txt se lee desde nuestra función en Cloudflare cuando escribes un dominio, se devuelve a tu navegador y no se almacena; se cachea diez minutos para no pedirlo dos veces seguidas. Lo que pegas a mano y las URLs que pruebas no salen de tu navegador.
¿Google rastrea lo que debe y nada más?
Un robots.txt bien hecho es una línea. Saber qué rastrea Google de verdad, qué bloqueas sin querer y qué se cuela a los robots de IA es un trabajo que hacemos en cada auditoría técnica.
Respondemos en menos de 24 horas hábilesBogotá · UTC−5