¿Qué es el robots.txt y cómo decidir qué hacer con los bots de IA?

El robots.txt es un archivo de texto plano que vive en la raíz de tu dominio (tudominio.com/robots.txt) y que le dice a cada rastreador qué partes del sitio puede visitar. Lleva desde los años noventa funcionando como un acuerdo de buena fe, y desde 2022 tiene por fin una especificación formal, la RFC 9309.

Durante mucho tiempo fue un archivo que se escribía una vez y se olvidaba. Eso cambió cuando aparecieron los rastreadores de las empresas de inteligencia artificial: ahora hay una decisión de negocio que tomar, y se toma justo ahí.

¿Cómo se escribe un robots.txt?

El archivo se organiza en grupos. Cada grupo empieza con una o varias líneas User-agent, que dicen a qué robot se aplica, y sigue con reglas Disallow (no entres aquí) y Allow (aquí sí):

User-agent: *
Disallow: /carrito/
Disallow: /buscar
Allow: /buscar/ayuda/

User-agent: GPTBot
Disallow: /

Sitemap: https://tudominio.com/sitemap.xml

Algunas reglas de lectura que conviene tener claras:

• Las rutas distinguen mayúsculas. Disallow: /Blog/ no bloquea /blog/.
• Una regla es un prefijo. Disallow: /buscar bloquea /buscar, /buscar/ y también /buscador-de-tiendas. Si querías solo la carpeta, escribe /buscar/.
• Hay dos comodines. * equivale a cualquier secuencia de caracteres y $ marca el final de la URL: Disallow: /*.pdf$ bloquea todos los PDF.
• Un Disallow: vacío no bloquea nada. Para cerrar el sitio entero es Disallow: /, una diferencia de un carácter que ha dejado más de un sitio fuera de Google.
• La línea Sitemap no pertenece a ningún grupo y puede ir en cualquier parte. Es la forma más sencilla de decir dónde está tu sitemap.

Google lee como máximo los primeros 500 KB del archivo y descarta el resto. Un robots.txt que se acerque a ese tamaño casi siempre está generando reglas de más.

¿Qué regla gana cuando dos se contradicen?

Aquí es donde más errores se cometen, porque la intuición dice que el orden importa y no es así.

Primero se elige el grupo. Un robot busca el grupo cuyo User-agent coincide con su nombre de la forma más específica. Si existe un grupo Googlebot, Googlebot obedece solo ese y ignora por completo el grupo *. Los grupos no se suman: si en el grupo * bloqueaste /admin/ y luego creaste un grupo para Googlebot sin repetir esa regla, Googlebot puede entrar en /admin/.

Después, dentro del grupo, gana la regla más larga. Con Disallow: /buscar y Allow: /buscar/ayuda/, la URL /buscar/ayuda/contacto está permitida porque la regla Allow es más específica. Si dos reglas tienen la misma longitud y se contradicen, Google aplica la menos restrictiva, es decir, el Allow.

Lo que no se prohíbe, se permite. Si ninguna regla casa con la URL, el robot puede rastrearla. Y si el archivo no existe y el servidor responde 404, todo está permitido para todos.

Disallow no es noindex

Es el malentendido más caro del archivo. Disallow impide rastrear una página, no indexarla. Si una URL bloqueada recibe enlaces, Google puede mostrarla en los resultados sin haberla leído nunca, con un título sacado del texto del enlace y sin descripción.

Para que una página no aparezca en Google hace falta lo contrario: que Google pueda rastrearla y encuentre una instrucción noindex, ya sea en una etiqueta <meta name="robots" content="noindex"> o en la cabecera HTTP X-Robots-Tag. Si la bloqueas en el robots.txt, Google nunca llega a ver ese noindex.

Durante años circuló la costumbre de escribir Noindex: dentro del propio robots.txt. Google dejó de admitirlo en 2019, así que hoy esa línea no hace nada.

La regla práctica:

Lo que quieres	Lo que usas
Que no gasten tiempo rastreando una zona (filtros, búsquedas internas)	Disallow en robots.txt
Que una página no salga en los resultados	noindex en la página, sin bloquearla
Que algo no sea accesible para nadie	Contraseña o restricción en el servidor

Ese último punto merece insistencia: el robots.txt es público. Listar ahí /panel-interno-secreto/ es anunciar su existencia a cualquiera que abra el archivo.

¿Qué no debes bloquear?

Hay un error que sigue apareciendo en sitios antiguos: bloquear las carpetas de CSS y JavaScript. Google renderiza las páginas como un navegador, y si no puede descargar los estilos y los scripts, evalúa una versión rota de tu web. Lo mismo vale para las imágenes que quieres que aparezcan en Google Imágenes.

También conviene revisar el archivo después de cada migración o salida a producción. Un Disallow: / que tenía sentido en el entorno de pruebas y se copió tal cual al sitio real es un clásico que puede tardar semanas en detectarse.

¿Quiénes son los bots de IA?

Los rastreadores de inteligencia artificial se identifican con su propio User-agent, y la mayoría de las empresas publican la lista. Lo importante es entender que no todos hacen lo mismo. Hay tres funciones distintas:

• Entrenamiento de modelos. Recogen contenido para entrenar futuras versiones. Aquí están GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl, un archivo abierto que usan muchos modelos), Meta-ExternalAgent o Applebot-Extended.
• Búsqueda dentro del asistente. Indexan páginas para citarlas cuando alguien pregunta algo. Por ejemplo, OAI-SearchBot alimenta las respuestas con búsqueda de ChatGPT y PerplexityBot el índice de Perplexity.
• Lectura a petición. Visitan una URL porque una persona se la pidió al asistente en ese momento, como ChatGPT-User o Perplexity-User.

Un caso especial es Google-Extended. No es un robot que rastree por su cuenta: es una etiqueta que Google consulta para saber si puede usar tu contenido en el entrenamiento de sus modelos Gemini. Bloquearlo no afecta a tu presencia en la búsqueda de Google, porque esa la sigue gestionando Googlebot.

Los nombres cambian y aparecen nuevos con cierta frecuencia, así que antes de escribir reglas merece la pena consultar la documentación de cada empresa.

¿Qué decisión tomar?

No hay una respuesta correcta para todos, pero sí tres posturas razonables:

1. Permitir todo. Tiene sentido si tu negocio vive de que te encuentren y te citen: servicios, comercio, contenido divulgativo. Es lo que pasa si no haces nada.
2. Bloquear el entrenamiento y permitir la búsqueda. Bloqueas GPTBot, ClaudeBot, CCBot, Google-Extended y similares, y dejas pasar a los robots de búsqueda y de lectura a petición. Tu contenido no alimenta modelos futuros, pero puedes seguir apareciendo citado cuando alguien pregunta.
3. Bloquear todo lo de IA. Encaja con editoriales, medios o negocios cuyo valor es precisamente el contenido. El coste es desaparecer de las respuestas de esos asistentes.

Ten presente una limitación: el robots.txt es una petición, no una barrera. Los rastreadores de las grandes empresas lo respetan, pero hay robots que lo ignoran. Si necesitas imponer la decisión, la herramienta es el servidor o la red de distribución (un CDN), que pueden rechazar peticiones por User-agent o por comportamiento.

¿Cómo comprobar el tuyo?

Leer un robots.txt a ojo funciona hasta que hay tres grupos y una docena de reglas. El probador de robots.txt lee el archivo de cualquier dominio, o el que pegues a mano antes de subirlo, y te dice si una URL concreta está permitida o bloqueada para cada robot, con la línea exacta que lo decide. Incluye una tabla con los principales rastreadores de IA para que veas de un vistazo qué puede hacer cada uno, y señala los errores habituales: Noindex inútil, CSS bloqueado o un grupo * que cierra el sitio entero.

Si quieres entender qué hace un buscador después de rastrear, está explicado en cómo funciona un motor de búsqueda.

---

El robots.txt es un archivo pequeño con consecuencias grandes. Revísalo cada vez que cambies de plataforma, decide de forma consciente qué haces con los bots de IA y recuerda que, para sacar algo de Google, la herramienta es noindex, no Disallow.