Generador de robots.txt

Cómo funciona

robots.txt es un archivo de texto simple que va en la carpeta raíz de su sitio y dice a los bots de los buscadores qué carpetas no deben rastrear. Escriba en el panel izquierdo las carpetas que quiere cerrar, una por línea: /mi-cuenta/, www.example.com/mi-cuenta/ o https://www.example.com/mi-cuenta/ dan la misma línea Disallow: /mi-cuenta/. Si escribe solo carrito, sin barras, la herramienta pone Disallow: /carrito, que también cierra direcciones como /carrito-regalo; escriba /carrito/ si quiere cerrar solo la carpeta. Las líneas que empiezan con # son comentarios y no pasan al archivo. Para abrir una sola página dentro de una carpeta cerrada, empiece la línea con Allow:, por ejemplo Allow: /carrito/ofertas. Si escribe la dirección completa de su sitemap, se agrega una línea Sitemap al final; una dirección sin https:// no se acepta, porque el estándar pide la dirección completa. La opción de bloquear bots de entrenamiento de IA escribe un grupo cerrado aparte para cada uno de siete bots, como GPTBot, ClaudeBot y Google-Extended. Descargue el archivo, deje el nombre robots.txt y súbalo a la carpeta principal de su sitio; en WordPress también puede pegarlo en el editor de robots.txt de un plugin de SEO.

Esta herramienta también se busca como generador robots.txt, crear robots.txt, robots.txt ejemplo, bloquear gptbot, robots.txt wordpress.

¿Qué es robots.txt?

robots.txt es un archivo de texto simple que está en la dirección raíz de un sitio y dice a los bots de rastreo qué rutas no deben recorrer. Se usa desde 1994 y en 2022 se volvió estándar con el RFC 9309. El archivo se compone de grupos que empiezan con una línea User-agent; cada grupo tiene reglas Disallow (cerrar) y Allow (abrir). Google aplica la regla más larga, es decir, la más específica que coincida.

¿Qué es Disallow y Allow?

La línea Disallow: /carrito/ cierra toda dirección que empiece por /carrito/; si Disallow: queda vacía, no hay nada cerrado. Allow abre una ruta con la misma escritura y sirve para hacer una excepción dentro de una carpeta cerrada. * significa cualquier secuencia de caracteres y un $ al final marca dónde termina la dirección: Disallow: /*.pdf$ cierra todos los archivos PDF.

¿Qué diferencia hay entre robots.txt y noindex?

robots.txt impide que el bot lea la página, pero por sí solo no impide que aparezca en los resultados: una dirección cerrada que recibe enlaces puede salir listada sin contenido. noindex es una etiqueta dentro de la página que pide al buscador no mostrarla; para eso el bot tiene que poder leer la página. Use robots.txt para páginas de carrito y filtros que gastan el presupuesto de rastreo, y noindex para páginas de agradecimiento o borradores que no deben salir en la búsqueda; no use los dos en la misma página.

Qué hace robots.txt y qué no hace

robots.txt es una petición, no un candado. Los bots de Google, Bing y de las grandes empresas de IA respetan las reglas; un bot malintencionado puede descargar sus páginas sin leer el archivo. Una página que debe ser privada (panel de clientes, carpeta de facturas) se protege con contraseña, no con robots.txt.

Una página bloqueada puede seguir apareciendo en Google: si otros sitios la enlazan, puede salir en los resultados solo con su dirección, aunque su contenido no se haya leído. Para sacar una página de los resultados por completo, póngale la etiqueta noindex y no la bloquee en robots.txt; si el bot no puede leer la página, tampoco ve el noindex.

Qué ajuste conviene en cada caso

Para la mayoría de los sitios el archivo correcto es corto: carrito, cuenta, resultados de búsqueda y carpetas de administración cerrados; todo lo demás abierto. No cierre las carpetas de CSS y JavaScript: Google las lee para dibujar su página y, si están cerradas, ve la página incompleta y el posicionamiento puede empeorar.

En un sitio en construcción cierre todo el sitio y quite ese ajuste al publicarlo: una línea Disallow: / olvidada es la causa más común de que un sitio desaparezca de los buscadores. Bloquear los bots de IA limita que su contenido entre en datos de entrenamiento; esos bots son distintos de los de los buscadores, así que no cambia su posición en Google. Los bots de búsqueda con IA, como el de ChatGPT search (OAI-SearchBot) y PerplexityBot, no están en la lista a propósito: si los bloquea, su sitio no aparecerá como fuente en las respuestas de esas búsquedas.

• Blog o sitio informativo: solo /wp-admin/ cerrado, con Allow: /wp-admin/admin-ajax.php abierto
• Tienda en línea: /carrito/, /mi-cuenta/, /pago/ y las direcciones de filtros (/buscar?) cerrados
• Sitio en construcción: Todos los bots → No pueden rastrear el sitio

Preguntas frecuentes

¿Dónde se sube el archivo robots.txt?

En la carpeta principal (raíz) de su sitio, de modo que se abra como www.example.com/robots.txt. Un robots.txt dentro de una subcarpeta (www.example.com/blog/robots.txt) no lo leen los bots. Después de subirlo, abra esa dirección en el navegador y compruebe que el archivo se ve.

¿Hace falta poner el sitemap en robots.txt?

No es obligatorio, pero se recomienda: la línea Sitemap permite que también lo encuentren los buscadores en los que no dio de alta su sitio, como Bing si solo usa Search Console. La dirección debe ser completa, con https://. En WordPress el sitemap suele estar en /wp-sitemap.xml o en la dirección /sitemap_index.xml que da el plugin de SEO.

¿Cómo bloqueo GPTBot y otros bots de IA?

Ponga la opción de bots de entrenamiento de IA en Bloquear. La herramienta escribe un grupo User-agent aparte para GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (entrenamiento de Gemini), Applebot-Extended, CCBot (Common Crawl), Meta-ExternalAgent y Bytespider. La lista se basa en la documentación de cada empresa a septiembre de 2026; hay que actualizarla cuando salgan bots nuevos.

¿Lo que escribo se envía a un servidor?

No. El archivo robots.txt se genera por completo en su navegador; los nombres de sus carpetas y la dirección de su sitio no salen de esta página.