Générateur de fichier robots.txt

Comment ça marche

robots.txt est un fichier texte placé à la racine d'un site ; il dit aux robots des moteurs de recherche quels dossiers ne pas explorer. Écrivez à gauche les dossiers à fermer, un par ligne : /panier/ et https://www.example.com/panier/ donnent tous deux la ligne Disallow: /panier/. Attention à la barre finale : panier seul devient Disallow: /panier, qui ferme aussi /panier-cadeau et tout ce qui commence par /panier. Les lignes qui commencent par # sont des commentaires et n'entrent pas dans le fichier. Pour ouvrir une seule page dans un dossier fermé, commencez la ligne par Allow: /panier/promo. Si vous saisissez l'adresse complète de votre sitemap, une ligne Sitemap est ajoutée à la fin ; une adresse sans https:// est refusée, car le standard exige une adresse complète. L'option de blocage des robots d'entraînement d'IA écrit un groupe fermé séparé pour chacun des sept robots, dont GPTBot, ClaudeBot et Google-Extended. Téléchargez le fichier, gardez le nom robots.txt et placez-le dans le dossier le plus haut de votre site ; sous WordPress, vous pouvez aussi le coller dans l'éditeur robots.txt d'une extension SEO.

Cet outil est aussi connu sous le nom de robots.txt exemple, robots txt generator, bloquer gptbot.

Qu'est-ce que robots.txt ?

robots.txt est un fichier texte placé à l'adresse racine d'un site ; il indique aux robots d'exploration les chemins à ne pas parcourir. Utilisé depuis 1994, il est devenu un standard en 2022 avec la RFC 9309. Le fichier se compose de groupes qui commencent par une ligne User-agent ; chaque groupe contient des règles Disallow (fermer) et Allow (ouvrir). Google applique la règle la plus longue, donc la plus précise, qui correspond à l'adresse.

Qu'est-ce que Disallow et Allow ?

La ligne Disallow: /panier/ ferme toute adresse qui commence par /panier/ ; une ligne Disallow: laissée vide ne ferme rien. Allow s'écrit de la même façon et ouvre un chemin ; on l'utilise pour faire une exception dans un dossier fermé. * remplace n'importe quelle suite de caractères et un $ en fin de ligne marque la fin de l'adresse : Disallow: /*.pdf$ ferme tous les fichiers PDF.

Quelle est la différence entre robots.txt et noindex ?

robots.txt empêche le robot de lire une page, mais à lui seul il n'empêche pas la page d'apparaître dans les résultats : une adresse fermée qui reçoit des liens peut être listée sans contenu. noindex est une balise placée dans la page elle-même ; elle demande au moteur de ne pas lister cette page, mais le robot doit pouvoir la lire. Pour les pages de panier et de filtre qui gaspillent le budget d'exploration, utilisez robots.txt ; pour une page de remerciement ou un brouillon qui ne doit jamais apparaître, utilisez noindex. N'utilisez pas les deux sur la même page.

Ce que robots.txt fait, et ce qu'il ne fait pas

robots.txt est une demande, pas un verrou. Les robots de Google, de Bing et des grandes sociétés d'IA respectent les règles ; un robot malveillant peut télécharger vos pages sans même lire le fichier. Une page qui doit rester privée (espace client, dossier de factures) se protège par un mot de passe, pas par robots.txt.

Une page bloquée peut quand même apparaître dans Google : une adresse qui reçoit des liens d'autres sites peut être listée avec sa seule URL, sans son contenu. Pour retirer complètement une page des résultats, mettez-lui une balise noindex et ne la fermez pas dans robots.txt : si le robot ne peut pas lire la page, il ne voit pas non plus le noindex.

Quel réglage dans quel cas

Pour la plupart des sites, le bon fichier est court : panier, compte, résultats de recherche et administration fermés, tout le reste ouvert. Ne fermez pas les dossiers CSS et JavaScript : Google les lit pour afficher votre page ; s'ils sont fermés, il voit une page incomplète et le classement peut en souffrir.

Pour un site en construction, fermez tout le site et annulez ce réglage à la mise en ligne : une ligne Disallow: / oubliée est la cause la plus fréquente d'un site qui disparaît de la recherche. Bloquer les robots d'IA limite l'entrée de votre contenu dans les données d'entraînement ; ces robots sont distincts de ceux des moteurs de recherche, votre place dans Google ne change donc pas. Les robots de recherche IA comme celui de ChatGPT Search (OAI-SearchBot) ou PerplexityBot ne sont volontairement pas dans la liste : bloqués, ils ne citeraient plus votre site comme source dans leurs réponses. La liste suit la documentation des éditeurs en septembre 2026.

• Blog ou site vitrine : seul /wp-admin/ fermé, Allow: /wp-admin/admin-ajax.php ouvert
• Boutique en ligne : /panier/, /mon-compte/, /commande/ et les adresses de filtre (/recherche?) fermés
• Site en construction : Tous les robots → Ne peuvent pas explorer le site

Questions fréquentes

Où placer le fichier robots.txt ?

Dans le dossier le plus haut (la racine) de votre site, pour qu'il s'ouvre à l'adresse www.example.com/robots.txt. Un robots.txt placé dans un sous-dossier (www.example.com/blog/robots.txt) n'est pas lu par les robots. Après l'envoi, ouvrez cette adresse dans le navigateur pour vérifier que le fichier s'affiche.

Faut-il ajouter le sitemap au robots.txt ?

Ce n'est pas obligatoire, mais c'est conseillé : la ligne Sitemap permet à chaque moteur de trouver votre sitemap, même si vous ne l'avez pas déclaré dans ses outils (Search Console pour Google, Bing Webmaster Tools). L'adresse doit être complète (avec https://). Sous WordPress, le sitemap se trouve en général à /wp-sitemap.xml, ou à /sitemap_index.xml avec une extension SEO.

Comment bloquer GPTBot et les autres robots d'IA ?

Réglez l'option Robots d'entraînement d'IA sur Bloquer. L'outil écrit un groupe User-agent séparé pour GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (entraînement de Gemini), Applebot-Extended, CCBot (Common Crawl), Meta-ExternalAgent et Bytespider. La liste repose sur la documentation des éditeurs en septembre 2026 ; elle devra évoluer quand de nouveaux robots apparaîtront.

Ce que j'écris est-il envoyé à un serveur ?

Non. Le fichier robots.txt est créé entièrement dans votre navigateur ; les noms de vos dossiers et l'adresse de votre site ne quittent pas cette page.