robots.txt avancé — bots IA, allow-list, edge cases

1. Syntaxe et bases

robots.txt est servi à la racine d'un site (URL canonique /robots.txt), encoded UTF-8, Content-Type text/plain. Standardisé par RFC 9309 publié par l'IETF en septembre 2022.

Quatre directives principales :

User-agent: — cible un bot spécifique (ou * pour tous).
Disallow: — chemin URL à ne pas crawler.
Allow: — exception explicite à un Disallow parent.
Sitemap: — URL absolue du sitemap.xml.

User-agent: * Disallow: /admin/ Disallow: /api/ Allow: /api/public/ Sitemap: https://yvarn.fr/sitemap.xml

2. Gérer les bots IA en 2026

Les bots IA respectent robots.txt depuis 2023-2024. Liste des user-agents pertinents :

Bots à autoriser (citations IA)

GPTBot (OpenAI training)
OAI-SearchBot (ChatGPT search)
ChatGPT-User (utilisateur qui consulte une réponse)
ClaudeBot et Claude-Web (Anthropic)
PerplexityBot, Perplexity-User
Google-Extended (Google AI training, distinct de Googlebot)
Applebot-Extended, DuckAssistBot, YouBot

Bots à bloquer (scrapers sans contrepartie)

CCBot (Common Crawl, datasets ouverts)
Bytespider (ByteDance/TikTok)
anthropic-ai (ancien user-agent Claude, déprécié)
cohere-ai, Amazonbot, FacebookBot

Exemple yvarn.fr (visible sur yvarn.fr/robots.txt) :

User-agent: GPTBot User-agent: ChatGPT-User User-agent: OAI-SearchBot User-agent: ClaudeBot User-agent: PerplexityBot Allow: / User-agent: CCBot User-agent: Bytespider Disallow: /

3. Wildcards et patterns

robots.txt n'accepte qu'une syntaxe limitée. Deux wildcards :

* — matche n'importe quel caractère, zéro ou plus.
$ — fin d'URL (ancrage).

Exemples pratiques :

Disallow: /*.pdf$ — bloque tous les fichiers PDF.
Disallow: /*?s=* — bloque les pages de recherche internes.
Disallow: /admin/* — bloque tout sous /admin/.
Disallow: /private — bloque /private mais aussi /private-page.
Disallow: /private$ — bloque exactement /private, pas /private-page.

Pas de regex complet : ^, [a-z], {n,m} ne sont pas supportés. Si vous avez besoin de matching complexe, faire le filtrage côté serveur via robots.txt dynamique.

4. Exemples par type de site

Site B2B / vitrine

Autoriser tout, sauf admin et formulaires de contact merci :

User-agent: * Disallow: /admin/ Disallow: /contact/merci/ Disallow: /?s=* Sitemap: https://exemple.fr/sitemap.xml

E-commerce

Bloquer panier, checkout, compte client, filtres infinis :

User-agent: * Disallow: /panier Disallow: /checkout/ Disallow: /compte/ Disallow: /*?sort=* Disallow: /*?filter=* Disallow: /*?utm_* Sitemap: https://exemple.fr/sitemap.xml

5. Erreurs fatales

01
Disallow: / global. Erreur classique post-staging. Bloque tout le site, Google déindexe en 1-2 semaines. Catastrophe.
02
Bloquer CSS et JS. Disallow: /assets/ ou /js/ empêche Googlebot de rendre la page. Mauvais ranking garanti.
03
Espace ou casse mauvais. "User-Agent" ou "User agent" au lieu de "User-agent" : ignoré. Sensible à la casse.
04
Pas de fin de ligne ou commentaires en milieu. Une ligne mal formée casse la lecture du fichier. Linter robots.txt + tester via GSC.
05
Penser que robots.txt = sécurité. Ce n'est qu'une indication aux bots conformes. Les scrapers malveillants l'ignorent. Pour la sécurité : authentification.

Pour aller plus loin

FAQ — robots.txt

01C'est quoi robots.txt ?

robots.txt est un fichier texte servi à la racine d'un site (ex: yvarn.fr/robots.txt) qui indique aux robots web (crawlers) quelles parties du site ils peuvent ou ne peuvent pas crawler. Format standardisé par le Robots Exclusion Protocol depuis 1994, officialisé RFC 9309 par l'IETF en 2022.

02robots.txt fonctionne-t-il vraiment ?

Pour les bots conformes (Googlebot, Bingbot, GPTBot, ClaudeBot), oui. Pour les bots malveillants ou de scraping non-éthique, non — ils ignorent. robots.txt est une indication, pas une protection. Si vous voulez vraiment bloquer un contenu, utilisez authentification ou IP blocking.

03Faut-il bloquer GPTBot et les bots IA ?

Cela dépend du business model. Pour une marque qui vend de l'expertise (agence, consultant, SaaS), autoriser GPTBot/ClaudeBot/PerplexityBot maximise les citations IA. Pour un éditeur rémunéré au trafic, c'est un dilemme (citation sans clic). En 2026, la majorité des marques bénéficient de laisser passer ces bots.

04Quelle différence entre Disallow et noindex ?

Disallow (robots.txt) : empêche le crawl. La page peut quand même apparaître dans les SERP avec un titre/snippet vide si elle a des backlinks externes. Noindex (meta tag) : permet le crawl mais interdit l'indexation. Pour vraiment empêcher l'apparition en SERP : noindex + permettre le crawl.

05Comment tester mon robots.txt ?

Google Search Console > Anciens outils > robots.txt Tester. Permet de tester une URL spécifique contre votre robots.txt en cours. Affiche aussi les erreurs de syntaxe. Tester aussi via curl direct : curl -I https://votresite.fr/robots.txt pour vérifier qu'il est bien servi en HTTP 200.

06Peut-on utiliser des patterns regex dans robots.txt ?

Pas le regex complet, mais deux wildcards limités : * (matche n'importe quoi) et $ (fin d'URL). Exemples : Disallow: /*.pdf$ bloque tous les PDF, Disallow: /admin/* bloque tout sous /admin/. Les autres expressions regex (^, [a-z], etc.) ne sont pas supportées.

En résumé

robots.txt est un outil simple mais traître. Une virgule mal placée peut déindexer un site complet. En 2026, l'enjeu est aussi de gérer les bots IA correctement — autoriser ceux qui apportent de la visibilité IA, bloquer ceux qui scrapent sans retour.

Test systématique post-modification via GSC + curl. Et garder en tête : robots.txt n'est pas de la sécurité, c'est une indication.

· audit complet

Audit Yvarn inclut robots.txt

L'audit Yvarn audite robots.txt + sitemap + canonical + redirections en une seule mission. 20-30 pages, plan d'action 90 jours.

Découvrir l'audit Yvarn

Mattis Bétourné

Fondateur d'Yvarn, agence SEO à Bordeaux. À propos.