Pourquoi le robots.txt est critique
La configuration de votre fichier robots.txt à un impact direct sur l’accessibilité de votre store aux crawlers IA. Un robots.txt mal configuré peut rendre vos fiches produit plus difficiles à retrouver, citer, valider ou recommander.
Pourquoi c’est important pour l’IA
Le fichier robots.txt est la première chose qu’un crawler visite avant d’explorer votre site. S’il contient une règle de blocage, un crawler respectueux s’arrête immédiatement. Le point clé est la séparation des rôles : bots de recherche, fetchers utilisateur, bots d’entraînement et bots de validation publicitaire n’ont pas le même impact business.
C’est le point de contact numéro 1 entre votre store et l’IA. Et paradoxalement, c’est souvent le plus négligé.
Les crawlers IA à connaître
| Crawler | Opérateur | Usage |
|---|---|---|
GPTBot | OpenAI | Entraînement ChatGPT et connaissance IA générale |
OAI-SearchBot | OpenAI | Recherche et citations ChatGPT Shopping (sans collecte de données d’entraînement) |
OAI-AdsBot | OpenAI | Validation et pertinence des landing pages ChatGPT Ads |
ChatGPT-User | OpenAI | ChatGPT avec browsing en temps réel |
PerplexityBot | Perplexity | Perplexity Search & Shopping |
ClaudeBot | Anthropic | Claude avec browsing (trafic doublé Q3 2025 - Q1 2026, SE Ranking, 2026) |
Google-Extended | Contrôle d’usage/entraînement IA, pas crawler Google Search | |
Amazonbot | Amazon | Alexa, Amazon Search |
Bytespider | ByteDance | Fonctionnalités IA TikTok |
Pourquoi OAI-SearchBot est essentiel : Contrairement à GPTBot (utilisé pour l’entraînement), OAI-SearchBot sert la recherche et la découverte shopping dans ChatGPT. OAI-AdsBot est encore différent : il valide les landing pages publicitaires et doit être lu comme un signal paid media, pas comme un signal GEO organique.
Ce qu’il faut vérifier
Votre robots.txt peut contenir différents types de blocages :
- Blocage global :
Disallow: /sousUser-agent: *→ tout est bloqué pour tous les crawlers - Blocages spécifiques :
User-agent: GPTBot+Disallow: /→ ce crawler est ciblé et bloqué - Blocages partiels :
Disallow: /policies/→ seules les politiques sont bloquées (moins grave mais impactant)
Si un crawler n’est pas mentionné spécifiquement, les règles sous User-agent: * s’appliquent.
Verity Score analyse automatiquement votre robots.txt et vous alerte si des crawlers IA sont bloqués.
Cas Shopify par défaut
Le robots.txt par défaut de Shopify contient :
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /*/checkouts
Disallow: /carts
Disallow: /accountCes règles sont correctes : elles bloquent uniquement les pages d’administration et de checkout. Vos fiches produit, collections et pages restent accessibles.
Attention : certaines apps Shopify ou configurations personnalisées ajoutent des règles supplémentaires qui peuvent bloquer les crawlers IA. Vérifiez régulièrement.
Les erreurs les plus courantes
Erreur 1 : Disallow global
User-agent: *
Disallow: /Cela bloque tout votre site pour tous les crawlers. C’est la pire configuration possible.
Erreur 2 : Blocage spécifique des bots IA
User-agent: GPTBot
Disallow: /
User-agent: PerplexityBot
Disallow: /Certains guides SEO recommandent de bloquer les crawlers IA pour “protéger le contenu”. C’est contre-productif si vous voulez être recommandé par ces systèmes.
Erreur 3 : Confusion Disallow: / vs Disallow: /policies/
Disallow: / bloque TOUT le site. Disallow: /policies/ bloque uniquement le répertoire /policies/. La différence est un seul caractère mais l’impact est total.
Comment corriger sur Shopify
Vérifier le robots.txt actuel
Allez sur https://votre-store.com/robots.txt et lisez le contenu.
Modifier sur Shopify
Sur Shopify, le robots.txt est contrôlé via le fichier robots.txt.liquid dans votre thème :
- Admin Shopify → Themes → Actions → Edit code
- Cherchez
robots.txt.liquiddans le dossier Templates - Vérifiez qu’aucun crawler IA n’est bloqué
- Si le fichier n’existe pas, Shopify utilise le défaut (qui est correct)
Configuration recommandée
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /account
# Crawlers OpenAI (entraînement + recherche/citations)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
# Autres crawlers IA
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://votre-store.com/sitemap.xmlRessources
Articles connexes
- llms.txt pour Shopify : index de contenu IA utile
- Score Agent Readiness : les 11 fichiers /.well-known/ à publier en 2026
- Comprendre votre score GEO : 9 facteurs décryptés
- GEO vs SEO : quelles différences pour le e-commerce ?
- Schema.org Product : pourquoi et comment sur Shopify
- Vendre dans ChatGPT : le guide Shopify complet pour 2026
Prêt à vérifier votre store ? Lancer un audit GEO gratuit →