robots.txt et crawlers IA : ne bloquez pas vos ventes

Pourquoi le robots.txt est critique

La configuration de votre fichier robots.txt à un impact direct sur l’accessibilité de votre store aux crawlers IA. Un robots.txt mal configuré peut rendre votre store totalement invisible pour les agents IA.

Pourquoi c’est important pour l’IA

Le fichier robots.txt est la première chose qu’un crawler visite avant d’explorer votre site. S’il contient une règle de blocage, le crawler respectueux (comme GPTBot ou ClaudeBot) s’arrête immédiatement. Votre store n’est jamais lu, jamais indexé, jamais recommandé.

C’est le point de contact numéro 1 entre votre store et l’IA. Et paradoxalement, c’est souvent le plus négligé.

Les crawlers IA à connaître

Pourquoi OAI-SearchBot est essentiel : Contrairement à GPTBot (utilisé pour l’entraînement), OAI-SearchBot est le crawler temps-réel d’OpenAI qui alimente les citations et recommandations de ChatGPT Shopping. L’autoriser garantit que vos fiches produit peuvent être citées directement dans les résultats ChatGPT Shopping. OpenAI a mis à jour sa documentation des crawlers en décembre 2025 pour clarifier les rôles distincts de chaque bot (source : OpenAI Developer Docs, décembre 2025).

Ce qu’il faut vérifier

Votre robots.txt peut contenir différents types de blocages :

• Blocage global : Disallow: / sous User-agent: * → tout est bloqué pour tous les crawlers
• Blocages spécifiques : User-agent: GPTBot + Disallow: / → ce crawler est ciblé et bloqué
• Blocages partiels : Disallow: /policies/ → seules les politiques sont bloquées (moins grave mais impactant)

Si un crawler n’est pas mentionné spécifiquement, les règles sous User-agent: * s’appliquent.

Verity Score analyse automatiquement votre robots.txt et vous alerte si des crawlers IA sont bloqués.

Cas Shopify par défaut

Le robots.txt par défaut de Shopify contient :

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /*/checkouts
Disallow: /carts
Disallow: /account

Ces règles sont correctes : elles bloquent uniquement les pages d’administration et de checkout. Vos fiches produit, collections et pages restent accessibles.

Attention : certaines apps Shopify ou configurations personnalisées ajoutent des règles supplémentaires qui peuvent bloquer les crawlers IA. Vérifiez régulièrement.

Les erreurs les plus courantes

Erreur 1 : Disallow global

User-agent: *
Disallow: /

Cela bloque tout votre site pour tous les crawlers. C’est la pire configuration possible.

Erreur 2 : Blocage spécifique des bots IA

User-agent: GPTBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

Certains guides SEO recommandent de bloquer les crawlers IA pour “protéger le contenu”. C’est contre-productif si vous voulez être recommandé par ces systèmes.

Erreur 3 : Confusion Disallow: / vs Disallow: /policies/

Disallow: / bloque TOUT le site. Disallow: /policies/ bloque uniquement le répertoire /policies/. La différence est un seul caractère mais l’impact est total.

Comment corriger sur Shopify

Vérifier le robots.txt actuel

Allez sur https://votre-store.com/robots.txt et lisez le contenu.

Modifier sur Shopify

Sur Shopify, le robots.txt est contrôlé via le fichier robots.txt.liquid dans votre thème :

1. Admin Shopify → Themes → Actions → Edit code
2. Cherchez robots.txt.liquid dans le dossier Templates
3. Vérifiez qu’aucun crawler IA n’est bloqué
4. Si le fichier n’existe pas, Shopify utilise le défaut (qui est correct)

Configuration recommandée

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /account

# Crawlers OpenAI (entraînement + recherche/citations)
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Autres crawlers IA
User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://votre-store.com/sitemap.xml

Ressources

• OpenAI GPTBot documentation
• Shopify robots.txt documentation
• Google crawlers overview

Articles connexes

• llms.txt : le nouveau robots.txt pour les LLM
• Comprendre votre score GEO : 9 facteurs décryptés
• GEO vs SEO : quelles différences pour le e-commerce ?
• Schema.org Product : pourquoi et comment sur Shopify
• Vendre dans ChatGPT : le guide Shopify complet pour 2026

Prêt à vérifier votre store ? Lancer un audit GEO gratuit →