Ouvrez votre-domaine.ch/robots.txt et cherchez les noms GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended : si « Disallow: / » figure sous un nom, ce crawler est bloqué. Vérifiez ensuite que le texte de la page figure dans le code source même sans JavaScript, et qu'aucune connexion, aucun bandeau de cookies bloquant ni aucune protection anti-bots ne masque le contenu. Pour être visible dans les réponses des IA, au moins les crawlers de recherche des fournisseurs doivent pouvoir passer.
Avant qu'une IA puisse citer votre site, elle doit avoir le droit de le lire. Cela semble évident, mais cela échoue plus souvent qu'on ne le pense : à cause d'une ligne dans le robots.txt qu'une agence a ajoutée par précaution en 2023, d'un constructeur de site qui ne charge le texte que par JavaScript, ou d'une protection anti-bots activée depuis la dernière mise à jour de l'hébergement. Le test suivant ne nécessite pas de développeur et prend deux minutes pour la première étape, dix pour les quatre.
Étape 1 : lire le robots.txt
Saisissez ihre-domain.ch/robots.txt dans la barre d'adresse de votre navigateur. Le fichier est public et se compose de blocs qui commencent par User-agent:. Avec le raccourci Ctrl+F (Mac : Cmd+F), cherchez ces noms :
| Crawler | Exploitant | Finalité selon le fournisseur | Conséquence du blocage |
|---|---|---|---|
| GPTBot | OpenAI | Collecte de contenus pour l'entraînement des modèles | Les contenus ne sont pas utilisés pour l'entraînement ; les réponses de recherche ne sont pas touchées |
| OAI-SearchBot | OpenAI | Index pour la recherche dans ChatGPT | Le site n'apparaît pas comme source dans les réponses de recherche de ChatGPT |
| ChatGPT-User | OpenAI | Consultation d'une page lorsqu'un utilisateur la demande dans le chat | La page ne peut pas être ouverte dans la conversation |
| ClaudeBot | Anthropic | Collecte de contenus pour l'entraînement | Comme GPTBot |
| Claude-SearchBot, Claude-User | Anthropic | Recherche et consultation à la demande de l'utilisateur | Le site est absent des réponses de Claude avec recherche web |
| PerplexityBot | Perplexity | Index pour la recherche Perplexity | Le site n'apparaît pas comme source chez Perplexity |
| Perplexity-User | Perplexity | Consultation à la demande de l'utilisateur | La page ne peut pas être ouverte |
| Google-Extended | Contrôle l'utilisation pour les applications Gemini | Aucun effet sur la recherche Google et l'aperçu IA |
Ce qui compte, c'est ce qui figure sous chaque nom. Ce bloc bloque entièrement le crawler d'entraînement d'OpenAI et laisse passer le crawler de recherche :
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Si un nom est totalement absent, le bloc général User-agent: * s'applique. Si on y trouve Disallow: /, tout est bloqué, y compris pour Google. Si on n'y trouve que Disallow: /admin/ ou une directive similaire, les crawlers IA sont libres. Ce que le fichier peut faire en principe et ce qu'il ne peut pas faire, le glossaire sur le robots.txt l'explique.
Étape 2 : le test JavaScript
Google exécute le JavaScript et voit donc aussi le texte qui n'apparaît que dans le navigateur. Les fournisseurs ne documentent pas si les crawlers d'OpenAI, d'Anthropic et de Perplexity exécutent le JavaScript. Partez du principe que non, et vérifiez ce qui reste sans JavaScript :
- Ouvrez une page importante, par exemple votre page de prestations.
- Ouvrez le code source : clic droit, «Afficher le code source de la page», ou ajoutez
view-source:devant l'adresse. - Avec Ctrl+F, cherchez une phrase du texte visible, par exemple la première phrase de la description de vos prestations.
Si vous trouvez la phrase dans le code source, le contenu est lisible pour tous les crawlers. Si vous ne la trouvez pas et ne voyez que des renvois à des scripts et des conteneurs vides, votre site ne livre le texte qu'après coup. Cela concerne surtout les sites conçus comme de pures applications web et certains constructeurs de sites avec des blocs de contenu «dynamiques». La solution s'appelle rendu côté serveur ou diffusion statique. C'est un mandat pour l'équipe technique, pas une correction de cinq minutes.
Étape 3 : connexion, mur de cookies, pages intermédiaires
Les crawlers ne ferment aucune fenêtre. Vérifiez trois points :
- Mur de connexion : si des contenus de conseil se trouvent derrière une inscription, ils n'existent pas pour l'IA. Ouvrez-les ou acceptez consciemment qu'il s'agisse d'un espace client.
- Mur de cookies : une bannière qui ne fait que recouvrir le contenu ne pose pas de problème. Un mur qui ne livre le contenu qu'après consentement le masque aussi aux crawlers. Testez-le avec l'astuce du code source de l'étape 2.
- Pages intermédiaires : les vérifications d'âge, les pages de choix de langue sans chemin direct vers le contenu et les pages «Veuillez patienter» interrompent l'accès. Chaque page importante doit être accessible directement via son adresse, sans détour.
Étape 4 : protection anti-bots de l'hébergeur
De nombreux hébergeurs et services comme Cloudflare proposent une option qui bloque les crawlers IA connus, parfois par défaut. Le fichier robots.txt est alors correct, mais le crawler est quand même refusé avec une erreur 403. Voici comment le vérifier :
- Dans le tableau de bord de l'hébergeur ou de Cloudflare, cherchez des paramètres avec des termes comme «AI Bots», «Bot Fight Mode» ou «Bloquer les crawlers IA».
- Demandez à l'équipe technique de filtrer les logs du serveur de la dernière semaine selon les user-agents du tableau. Les réponses avec le statut 200 signifient que l'accès est ouvert, 403 signifie qu'il est bloqué.
- Interrogez l'hébergeur si vous n'avez pas accès aux logs. La question «Bloquez-vous GPTBot, OAI-SearchBot et PerplexityBot sur mon site ?» trouve sa réponse en une phrase.
Autoriser ou bloquer ? Aide à la décision
La question comporte deux niveaux : l'entraînement et la recherche. Vous pouvez y répondre séparément.
| Votre objectif | Crawlers d'entraînement (GPTBot, ClaudeBot) | Crawlers de recherche et d'utilisateurs (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot) |
|---|---|---|
| Apparaître comme prestataire dans les réponses IA | Votre décision, sans influence directe sur les mentions | Autoriser |
| Protéger vos contenus contre l'imitation | Blocage possible sans perdre en visibilité | Autoriser, sinon aucune source n'est citée |
| Espace client ou contenus payants | Bloquer par chemin, p. ex. /kunden/ | Bloquer par chemin |
| Rester totalement invisible | Bloquer | Bloquer, en sachant que la concurrence fournira alors la réponse |
Pour la plupart des PME, la réponse est simple : laisser passer les crawlers de recherche, décider à l'instinct pour l'entraînement. Les stratégies de visibilité qui en découlent sont décrites dans l'article Apparaître dans les réponses IA : trois stratégies pour les PME.
Ce que le test ne montre pas
Le test indique si une IA a le droit de lire. Il n'indique pas si elle cite. Pour cela, la page doit aussi fournir la réponse : en haut, de façon claire, avec la date et l'expéditeur. Ce qui en fait partie figure dans la checklist AEO. Quant à savoir si ChatGPT, Perplexity et Gemini trouvent réellement votre site aujourd'hui, l'analyse IA gratuite vous le montre en environ une minute, sans que vous ayez à lire une seule ligne de robots.txt.
Questions fréquentes
J'ai bloqué GPTBot. Ai-je disparu de ChatGPT pour autant ?
Pas forcément. OpenAI distingue le crawler d'entraînement GPTBot du crawler de recherche OAI-SearchBot et de la consultation à la demande de l'utilisateur (ChatGPT-User). Si vous ne bloquez que GPTBot, vous pouvez continuer à apparaître dans les réponses de recherche de ChatGPT. Si vous bloquez aussi OAI-SearchBot, vous disparaissez de ces réponses.
Google-Extended influence-t-il ma présence dans l'aperçu IA ?
Non. Selon Google, Google-Extended détermine uniquement si les contenus sont utilisés pour les applications Gemini. La recherche et l'aperçu IA utilisent le Googlebot habituel. Pour sortir de l'aperçu IA, il faut recourir à nosnippet ou à max-snippet, pas à Google-Extended.
Comment savoir si mon hébergeur bloque les bots IA alors que le robots.txt les autorise ?
Consultez dans le tableau de bord de l'hébergeur ou de Cloudflare les paramètres comme «Bloquer les bots IA» ou «Bot Fight Mode». Les logs du serveur vous donnent une certitude : les requêtes avec le user-agent GPTBot ou PerplexityBot qui reçoivent le statut 403 sont bloquées, quoi que dise le robots.txt.
Dois-je saisir chaque crawler individuellement ?
Non. Ce qui ne figure pas dans le fichier robots.txt est autorisé. Vous n'avez besoin d'ajouter des entrées que si vous voulez bloquer quelque chose. Si vous souhaitez autoriser explicitement tous les robots d'exploration IA, il suffit de ne définir aucune règle Disallow pour eux.
Sources
- OpenAI : aperçu des crawlers (GPTBot, OAI-SearchBot, ChatGPT-User)
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity : documentation sur les robots d'exploration (PerplexityBot, Perplexity-User)
- Google Search Central : aperçu des robots d'exploration et des fetchers de Google