Les crawlers IA sont des programmes automatiques que les fournisseurs de systèmes d'IA utilisent pour consulter des sites web, soit pour collecter des données d'entraînement, soit pour étayer par une recherche en direct les réponses à des questions d'actualité. Les plus connus s'appellent GPTBot et OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) et Google-Extended (Google). Les exploitants de sites web décident via le fichier robots.txt lesquels de ces crawlers peuvent y accéder.
Ce que signifie crawler IA
Un crawler est un programme qui consulte et lit automatiquement des pages web. Google le fait depuis des décennies avec Googlebot pour alimenter son index de recherche. Depuis 2023, les fournisseurs d'IA s'y sont ajoutés, chacun avec ses propres crawlers et ses propres objectifs.
On distingue en gros deux tâches. Entraînement : des crawlers comme GPTBot ou ClaudeBot collectent des textes dont les futurs modèles vont apprendre. Ce qui est collecté ici ne produit d'effet qu'avec la prochaine génération de modèles. Consultation en direct : des crawlers comme OAI-SearchBot ou PerplexityBot récupèrent des pages au moment où un utilisateur pose une question, et le système les cite dans sa réponse. Cette voie est la plus importante pour les entreprises, car elle agit immédiatement.
Les noms à connaître (état en octobre 2026) : GPTBot, OAI-SearchBot et ChatGPT-User d'OpenAI ; ClaudeBot d'Anthropic ; PerplexityBot de Perplexity ; Google-Extended, par lequel Google gère l'utilisation pour l'entraînement de Gemini. Tous ces fournisseurs documentent que leurs crawlers respectent les règles du fichier robots.txt.
Un exemple du quotidien d'une PME
Une étude d'avocats à Winterthour constate qu'elle n'apparaît jamais dans ChatGPT pour les questions de droit du travail, bien que son site contienne de nombreux guides détaillés. Le webdesigner vérifie le fichier robots.txt et trouve une ligne ajoutée il y a deux ans : User-agent: * Disallow: / pour tous les bots sauf Googlebot. Tous les crawlers IA sont donc exclus.
L'étude opte pour une voie médiane : OAI-SearchBot, PerplexityBot et ClaudeBot peuvent tout lire, GPTBot reste exclu de l'espace mandants. Après quelques semaines, l'étude est citée par Perplexity comme source pour les questions sur le licenciement pendant la période d'essai.
Pourquoi c'est important pour votre entreprise
Dans la plupart des entreprises, le fichier robots.txt est un fichier oublié, créé une fois par le webdesigner. Pourtant, il décide aujourd'hui si vous pouvez apparaître dans les réponses des IA. Deux minutes suffisent pour le vérifier : ouvrez ihre-domain.ch/robots.txt et cherchez les noms ci-dessus. Le mode d'emploi se trouve sous Les crawlers IA peuvent-ils lire votre site ?.
À cela s'ajoute que les plugins de sécurité et les pare-feu bloquent souvent automatiquement les bots inconnus, sans que le fichier robots.txt le montre. Un coup d'œil aux journaux du serveur permet d'y voir clair.
Idées reçues fréquentes
L'accès d'un crawler ne garantit aucune mention. C'est la condition préalable, pas le résultat. Qu'une page soit citée dépend du fait qu'elle réponde clairement à la question. Et : bloquer GPTBot n'empêche pas ChatGPT de trouver votre site par la recherche en direct ; c'est OAI-SearchBot qui s'en charge. Pour ne vraiment pas apparaître du tout, il faut bloquer les deux.
Questions fréquentes
Dois-je bloquer les crawlers IA ?
Si vous bloquez, vous n'apparaissez pas comme source dans les réponses de ces systèmes. Pour la plupart des PME qui veulent être trouvées, c'est un désavantage. Un blocage ne peut être judicieux que pour les contenus protégés, par exemple les espaces clients ou les textes spécialisés qu'on ne veut pas diffuser gratuitement.
Comment voir si des crawlers IA visitent mon site ?
Dans les journaux d'accès du serveur, les crawlers apparaissent avec leur nom dans le user-agent, par exemple « GPTBot » ou « PerplexityBot ». Chez beaucoup d'hébergeurs, il existe une statistique pour cela. Si les entrées manquent pendant des semaines, l'accès est souvent bloqué par un pare-feu ou un plugin.
Quelle est la différence entre GPTBot et OAI-SearchBot ?
OpenAI documente deux crawlers distincts. GPTBot collecte des contenus qui peuvent alimenter l'entraînement de futurs modèles. OAI-SearchBot récupère des pages pour la fonction de recherche de ChatGPT et les affiche comme source. On peut bloquer l'un et autoriser l'autre.