Robots des IA
Les robots des IA et le contrôle du crawl
Chaque IA envoie ses propres robots sur ton site, et ils n’ont pas tous le même rôle : collecter pour l’entraînement, passer pour te citer, récupérer une page à ta demande, ou juste servir de consigne de refus. Pour chacun, tu as ici son nom officiel, s’il respecte ton fichier robots.txt (le fichier qui dit aux robots ce qu’ils ont le droit de visiter), et la ligne à y ajouter pour l’autoriser ou le bloquer.
Bloquer quoi, et à quel prix
Un robot d’entraînement et un robot de recherche n’ont pas le même effet sur toi. Bloquer un robot d’entraînement garde ton contenu hors des futurs modèles, et ta visibilité ne bouge pas. Bloquer un robot de recherche te sort des réponses citées, donc de la visibilité que tu veux gagner. Le tri se fait robot par robot.
Le relevé complet
| Robot | Éditeur | robots.txt |
|---|---|---|
| GPTBot | OpenAI | Oui |
| OAI-SearchBot | OpenAI | Oui |
| ChatGPT-User | OpenAI | Oui |
| ClaudeBot | Anthropic | Oui |
| Claude-User | Anthropic | Oui |
| PerplexityBot | Perplexity | Oui |
| Perplexity-User | Perplexity | Partiellement |
| Google-Extended | N’explore pas ton site | |
| Applebot-Extended | Apple | N’explore pas ton site |
| CCBot | Common Crawl | Oui |
| meta-externalagent | Meta | Oui |
| Amazonbot | Amazon | Oui |
| Bytespider | ByteDance | Partiellement |
Entraînement de modèles
Ils collectent des pages pour entraîner des modèles d’IA. Les bloquer garde ton contenu hors des futurs modèles. Ta visibilité dans les réponses ne bouge pas.
- GPTBot OpenAI · robots.txt : oui
- ClaudeBot Anthropic · robots.txt : oui
- CCBot Common Crawl · robots.txt : oui
- meta-externalagent Meta · robots.txt : oui
- Amazonbot Amazon · robots.txt : oui
- Bytespider ByteDance · robots.txt : partiellement
Recherche et citation
Ils passent sur tes pages pour pouvoir les citer dans les réponses des IA. Les bloquer te sort des réponses citées, donc de la visibilité que tu cherches à gagner.
- OAI-SearchBot OpenAI · robots.txt : oui
- PerplexityBot Perplexity · robots.txt : oui
Déclenché par l’utilisateur
Ils récupèrent une page quand une personne le demande dans l’outil. La visite reste ponctuelle, déclenchée par un humain.
- ChatGPT-User OpenAI · robots.txt : oui
- Claude-User Anthropic · robots.txt : oui
- Perplexity-User Perplexity · robots.txt : partiellement
Consignes de refus
Des lignes à écrire dans ton fichier robots.txt pour dire à un moteur : n’utilise pas mon contenu pour entraîner ton IA. Aucun robot de plus ne passe sur ton site.
- Google-Extended Google · robots.txt : n’explore pas ton site
- Applebot-Extended Apple · robots.txt : n’explore pas ton site
La méthode
Un robot n’entre ici que si son éditeur, ou une source vérifiable, le documente. Le nom du robot est celui publié par l’éditeur. Quand le respect de robots.txt est contesté ou déclaré partiel, on l’écrit tel quel, sans trancher. Aucun nom n’est inventé.
Sources
- OpenAI, documentation de GPTBot
- OpenAI, documentation de OAI-SearchBot
- OpenAI, documentation de ChatGPT-User
- Anthropic, documentation de ClaudeBot
- Anthropic, documentation de Claude-User
- Perplexity, documentation de PerplexityBot
- Perplexity, documentation de Perplexity-User
- Google, documentation de Google-Extended
- Apple, documentation de Applebot-Extended
- Common Crawl, documentation de CCBot
- Meta, documentation de meta-externalagent
- Amazon, documentation de Amazonbot
- ByteDance, documentation de Bytespider
Une page bloquée aux robots de recherche n’apparaît nulle part. Voir aussi les statuts d’indexation Google. Un arbitrage à poser sur ton site ? On en parle.