CCBot

Common Crawl · Entraînement de modèles · robots.txt : oui

Constitue l’archive publique de Common Crawl, qui a servi à entraîner de nombreux modèles.

Nom du robotCCBot

ÉditeurCommon Crawl

FamilleEntraînement de modèles

Respecte robots.txtOui

À quoi il sert

Common Crawl documente CCBot et indique qu’il respecte robots.txt. Son archive est une source d’entraînement majeure en amont de beaucoup de modèles ; le bloquer coupe cette voie indirecte.

Comment l’autoriser ou le bloquer

Pour le bloquer, ajouter ces lignes à ton fichier robots.txt. Pour l’autoriser, ne rien mettre, ou remplacer Disallow par Allow.

User-agent: CCBot Disallow: /

Les autres robots de la même famille

GPTBot OpenAI
ClaudeBot Anthropic
meta-externalagent Meta
Amazonbot Amazon
Bytespider ByteDance

Sources

Common Crawl, documentation de CCBot

Les 13 robots des IA sont sur la page de référence.