ClaudeBot

Anthropic · Entraînement de modèles · robots.txt : oui

Collecte des pages du web pour entraîner les modèles Claude d’Anthropic.

Nom du robotClaudeBot

ÉditeurAnthropic

FamilleEntraînement de modèles

Respecte robots.txtOui

À quoi il sert

Anthropic documente ClaudeBot comme son robot d’entraînement et indique qu’il respecte robots.txt. Des noms plus anciens (anthropic-ai, Claude-Web) ont circulé ; ClaudeBot est le nom actuel.

Comment l’autoriser ou le bloquer

Pour le bloquer, ajouter ces lignes à ton fichier robots.txt. Pour l’autoriser, ne rien mettre, ou remplacer Disallow par Allow.

User-agent: ClaudeBot Disallow: /

Les autres robots de la même famille

GPTBot OpenAI
CCBot Common Crawl
meta-externalagent Meta
Amazonbot Amazon
Bytespider ByteDance

Sources

Anthropic, documentation de ClaudeBot

Les 13 robots des IA sont sur la page de référence.