GPTBot

OpenAI · Entraînement de modèles · robots.txt : oui

Collecte des pages du web pour entraîner les modèles d’OpenAI.

À quoi il sert

OpenAI documente GPTBot comme son robot d’entraînement et indique qu’il respecte robots.txt. Le bloquer empêche l’usage de tes pages pour entraîner de futurs modèles, mais n’a aucun effet sur ta présence dans les réponses de ChatGPT (voir OAI-SearchBot).

Comment l’autoriser ou le bloquer

Pour le bloquer, ajouter ces lignes à ton fichier robots.txt. Pour l’autoriser, ne rien mettre, ou remplacer Disallow par Allow.

Les autres robots de la même famille

• ClaudeBot Anthropic
• CCBot Common Crawl
• meta-externalagent Meta
• Amazonbot Amazon
• Bytespider ByteDance

Sources

• OpenAI, documentation de GPTBot

Les 13 robots des IA sont sur la page de référence.