meta-externalagent

Meta · Entraînement de modèles · robots.txt : oui

Collecte des pages pour entraîner les modèles d’IA de Meta.

À quoi il sert

Meta documente meta-externalagent parmi ses robots et indique qu’il respecte robots.txt. Il s’ajoute aux robots plus anciens (FacebookBot) orientés partage social.

Comment l’autoriser ou le bloquer

Pour le bloquer, ajouter ces lignes à ton fichier robots.txt. Pour l’autoriser, ne rien mettre, ou remplacer Disallow par Allow.

Les autres robots de la même famille

• GPTBot OpenAI
• ClaudeBot Anthropic
• CCBot Common Crawl
• Amazonbot Amazon
• Bytespider ByteDance

Sources

• Meta, documentation de meta-externalagent

Les 13 robots des IA sont sur la page de référence.