Bytespider

ByteDance · Entraînement de modèles · robots.txt : partiellement

Collecte des pages pour l’entraînement des modèles de ByteDance, la maison mère de TikTok.

À quoi il sert

Bytespider est l’un des robots IA les plus actifs. Plusieurs éditeurs ont rapporté qu’il ignorait robots.txt ; ByteDance a ensuite affirmé le respecter. La documentation officielle reste mince, d’où un statut « partiellement » assumé ici.

Comment l’autoriser ou le bloquer

Pour le bloquer, ajouter ces lignes à ton fichier robots.txt. Pour l’autoriser, ne rien mettre, ou remplacer Disallow par Allow.

Les autres robots de la même famille

• GPTBot OpenAI
• ClaudeBot Anthropic
• CCBot Common Crawl
• meta-externalagent Meta
• Amazonbot Amazon

Sources

• ByteDance, documentation de Bytespider

Les 13 robots des IA sont sur la page de référence.