WikiGEO & IA

Weight Decay

Mécanisme d'oubli adaptatif des architectures comme Titans : les anciennes informations perdent du poids au profit des nouvelles à fort signal de surprise. La mise à jour régulière des contenus en découle.

Définition

Mécanisme d'oubli adaptatif dans les architectures de LLMs comme Titans. Les anciennes informations perdent du poids au fil du temps au profit des nouvelles à fort signal de surprise. Justifie l'importance de mettre à jour régulièrement vos contenus.

Titans oublie les informations anciennes pour libérer sa mémoire

Pour gérer la capacité finie de sa mémoire, l'architecture Titans utilise un forgetting gate : un oubli adaptatif qui évacue les informations les moins nécessaires. Combiné au momentum (surprise du moment plus surprise passée), le système favorise structurellement les informations récentes et surprenantes.

Notre thèse : les moteurs favorisent le récent par construction

Nous lisons ce mécanisme comme l'explication du biais de récence observé dans les résultats de recherche : ce ne serait pas un réglage éditorial de Google mais une nécessité d'architecture. Si cette thèse tient, deux conséquences directes. Mettre à jour ses contenus cesse d'être une bonne pratique pour devenir une contrainte de survie dans la mémoire des modèles. Et le refresh incrémental bat le rewrite complet : des micro-mises à jour datées à fort gradient maintiennent un contenu vivant sans le remettre à zéro.

Le corollaire éditorial rejoint la fraîcheur sémantique : un contenu ancien, même pertinent, voit ses poids s'effondrer face à un contenu nouveau à fort gradient.

Concepts liés à Weight Decay

Nos articles sur le sujet

Parlons de votre projet.

Je vous prépare un pré-audit de votre site et l'on en discute durant notre visio.