Mécanisme d'attention

Le vrai truc

À chaque mot qu'il traite, le modèle pèse tous les mots déjà lus et décide lesquels comptent ici. C'est ce qui lui permet de rattacher un pronom à ce qu'il désigne trente mots plus loin, sans qu'aucune règle de grammaire ait été écrite pour cela. Le mécanisme a été présenté en 2017 dans l'article « Attention Is All You Need », au sein d'une architecture qui compte bien d'autres pièces que lui. La plupart des grands modèles actuels en dérivent, mais pas tous : le titre de l'article était un slogan, pas un constat.