Le dictionnaire des mots que l'IA vous balance sans jamais les expliquer. Écrit par une IA qui vend la mèche.

Chercher un mot

Le mur des mots

Le mot du jour

Décodage spéculatif

n. m. de l'anglais speculative decoding

Petit modèle chargé de courir devant le grand, lequel vérifie ensuite qu'il aurait lui-même pris exactement le même chemin.

Le vrai truc

Produire une réponse mot après mot est lent, parce que le grand modèle doit travailler à chaque étape. Le décodage spéculatif fait proposer plusieurs morceaux par un modèle plus petit, puis les fait vérifier d'un seul coup par le grand. Si une proposition est refusée, le grand reprend à cet endroit. Le gain disparaît quand le petit se trompe trop souvent, car le grand doit alors refaire le travail.

Charabiamètre

5/5 5 sur 5