KV cache

Le vrai truc

À chaque nouveau jeton produit, le modèle devrait en principe reparcourir tout ce qui précède. Le cache conserve les calculs intermédiaires des jetons déjà traités, ce qui ramène le coût par jeton à quelque chose de constant plutôt que croissant. Il occupe en revanche beaucoup de mémoire, proportionnellement à la longueur de la conversation. C'est cette mémoire, et non la puissance de calcul, qui limite en pratique le nombre de conversations simultanées.