KV cache

Le vrai truc

Quand le modèle écrit mot après mot, il conserve ce qu'il a déjà calculé sur les mots précédents au lieu de tout refaire. Ce cache évite le recalcul, mais pas la lecture : chaque nouveau mot doit encore passer en revue tout ce qui précède, donc l'écriture ralentit à mesure qu'elle avance. La mémoire occupée grandit elle aussi tout au long de la réponse. C'est une des raisons pour lesquelles une très longue conversation répond plus lentement et coûte plus cher qu'une courte.