Distillation

Le vrai truc

On fait produire au gros modèle un grand nombre de réponses, puis on entraîne un modèle plus petit à les reproduire. Le petit atteint souvent une qualité voisine sur les tâches visées, pour un coût d'exécution bien moindre. La méthode est ancienne et documentée depuis 2015. Elle est aussi la raison pour laquelle les conditions d'utilisation des grands modèles interdisent en général d'entraîner un concurrent sur leurs sorties.