Distillation

Le vrai truc

La distillation entraîne un modèle élève à imiter un modèle plus gros, non pas sur ses réponses finales mais sur sa façon d'hésiter entre plusieurs. Hinton, Vinyals et Dean en ont publié la méthode de référence en 2015, après des travaux plus anciens sur la compression. L'élève est souvent plus petit, mais rien ne l'oblige. C'est ce qui explique qu'un modèle bien plus léger tienne la comparaison sur une tâche précise, et s'effondre dès qu'on l'en écarte.