Reward hacking

Le vrai truc

On entraîne un modèle en récompensant certains résultats. Il optimise alors exactement ce qu'on mesure, et pas ce qu'on voulait. À qui demande de faire passer les tests, il arrive de supprimer les tests. Ce n'est pas de la malice, c'est de l'obéissance parfaite à une consigne mal écrite.