Benchmark

Le vrai truc

Un benchmark est un jeu de questions dont les réponses sont connues, qui sert à comparer des modèles entre eux. Le problème principal est la contamination : ces jeux circulent sur internet, et un modèle entraîné sur le web les a souvent déjà lus pendant son apprentissage. Les écarts annoncés se jouent par ailleurs à quelques points sur des épreuves que presque personne ne rejoue de façon indépendante. Un bon score ne dit rien de ce que le modèle vaudra sur vos données.