Grokking

Le vrai truc

Phénomène observé en 2022 : un petit modèle qui semblait avoir bêtement mémorisé ses exemples, et qu'on laisse s'entraîner beaucoup plus longtemps que de raison, se met soudain à généraliser pour de vrai. La courbe reste plate, puis décolle d'un coup. Personne ne l'explique complètement.