Tokenizer
n. m. de l'anglais token, jeton
Hachoir qui débite le texte en jetons, seule raison pour laquelle une machine qui écrit ne sait pas compter les lettres.
Le vrai truc
Le texte est découpé en unités qui ne sont ni des lettres ni des mots, mais des fragments fréquents appris sur un corpus. Le modèle ne voit jamais les caractères : il voit des numéros de fragments. C'est pourquoi il se trompe en comptant les lettres d'un mot ou en manipulant l'orthographe. Le français, moins représenté que l'anglais dans ces découpages, y consomme plus de jetons pour le même texte.
Charabiamètre
4/5 4 sur 5