Tokenizer

Le vrai truc

Avant d'être lu, un texte est découpé en morceaux qui ne sont ni des lettres ni des mots, et chaque morceau est remplacé par un numéro. Le modèle ne voit que ces numéros, jamais les lettres. C'est pourquoi il peine à compter les lettres d'un mot ou à jouer sur l'orthographe, sans que ce soit hors de sa portée. Le découpage change d'un outil à l'autre et d'une langue à l'autre, si bien qu'un même texte ne coûte pas le même nombre de morceaux en français et en anglais.