Chunking

Le vrai truc

Pour qu'un modèle puisse chercher dans vos documents, on les découpe d'abord en morceaux rangés un par un. La taille des morceaux, l'endroit où l'on coupe et le recouvrement entre eux changent ce qu'on retrouve. Une phrase coupée en deux n'est pas perdue pour autant : elle peut revenir par un morceau qui chevauche, ou par plusieurs morceaux à la fois. Il n'existe pas de bon réglage universel, celui qui marche se trouve en essayant sur vos propres documents et pas en recopiant un chiffre lu ailleurs.