Chunking

Le vrai truc

Avant d'être cherchés, les documents sont coupés en morceaux de quelques centaines de mots, chacun transformé en embedding. La taille et l'endroit des coupes décident de ce que la recherche retrouvera : une définition coupée en deux ne sera jamais rendue entière. C'est le réglage le plus déterminant d'un système de RAG, et le moins souvent discuté. Aucune valeur ne convient à tous les documents.