Imaginez un responsable des opérations dont l'équipe a bâti un assistant sur les procédures et les contrats de l'entreprise. Il répond bien à certaines questions et en rate d'autres, pourtant clairement présentes dans les documents. Le premier réflexe est de passer à un modèle plus gros. Le réglage que personne n'a regardé, c'est la façon dont les documents ont été coupés en morceaux avant l'indexation : tout système de retrieval découpe les documents en chunks, calcule un embedding pour chacun et renvoie les quelques chunks les plus proches de la question, et la taille des chunks vient d'une valeur par défaut de bibliothèque. Cinq évaluations publiées, lues ensemble, disent que ce défaut est une supposition, et que la bonne valeur ne se trouve pas dans un tableau, parce qu'elle a bougé chaque fois qu'on l'a mesurée sur un autre corpus.
Ce que la taille de chunk par défaut a coûté.
Le rapport de Chroma, signé Brandon Smith et Anton Troynikov, a mesuré le chunking au niveau des jetons : le passage exact qui répond à la question est-il parvenu au modèle, et quelle quantité de texte sans rapport l'accompagnait.[1] Ils ont constitué cinq petits corpus (un discours sur l'état de l'Union, Wikitext, des journaux de clavardage, des documents financiers ConvFinQA et des articles de PubMed, 328 208 jetons au total) et ont fait rédiger par GPT-4-Turbo des questions accompagnées des extraits textuels qui y répondent, après filtrage des doublons et des correspondances faibles, soit 472 questions. Pour chaque méthode, ils ont récupéré cinq chunks avec text-embedding-3-large d'OpenAI et noté le recall (la part des jetons de la réponse qui sont revenus) et la précision (la part des jetons retournés qui étaient des jetons de la réponse).
Le résultat qui se transpose porte sur les valeurs par défaut. Le rapport note que la valeur documentée par OpenAI pour sa recherche de fichiers était alors de chunks de 800 jetons avec un chevauchement de 400. Testé ainsi, un simple découpeur par jetons a atteint 87,9 % de recall, mais 1,4 % de précision : sur cent jetons remis au modèle, un ou deux faisaient partie de la réponse. Un découpeur récursif par caractères à 200 jetons sans chevauchement a maintenu le recall à 88,1 % et fait monter la précision à 7,0 %. Un chunker qui demande à un LLM où couper a atteint 91,9 % de recall, le plus élevé du tableau, pour 3,9 % de précision.[1] Le résumé des auteurs : « Notably, we find that default settings for certain popular chunking strategies can lead to relatively poor performance. » (en anglais dans l'original ; nous constatons notamment que les réglages par défaut de certaines stratégies de chunking courantes peuvent mener à des performances relativement médiocres).
Deux lectures de la figure 1 sont sûres. Le chevauchement n'a presque rien apporté : à 400 jetons, le faire passer de 200 à zéro a fait varier le recall de 88,1 à 89,5 et la précision de 3,3 à 3,6, tout en divisant par deux les vecteurs stockés. Et réduire la taille du chunk a fait monter la précision bien plus qu'il n'a coûté en recall, jusqu'à 200 jetons ; la formule des auteurs est que le découpeur récursif « with chunk size 200 and no overlap performs well » (en anglais dans l'original ; avec une taille de chunk de 200 et sans chevauchement, il performe bien), et les lignes à 400 jetons suivent de près. Leur réserve est celle qu'il faut retenir : le jeu de données est petit, les questions ont été rédigées par un modèle, et les écarts types du recall vont d'environ 25 à 37 points, de sorte qu'un point ou deux entre deux lignes ne veut rien dire. La phrase du résumé « some strategies outperforming others by up to 9% in recall » (en anglais dans l'original ; certaines stratégies surpassant les autres jusqu'à 9 % en recall) ne désigne aucune paire ; le plus grand écart du tableau 1 est de 8,3 points, entre le chunker sémantique de Kamradt à 83,6 et le chunker par LLM à 91,9.[1]
Le chunking sémantique a rarement valu son coût.
Le « chunking sémantique » consiste à couper là où le sens change plutôt que tous les N jetons : on calcule l'embedding de chaque phrase, et on ouvre un nouveau chunk quand la phrase suivante s'éloigne de la précédente. Il coûte un appel d'embedding par phrase à l'indexation, et c'est la méthode qu'on vend le plus souvent comme la mise à niveau du découpage à taille fixe. Renyi Qu, Ruixuan Tu et Forrest Sheng Bao ont mis cette affirmation à l'épreuve dans « Is Semantic Chunking Worth the Computational Cost? » (en anglais dans l'original ; Le chunking sémantique vaut-il son coût de calcul ?), publié dans les Findings of NAACL 2025, la seule source évaluée par des pairs ici.[2] Deux des auteurs travaillent chez Vectara, un fournisseur de retrieval ; le constat va à l'encontre de la méthode coûteuse.
Ils ont comparé un chunker à taille fixe (un nombre déterminé de phrases par chunk) à deux chunkers sémantiques, l'un coupant à un seuil de distance entre phrases consécutives, l'autre regroupant les phrases semblables, sur le retrieval de documents, le retrieval de preuves et la génération de réponses. Là où le chunking sémantique a gagné, c'est sur des documents que les auteurs avaient assemblés à partir de passages sans rapport. Ils mesurent le retrieval de documents avec le F1@5, un seul nombre qui combine la part des cinq chunks retournés qui étaient bons et la part des bons chunks qui ont été trouvés. Sur Miracl assemblé, le chunker par seuil a atteint 81,89 % de F1@5 contre 69,45 % pour la taille fixe ; sur Natural Questions assemblé, 63,93 % contre 43,79 %. Sur de vrais documents, l'ordre s'est inversé ou a disparu : HotpotQA 90,59 % pour la taille fixe contre 87,37 % et 84,79 % pour les deux méthodes sémantiques, MSMARCO 93,58 % contre 92,23 % et 93,18 %.[2]
La conclusion des auteurs : « these benefits were highly context-dependent and did not consistently justify the additional computational cost » (en anglais dans l'original ; ces avantages dépendaient fortement du contexte et ne justifiaient pas systématiquement le coût de calcul additionnel), et « fixed-size chunking remains a more efficient and reliable choice for practical RAG applications » (en anglais dans l'original ; le chunking à taille fixe demeure un choix plus efficace et plus fiable pour les applications RAG concrètes). Ils précisent où il a aidé : « Semantic chunking occasionally improved performance, particularly on stitched datasets with high topic diversity. » (en anglais dans l'original ; le chunking sémantique a parfois amélioré la performance, en particulier sur des jeux de données assemblés à forte diversité de sujets).[2] Cela concorde avec le tableau de Chroma, où le chunker à seuil s'est retrouvé au bas du classement pour le recall. Pour qui exploite un système de retrieval : la méthode coûteuse n'est pas le choix par défaut sûr. Si vos documents sont vraiment un fouillis de sujets sans rapport dans un même fichier, testez-la. Sinon, testez d'abord les méthodes peu coûteuses.
La meilleure taille de chunk a bougé avec le corpus.
La prépublication de Fraunhofer IAIS, de Sinchana Ramakanth Bhat, Max Rudat, Jannis Spiekermann et Nicolas Flores-Herr, a posé la question de la taille sur six jeux de données de questions-réponses à documents longs, avec deux modèles d'embeddings et des chunks de 64, 128, 256, 512 et 1 024 jetons, sans chevauchement.[3] Leur mesure est le Recall@1 : le premier chunk retourné, à lui seul, contenait-il la réponse. Sur SQuAD, où les réponses sont de courts faits, le plus petit chunk l'a emporté : 0,642 à 64 jetons avec le modèle Stella, en baisse jusqu'à 0,386 à 1 024. Sur TechQA, des documents d'assistance technique, l'ordre s'est inversé : 0,049 à 64 jetons, 0,614 à 512, 0,619 à 1 024, et 0,715 à 1 024 avec le modèle Snowflake. Sur NarrativeQA, le recall augmentait avec la taille jusqu'au bout.
Le résumé de la prépublication le dit sans détour : « smaller chunks (64-128 tokens) are optimal for datasets with concise, fact-based answers » (en anglais dans l'original ; les petits chunks, de 64 à 128 jetons, sont optimaux pour les jeux de données à réponses concises et factuelles), tandis que « larger chunks (512-1024 tokens) improve retrieval in datasets requiring broader contextual understanding » (en anglais dans l'original ; les chunks plus grands, de 512 à 1 024 jetons, améliorent le retrieval dans les jeux de données qui exigent une compréhension contextuelle plus large). L'article constate aussi que « chunking effectiveness is model-dependent » (en anglais dans l'original ; l'efficacité du chunking dépend du modèle) : sur Natural Questions, Stella a culminé à 512 jetons et Snowflake à 1 024.[3]
Deux études de l'industrie sur des documents d'affaires vont dans le même sens sans s'entendre sur un chiffre. La prépublication d'Unstructured, d'Antonio Jimeno Yepes, Yao You, Jan Milczek, Sebastian Laverde et Leah Li, a testé 141 questions de FinanceBench portant sur 80 documents déposés auprès de la SEC, d'une moyenne de 147 pages.[4] Parmi les chunks simples par jetons, ceux de 256 jetons retrouvaient le plus souvent la bonne page (73,05 %, contre 68,09 % pour 512), mais ceux de 512 donnaient les meilleures réponses (48,23 % de réponses correctes à la notation manuelle, contre 36,88 % pour 256). L'article, qui cite des travaux antérieurs, l'exprime ainsi : « the best basic chunk size varies from data to data » (en anglais dans l'original ; la meilleure taille de chunk de base varie d'un jeu de données à l'autre), et ses deux tableaux le confirment : 256 gagne pour retrouver la page, 512 pour répondre. La méthode des auteurs, qui coupe selon les éléments du document (titres, paragraphes, tableaux) repérés par un modèle d'analyse de la mise en page, n'a atteint 84,40 % d'exactitude de la page qu'en combinant ses trois variantes, avec environ la moitié des chunks des méthodes par jetons combinées, à 83,69 % ; ses variantes prises seules obtenaient moins que les références par jetons pour l'exactitude de la page, et plus pour les réponses (jusqu'à 53,19 %). Unstructured vend ce pipeline.
| source · corpus | tailles testées | ce qui a gagné | mesure |
|---|---|---|---|
| Chroma [1] · 5 petits corpus mixtes | 200–800 jetons, chevauchement 0–400 | 200 jetons, sans chevauchement (auteurs) ; lignes à 400 jetons tout près ; chunker par LLM, meilleur recall | recall et précision au niveau des jetons, 5 chunks |
| Fraunhofer [3] · SQuAD* | 64–1 024 jetons | 64 jetons (0,642) | Recall@1, Stella |
| Fraunhofer [3] · TechQA* | 64–1 024 jetons | 1 024 jetons (0,619 ; 0,715 avec Snowflake) | Recall@1 |
| Unstructured [4] · 80 documents de la SEC | 128, 256, 512 jetons ; par éléments | 256 pour retrouver la page (73,05 %) ; 512 pour les réponses (48,23 %) ; par éléments, combiné : 84,40 % | exactitude de la page ; notation manuelle des réponses |
| NVIDIA [5] · FinanceBench | 128–2 048 jetons ; page ; section | 1 024 jetons (0,579), par page tout près (0,566) | exactitude des réponses jugée par un LLM |
| NVIDIA [5] · Earnings | idem | 512 jetons (0,681) | exactitude des réponses jugée par un LLM |
| NVIDIA [5] · cinq jeux de données combinés | idem | par page (0,648, écart type 0,107) ; tailles en jetons de 0,603 à 0,645 | exactitude des réponses jugée par un LLM |
Le billet d'ingénierie de NVIDIA, de Steve Han, a fait passer des chunks de 128 à 2 048 jetons avec 15 % de chevauchement, ainsi qu'un découpage par page et par section, dans sa propre pile de retrieval sur cinq ensembles de documents, en notant les réponses finales avec deux juges LLM.[5] En moyenne sur les cinq, le découpage par page a obtenu 0,648 avec la plus faible dispersion (écart type 0,107), contre 0,603 à 0,645 pour les tailles en jetons : « Page-level chunking is the overall winner. » (en anglais dans l'original ; le chunking par page est le grand gagnant). Selon le jeu de données, le gagnant changeait : 1 024 jetons sur FinanceBench (0,579, par page 0,566), 512 sur les rapports de résultats (0,681), le découpage par page sur un jeu d'affaires à textes longs (0,520). La conclusion générale du billet : « Very small (128 tokens) and very large (2,048 tokens) chunks generally underperformed medium-sized chunks. » (en anglais dans l'original ; les chunks très petits, de 128 jetons, et très grands, de 2 048 jetons, ont généralement été moins performants que les chunks de taille moyenne). Son test de chevauchement a porté sur un seul jeu de données et une seule taille, et le billet précise que ce n'était « not a full-grid search » (en anglais dans l'original ; pas une recherche exhaustive sur toute la grille).
En mettant le tableau bout à bout, aucune taille ne gagne partout : 64 jetons pour les questions à réponse courte, de 200 à 400 sur le jeu mixte de Chroma, 256 pour retrouver la bonne page dans un rapport financier, 512 sur les rapports de résultats, 1 024 sur les articles d'assistance et FinanceBench, des pages entières sur l'ensemble de NVIDIA. La valeur dépend de ce qu'on demande et de quels documents, et le seul endroit où la lire, c'est dans votre propre corpus.
Lisez ces résultats avec soin.
Les mesures diffèrent, et rien ne les oblige à concorder. Chroma note des jetons ; Fraunhofer note si le meilleur chunk contenait la réponse ; Unstructured note des pages et corrige des réponses ; NVIDIA ne corrige que la réponse finale, avec un modèle comme juge. Unstructured montre pourquoi cela compte : les chunks de 256 jetons retrouvaient le plus souvent la bonne page, ceux de 512 produisaient le plus de bonnes réponses. Un chunk peut être trouvé et contenir pourtant trop peu de contexte pour qu'on puisse y répondre.
Plusieurs corpus sont synthétiques, et bien des questions sont rédigées par un modèle. Fraunhofer a assemblé quatre de ses six jeux de données en documents longs ; les victoires les plus nettes du chunking sémantique dans l'article de NAACL sont venues sur des documents assemblés pour comporter des changements de sujet abrupts. Les procédures, les contrats et les soumissions ne sont pas montés ainsi, et sur de vrais documents, le découpage à taille fixe a tenu le coup. Les 472 questions de Chroma viennent de GPT-4-Turbo, à environ un cent chacune selon l'estimation des auteurs (estimation qu'ils donnent pour GPT-4) ; les questions rédigées par un modèle ont tendance à reprendre la formulation du document, ce qui avantage le retrieval. Vos utilisateurs posent leurs questions avec leurs propres mots, et c'est pourquoi le jeu de test plus bas part de vraies questions.
La variance est grande, et parfois non rapportée. Les écarts types du recall chez Chroma sont de ±25 à ±37 points sur des moyennes qui frôlent 90. NVIDIA n'en rapporte un que pour la moyenne combinée. Fraunhofer n'en rapporte aucun, et son texte contredit son propre tableau au moins une fois (il dit que Natural Questions culminait à 1 024 jetons pour les deux modèles, alors que le tableau place le sommet de Stella à 512). Tenez la direction de chaque résultat pour le constat, et la deuxième décimale pour du bruit. Et quatre des six sources vendent quelque chose dans le pipeline : cette note s'appuie donc sur la tendance qui se dégage de toutes plutôt que sur un tableau en particulier.
Ce que le chunking ne règle pas.
Un chunk est transformé en embedding seul. « La clause ci-dessus ne s'applique pas aux commandes inférieures au minimum » ne veut rien dire sans la clause qui précède, et aucune taille de chunk n'y change quoi que ce soit : si on l'agrandit assez pour l'inclure, la précision chute, comme le montre la figure 1. Un remède publié s'y attaque directement, et c'est un travail de fournisseur.
Le billet d'Anthropic de septembre 2024 sur le retrieval contextuel fait rédiger par un modèle une courte phrase de contexte pour chaque chunk (« ce chunk provient du contrat de 2023 avec le fournisseur X, section sur les quantités minimales de commande ») et l'ajoute en tête avant le calcul de l'embedding. Sur leurs jeux de test, la part des questions pour lesquelles le bon chunk manquait dans les 20 premiers est passée de 5,7 % à 3,7 % avec des embeddings contextuels, à 2,9 % quand un index de mots-clés (BM25) recevait le même contexte, et à 1,9 % avec un reranker par-dessus : les échecs de retrieval ont diminué « by 49% and, when combined with reranking, by 67% » (en anglais dans l'original ; de 49 % et, combinés au reranking, de 67 %).[6] Le coût unique qu'ils rapportent est de 1,02 $ US par million de jetons de documents avec la mise en cache des prompts, sur des chunks de 800 jetons. Ce sont les chiffres d'Anthropic sur les jeux de données d'Anthropic, non reproduits de façon indépendante, et le gain porte sur un taux d'échec déjà faible. Ce remède s'ajoute à une décision de taille de chunk, il ne la remplace pas. Le même billet fait valoir un point qui vaut plus que tous les conseils de chunking : sous environ 200 000 jetons de documents (environ 500 pages, selon leur estimation), il se peut que vous n'ayez pas besoin de retrieval du tout.
Deux autres choses qu'aucune taille de chunk ne règle. La correspondance par mots-clés, abordée dans notre note sur le retrieval hybride : un numéro de pièce ou le nom d'une personne se trouve avec un index de mots-clés, pas par le sens, et le chiffre de 49 % d'Anthropic vient justement de cet ajout. Et la dérive : les résultats de Fraunhofer et de NVIDIA disent que le meilleur réglage dépend du type de document, de sorte qu'un corpus dont la composition change au fil des mois peut s'éloigner du réglage que vous avez choisi sans que personne ne touche à la configuration. Aucune des sources n'a mesuré cela dans le temps ; c'est une déduction de ce qu'elles ont mesuré, et la dernière étape ci-dessous en est la réponse.
Calibrez-la en une journée.
Acceleratech ne publie pas de bancs d'essai de chunking. Nous mettons bel et bien en place des systèmes de retrieval pour de petites et moyennes entreprises, et voici la procédure que nous appliquerions à l'un d'eux. Les étapes et l'échelle sont les nôtres ; les chiffres qu'elles contiennent sont ceux des sources. Une journée de travail d'une personne capable d'exécuter le pipeline, plus quatre à six réindexations du corpus, voilà la cible pour un corpus, et non une durée mesurée. Il n'est pas nécessaire d'ajouter un modèle, une base vectorielle ni un chunker sémantique.
- Bâtissez un jeu de test : une cinquantaine de vraies questions.
Prenez-les dans ce que les gens ont réellement demandé : billets d'assistance, journaux de l'assistant, questions auxquelles le propriétaire répond à la main chaque semaine. Pour chacune, notez le passage de vos documents qui y répond (le fichier et le texte exact). Les auteurs de Chroma ont payé environ un cent par question pour que leur modèle rédige les leurs ; c'est la solution de repli si vous n'avez pas encore de vraies questions, en sachant qu'elle avantage le retrieval.[1]
→ le test que votre retrieval doit réussir, dans les mots de vos utilisateurs - Choisissez de quatre à six réglages, pas trente.
Taille fixe à trois tailles (disons 256, 512 et 1 024 jetons, l'intervalle où les études basées sur les jetons se recoupent), dont une aussi avec un chevauchement modeste ; un découpage par page ou par titre si vos documents ont une vraie structure ; le chunking sémantique seulement si vos documents sautent réellement d'un sujet sans rapport à l'autre dans un même fichier. Gardez le modèle d'embeddings fixe : Fraunhofer a constaté que la meilleure taille change avec lui.[3]
→ une grille que vous pouvez terminer aujourd'hui - Mesurez le recall au k que vous utilisez vraiment.
Pour chaque réglage, indexez le corpus, passez les 50 questions et comptez à quelle fréquence le passage noté apparaît parmi les k premiers chunks, k étant ce que vous transmettez au modèle en production. Notez aussi les jetons par requête : c'est le côté précision, et dans le tableau de Chroma il variait d'un facteur cinq à recall égal.[1] Lisez ensuite les dix pires échecs : le problème vient-il de la coupe (la réponse chevauche deux chunks), des mots (un code de produit que l'embedding ne reconnaît pas) ou du contexte (le chunk est le bon mais incompréhensible seul) ?
→ recall@k et jetons par requête, pour chaque réglage, plus une liste d'échecs nommés - Choisissez, et notez pourquoi.
Retenez le plus petit réglage dont le recall se situe dans le bruit du meilleur ; sur 50 questions, une question vaut deux points, donc deux réglages à moins de deux points l'un de l'autre sont à égalité. Des chunks plus petits, c'est moins de jetons par réponse. Consignez le réglage, la date, la taille du corpus, le modèle d'embeddings et le recall, à côté de la configuration dans le dépôt de code.
→ une configuration avec une mesure attachée - Si les échecs tiennent aux mots-clés ou au contexte, corrigez cela ensuite.
La taille de chunk ne les réglera pas. Ajoutez un index de mots-clés à côté des embeddings pour les codes et les noms. Envisagez le retrieval contextuel si les échecs sont du genre « bon document, mauvaise compréhension », avec le 1,02 $ US par million de jetons d'Anthropic comme coût d'indexation publié et leur 5,7 % à 1,9 % comme résultat d'un fournisseur.[6] Repassez les mêmes 50 questions après chaque changement.
→ le prochain levier, choisi sur des preuves plutôt que sur un menu - Mesurez de nouveau quand le corpus change.
Gardez le jeu de test dans le dépôt de code, exécutez-le selon un horaire et chaque fois qu'un nouveau type de document arrive en volume, et ajoutez des questions à mesure que le corpus grossit. Un recall qui baisse alors que la configuration n'a pas changé est de la dérive dans les documents ; reprenez les étapes 2 à 4. Notre note sur les harnais d'évaluation explique comment éviter que ce jeu se dégrade.
→ le réglage reste juste à mesure que les documents évoluent
Ce que cette note ne prétend pas.
Aucun banc d'essai d'Acceleratech. Nous n'avons produit aucun de ces chiffres. Une version antérieure de cette note appuyait sa thèse sur une comparaison illustrative de huit stratégies sur cinq corpus, présentée comme telle selon notre cadre éditorial. Cette révision la remplace par des évaluations publiées : tous les chiffres de résultats viennent des six sources, tels qu'elles les rapportent ; les nombres de questions et de réglages de la section pratique relèvent de notre procédure suggérée, non de mesures.
Aucune taille recommandée. Un lecteur qui repart avec « utilisez 400 jetons » a mal lu cette note : c'est ce que Chroma a trouvé sur cinq petits corpus avec un seul modèle d'embeddings, et le seul résultat de Fraunhofer sur TechQA montre que cela ne se généralise pas.
La procédure d'une journée est la nôtre, non mesurée. Cinquante questions et de quatre à six réglages sont notre jugement de ce qu'une petite équipe peut terminer tout en voyant une différence, et non un calcul de taille d'échantillon.
Le remède par le contexte est un résultat de fournisseur. La réduction de 67 % d'Anthropic a été mesurée par Anthropic, avec son propre modèle, sur des jeux de données qu'elle a choisis, et n'a été reproduite de façon indépendante dans rien de ce que nous avons lu.
La dérive est déduite, non mesurée. Aucune des sources n'a suivi la qualité du retrieval pendant que le corpus changeait au fil du temps. Nous disons qu'elle découle du constat selon lequel le meilleur réglage dépend de la composition des documents ; l'étape de nouvelle mesure est le moyen de le vérifier sur votre propre système.
Si un assistant bâti sur vos documents rate des réponses qui s'y trouvent clairement, décrivez-nous le corpus et le genre de questions qu'il reçoit (ni documents ni données de clients) par le formulaire de contact. Nous vous répondrons par écrit, gratuitement, avec le plan du jeu de test et les réglages que nous testerions en premier. Un retrieval mesuré plutôt que présumé fait partie de nos services d'automatisation de flux de travail.