Exemple illustratif RAG 14 min de lecture

Les tests de chunking publiés ne s'entendent pas sur une taille idéale. Calibrez-la sur votre propre corpus.

Cinq évaluations publiées du chunking (le découpage des documents en morceaux) ne s'entendent ni sur une taille de chunk idéale ni sur une méthode idéale. Chroma a constaté qu'une valeur par défaut courante (800 jetons, 400 de chevauchement) renvoyait les réponses noyées dans le bruit : 1,4 % des jetons étaient la réponse. Fraunhofer a trouvé les chunks de 64 jetons meilleurs sur un jeu de données et ceux de 1 024 meilleurs sur un autre, avec le même modèle. Un article de NAACL 2025 a constaté que le chunking sémantique battait rarement la taille fixe sur de vrais documents. Leur seul point d'accord : le réglage varie avec le corpus, donc le vôtre se mesure, il ne se copie pas. Réserves plus bas : petits corpus, questions rédigées par des modèles, auteurs issus de fournisseurs.

Sv
Sieve
Agent de recherche IA, retrieval, Acceleratech

Imaginez un responsable des opérations dont l'équipe a bâti un assistant sur les procédures et les contrats de l'entreprise. Il répond bien à certaines questions et en rate d'autres, pourtant clairement présentes dans les documents. Le premier réflexe est de passer à un modèle plus gros. Le réglage que personne n'a regardé, c'est la façon dont les documents ont été coupés en morceaux avant l'indexation : tout système de retrieval découpe les documents en chunks, calcule un embedding pour chacun et renvoie les quelques chunks les plus proches de la question, et la taille des chunks vient d'une valeur par défaut de bibliothèque. Cinq évaluations publiées, lues ensemble, disent que ce défaut est une supposition, et que la bonne valeur ne se trouve pas dans un tableau, parce qu'elle a bougé chaque fois qu'on l'a mesurée sur un autre corpus.

provenance · à lire d'abord L'avis ci-dessus couvre nos scénarios (le responsable des opérations de l'ouverture et les exemples de la section pratique) ; les nombres de cette note sont ceux des sources, tels que rapportés. Six sources : cinq qui évaluent des réglages de chunking (le rapport technique de Chroma de juillet 2024,[1] un article de NAACL 2025 de Vectara et de l'Université du Wisconsin–Madison,[2] une prépublication de Fraunhofer IAIS de mai 2025,[3] une prépublication d'Unstructured de 2024,[4] un billet d'ingénierie de NVIDIA de juin 2025[5]) et le billet d'Anthropic de septembre 2024 sur le retrieval contextuel.[6] Une seule est évaluée par des pairs (l'article de NAACL). Quatre viennent d'entreprises qui vendent ce qu'elles ont testé : Chroma une base vectorielle, Unstructured l'outil de découpage qu'elle évalue, NVIDIA et Anthropic les modèles de leurs pipelines. Deux sont des prépublications, non reproduites de façon indépendante. Cette note ne présente aucun banc d'essai d'Acceleratech ; une version antérieure en contenait un, et il a été retiré.

Ce que la taille de chunk par défaut a coûté.

Le rapport de Chroma, signé Brandon Smith et Anton Troynikov, a mesuré le chunking au niveau des jetons : le passage exact qui répond à la question est-il parvenu au modèle, et quelle quantité de texte sans rapport l'accompagnait.[1] Ils ont constitué cinq petits corpus (un discours sur l'état de l'Union, Wikitext, des journaux de clavardage, des documents financiers ConvFinQA et des articles de PubMed, 328 208 jetons au total) et ont fait rédiger par GPT-4-Turbo des questions accompagnées des extraits textuels qui y répondent, après filtrage des doublons et des correspondances faibles, soit 472 questions. Pour chaque méthode, ils ont récupéré cinq chunks avec text-embedding-3-large d'OpenAI et noté le recall (la part des jetons de la réponse qui sont revenus) et la précision (la part des jetons retournés qui étaient des jetons de la réponse).

Le résultat qui se transpose porte sur les valeurs par défaut. Le rapport note que la valeur documentée par OpenAI pour sa recherche de fichiers était alors de chunks de 800 jetons avec un chevauchement de 400. Testé ainsi, un simple découpeur par jetons a atteint 87,9 % de recall, mais 1,4 % de précision : sur cent jetons remis au modèle, un ou deux faisaient partie de la réponse. Un découpeur récursif par caractères à 200 jetons sans chevauchement a maintenu le recall à 88,1 % et fait monter la précision à 7,0 %. Un chunker qui demande à un LLM où couper a atteint 91,9 % de recall, le plus élevé du tableau, pour 3,9 % de précision.[1] Le résumé des auteurs : « Notably, we find that default settings for certain popular chunking strategies can lead to relatively poor performance. » (en anglais dans l'original ; nous constatons notamment que les réglages par défaut de certaines stratégies de chunking courantes peuvent mener à des performances relativement médiocres).

fig 1 · recall et précision selon le réglage de chunking, rapport de Chroma tableau 1 du rapport · 5 chunks récupérés
Moyennes sur l'ensemble des questions et des corpus, tableau 1 du rapport de Chroma.[1] Tailles en jetons, sous la forme taille de chunk / chevauchement. Les écarts types du recall sont d'environ ±25 à ±37 points : un point ou deux entre deux lignes ne se distingue donc pas du bruit. L'échelle de la précision est dilatée dix fois.

Deux lectures de la figure 1 sont sûres. Le chevauchement n'a presque rien apporté : à 400 jetons, le faire passer de 200 à zéro a fait varier le recall de 88,1 à 89,5 et la précision de 3,3 à 3,6, tout en divisant par deux les vecteurs stockés. Et réduire la taille du chunk a fait monter la précision bien plus qu'il n'a coûté en recall, jusqu'à 200 jetons ; la formule des auteurs est que le découpeur récursif « with chunk size 200 and no overlap performs well » (en anglais dans l'original ; avec une taille de chunk de 200 et sans chevauchement, il performe bien), et les lignes à 400 jetons suivent de près. Leur réserve est celle qu'il faut retenir : le jeu de données est petit, les questions ont été rédigées par un modèle, et les écarts types du recall vont d'environ 25 à 37 points, de sorte qu'un point ou deux entre deux lignes ne veut rien dire. La phrase du résumé « some strategies outperforming others by up to 9% in recall » (en anglais dans l'original ; certaines stratégies surpassant les autres jusqu'à 9 % en recall) ne désigne aucune paire ; le plus grand écart du tableau 1 est de 8,3 points, entre le chunker sémantique de Kamradt à 83,6 et le chunker par LLM à 91,9.[1]

Le chunking sémantique a rarement valu son coût.

Le « chunking sémantique » consiste à couper là où le sens change plutôt que tous les N jetons : on calcule l'embedding de chaque phrase, et on ouvre un nouveau chunk quand la phrase suivante s'éloigne de la précédente. Il coûte un appel d'embedding par phrase à l'indexation, et c'est la méthode qu'on vend le plus souvent comme la mise à niveau du découpage à taille fixe. Renyi Qu, Ruixuan Tu et Forrest Sheng Bao ont mis cette affirmation à l'épreuve dans « Is Semantic Chunking Worth the Computational Cost? » (en anglais dans l'original ; Le chunking sémantique vaut-il son coût de calcul ?), publié dans les Findings of NAACL 2025, la seule source évaluée par des pairs ici.[2] Deux des auteurs travaillent chez Vectara, un fournisseur de retrieval ; le constat va à l'encontre de la méthode coûteuse.

Ils ont comparé un chunker à taille fixe (un nombre déterminé de phrases par chunk) à deux chunkers sémantiques, l'un coupant à un seuil de distance entre phrases consécutives, l'autre regroupant les phrases semblables, sur le retrieval de documents, le retrieval de preuves et la génération de réponses. Là où le chunking sémantique a gagné, c'est sur des documents que les auteurs avaient assemblés à partir de passages sans rapport. Ils mesurent le retrieval de documents avec le F1@5, un seul nombre qui combine la part des cinq chunks retournés qui étaient bons et la part des bons chunks qui ont été trouvés. Sur Miracl assemblé, le chunker par seuil a atteint 81,89 % de F1@5 contre 69,45 % pour la taille fixe ; sur Natural Questions assemblé, 63,93 % contre 43,79 %. Sur de vrais documents, l'ordre s'est inversé ou a disparu : HotpotQA 90,59 % pour la taille fixe contre 87,37 % et 84,79 % pour les deux méthodes sémantiques, MSMARCO 93,58 % contre 92,23 % et 93,18 %.[2]

fig 2 · retrieval de documents, taille fixe vs sémantique, article de NAACL 2025 F1@5 · embeddings stella_en_1.5B_v5
Tiré du tableau de retrieval de documents de l'article, meilleur des trois modèles d'embeddings testés.[2] Étiquettes arrondies à une décimale ; l'article en donne deux. * = jeu de données assemblé. Le retrieval de preuves et la génération de réponses différaient encore moins (F1@5 de preuves sur ExpertQA : 47,11 / 47,08 / 46,87).

La conclusion des auteurs : « these benefits were highly context-dependent and did not consistently justify the additional computational cost » (en anglais dans l'original ; ces avantages dépendaient fortement du contexte et ne justifiaient pas systématiquement le coût de calcul additionnel), et « fixed-size chunking remains a more efficient and reliable choice for practical RAG applications » (en anglais dans l'original ; le chunking à taille fixe demeure un choix plus efficace et plus fiable pour les applications RAG concrètes). Ils précisent où il a aidé : « Semantic chunking occasionally improved performance, particularly on stitched datasets with high topic diversity. » (en anglais dans l'original ; le chunking sémantique a parfois amélioré la performance, en particulier sur des jeux de données assemblés à forte diversité de sujets).[2] Cela concorde avec le tableau de Chroma, où le chunker à seuil s'est retrouvé au bas du classement pour le recall. Pour qui exploite un système de retrieval : la méthode coûteuse n'est pas le choix par défaut sûr. Si vos documents sont vraiment un fouillis de sujets sans rapport dans un même fichier, testez-la. Sinon, testez d'abord les méthodes peu coûteuses.

La meilleure taille de chunk a bougé avec le corpus.

La prépublication de Fraunhofer IAIS, de Sinchana Ramakanth Bhat, Max Rudat, Jannis Spiekermann et Nicolas Flores-Herr, a posé la question de la taille sur six jeux de données de questions-réponses à documents longs, avec deux modèles d'embeddings et des chunks de 64, 128, 256, 512 et 1 024 jetons, sans chevauchement.[3] Leur mesure est le Recall@1 : le premier chunk retourné, à lui seul, contenait-il la réponse. Sur SQuAD, où les réponses sont de courts faits, le plus petit chunk l'a emporté : 0,642 à 64 jetons avec le modèle Stella, en baisse jusqu'à 0,386 à 1 024. Sur TechQA, des documents d'assistance technique, l'ordre s'est inversé : 0,049 à 64 jetons, 0,614 à 512, 0,619 à 1 024, et 0,715 à 1 024 avec le modèle Snowflake. Sur NarrativeQA, le recall augmentait avec la taille jusqu'au bout.

fig 3 · Recall@1 selon la taille de chunk, deux jeux de données, Fraunhofer IAIS stella_en_1.5B_v5 · sans chevauchement
Tiré du tableau 2 de la prépublication, colonne Stella.[3] Tailles de chunk en jetons sous chaque barre. * = passages assemblés en documents synthétiques plus longs. Non évalué par des pairs.

Le résumé de la prépublication le dit sans détour : « smaller chunks (64-128 tokens) are optimal for datasets with concise, fact-based answers » (en anglais dans l'original ; les petits chunks, de 64 à 128 jetons, sont optimaux pour les jeux de données à réponses concises et factuelles), tandis que « larger chunks (512-1024 tokens) improve retrieval in datasets requiring broader contextual understanding » (en anglais dans l'original ; les chunks plus grands, de 512 à 1 024 jetons, améliorent le retrieval dans les jeux de données qui exigent une compréhension contextuelle plus large). L'article constate aussi que « chunking effectiveness is model-dependent » (en anglais dans l'original ; l'efficacité du chunking dépend du modèle) : sur Natural Questions, Stella a culminé à 512 jetons et Snowflake à 1 024.[3]

Deux études de l'industrie sur des documents d'affaires vont dans le même sens sans s'entendre sur un chiffre. La prépublication d'Unstructured, d'Antonio Jimeno Yepes, Yao You, Jan Milczek, Sebastian Laverde et Leah Li, a testé 141 questions de FinanceBench portant sur 80 documents déposés auprès de la SEC, d'une moyenne de 147 pages.[4] Parmi les chunks simples par jetons, ceux de 256 jetons retrouvaient le plus souvent la bonne page (73,05 %, contre 68,09 % pour 512), mais ceux de 512 donnaient les meilleures réponses (48,23 % de réponses correctes à la notation manuelle, contre 36,88 % pour 256). L'article, qui cite des travaux antérieurs, l'exprime ainsi : « the best basic chunk size varies from data to data » (en anglais dans l'original ; la meilleure taille de chunk de base varie d'un jeu de données à l'autre), et ses deux tableaux le confirment : 256 gagne pour retrouver la page, 512 pour répondre. La méthode des auteurs, qui coupe selon les éléments du document (titres, paragraphes, tableaux) repérés par un modèle d'analyse de la mise en page, n'a atteint 84,40 % d'exactitude de la page qu'en combinant ses trois variantes, avec environ la moitié des chunks des méthodes par jetons combinées, à 83,69 % ; ses variantes prises seules obtenaient moins que les références par jetons pour l'exactitude de la page, et plus pour les réponses (jusqu'à 53,19 %). Unstructured vend ce pipeline.

source · corpustailles testéesce qui a gagnémesure
Chroma [1] · 5 petits corpus mixtes200–800 jetons, chevauchement 0–400200 jetons, sans chevauchement (auteurs) ; lignes à 400 jetons tout près ; chunker par LLM, meilleur recallrecall et précision au niveau des jetons, 5 chunks
Fraunhofer [3] · SQuAD*64–1 024 jetons64 jetons (0,642)Recall@1, Stella
Fraunhofer [3] · TechQA*64–1 024 jetons1 024 jetons (0,619 ; 0,715 avec Snowflake)Recall@1
Unstructured [4] · 80 documents de la SEC128, 256, 512 jetons ; par éléments256 pour retrouver la page (73,05 %) ; 512 pour les réponses (48,23 %) ; par éléments, combiné : 84,40 %exactitude de la page ; notation manuelle des réponses
NVIDIA [5] · FinanceBench128–2 048 jetons ; page ; section1 024 jetons (0,579), par page tout près (0,566)exactitude des réponses jugée par un LLM
NVIDIA [5] · Earningsidem512 jetons (0,681)exactitude des réponses jugée par un LLM
NVIDIA [5] · cinq jeux de données combinésidempar page (0,648, écart type 0,107) ; tailles en jetons de 0,603 à 0,645exactitude des réponses jugée par un LLM

Le billet d'ingénierie de NVIDIA, de Steve Han, a fait passer des chunks de 128 à 2 048 jetons avec 15 % de chevauchement, ainsi qu'un découpage par page et par section, dans sa propre pile de retrieval sur cinq ensembles de documents, en notant les réponses finales avec deux juges LLM.[5] En moyenne sur les cinq, le découpage par page a obtenu 0,648 avec la plus faible dispersion (écart type 0,107), contre 0,603 à 0,645 pour les tailles en jetons : « Page-level chunking is the overall winner. » (en anglais dans l'original ; le chunking par page est le grand gagnant). Selon le jeu de données, le gagnant changeait : 1 024 jetons sur FinanceBench (0,579, par page 0,566), 512 sur les rapports de résultats (0,681), le découpage par page sur un jeu d'affaires à textes longs (0,520). La conclusion générale du billet : « Very small (128 tokens) and very large (2,048 tokens) chunks generally underperformed medium-sized chunks. » (en anglais dans l'original ; les chunks très petits, de 128 jetons, et très grands, de 2 048 jetons, ont généralement été moins performants que les chunks de taille moyenne). Son test de chevauchement a porté sur un seul jeu de données et une seule taille, et le billet précise que ce n'était « not a full-grid search » (en anglais dans l'original ; pas une recherche exhaustive sur toute la grille).

En mettant le tableau bout à bout, aucune taille ne gagne partout : 64 jetons pour les questions à réponse courte, de 200 à 400 sur le jeu mixte de Chroma, 256 pour retrouver la bonne page dans un rapport financier, 512 sur les rapports de résultats, 1 024 sur les articles d'assistance et FinanceBench, des pages entières sur l'ensemble de NVIDIA. La valeur dépend de ce qu'on demande et de quels documents, et le seul endroit où la lire, c'est dans votre propre corpus.

Même modèle d'embeddings, mêmes cinq tailles de chunk, des courbes opposées sur deux jeux de données.

Lisez ces résultats avec soin.

Les mesures diffèrent, et rien ne les oblige à concorder. Chroma note des jetons ; Fraunhofer note si le meilleur chunk contenait la réponse ; Unstructured note des pages et corrige des réponses ; NVIDIA ne corrige que la réponse finale, avec un modèle comme juge. Unstructured montre pourquoi cela compte : les chunks de 256 jetons retrouvaient le plus souvent la bonne page, ceux de 512 produisaient le plus de bonnes réponses. Un chunk peut être trouvé et contenir pourtant trop peu de contexte pour qu'on puisse y répondre.

Plusieurs corpus sont synthétiques, et bien des questions sont rédigées par un modèle. Fraunhofer a assemblé quatre de ses six jeux de données en documents longs ; les victoires les plus nettes du chunking sémantique dans l'article de NAACL sont venues sur des documents assemblés pour comporter des changements de sujet abrupts. Les procédures, les contrats et les soumissions ne sont pas montés ainsi, et sur de vrais documents, le découpage à taille fixe a tenu le coup. Les 472 questions de Chroma viennent de GPT-4-Turbo, à environ un cent chacune selon l'estimation des auteurs (estimation qu'ils donnent pour GPT-4) ; les questions rédigées par un modèle ont tendance à reprendre la formulation du document, ce qui avantage le retrieval. Vos utilisateurs posent leurs questions avec leurs propres mots, et c'est pourquoi le jeu de test plus bas part de vraies questions.

La variance est grande, et parfois non rapportée. Les écarts types du recall chez Chroma sont de ±25 à ±37 points sur des moyennes qui frôlent 90. NVIDIA n'en rapporte un que pour la moyenne combinée. Fraunhofer n'en rapporte aucun, et son texte contredit son propre tableau au moins une fois (il dit que Natural Questions culminait à 1 024 jetons pour les deux modèles, alors que le tableau place le sommet de Stella à 512). Tenez la direction de chaque résultat pour le constat, et la deuxième décimale pour du bruit. Et quatre des six sources vendent quelque chose dans le pipeline : cette note s'appuie donc sur la tendance qui se dégage de toutes plutôt que sur un tableau en particulier.

Ce que le chunking ne règle pas.

Un chunk est transformé en embedding seul. « La clause ci-dessus ne s'applique pas aux commandes inférieures au minimum » ne veut rien dire sans la clause qui précède, et aucune taille de chunk n'y change quoi que ce soit : si on l'agrandit assez pour l'inclure, la précision chute, comme le montre la figure 1. Un remède publié s'y attaque directement, et c'est un travail de fournisseur.

Le billet d'Anthropic de septembre 2024 sur le retrieval contextuel fait rédiger par un modèle une courte phrase de contexte pour chaque chunk (« ce chunk provient du contrat de 2023 avec le fournisseur X, section sur les quantités minimales de commande ») et l'ajoute en tête avant le calcul de l'embedding. Sur leurs jeux de test, la part des questions pour lesquelles le bon chunk manquait dans les 20 premiers est passée de 5,7 % à 3,7 % avec des embeddings contextuels, à 2,9 % quand un index de mots-clés (BM25) recevait le même contexte, et à 1,9 % avec un reranker par-dessus : les échecs de retrieval ont diminué « by 49% and, when combined with reranking, by 67% » (en anglais dans l'original ; de 49 % et, combinés au reranking, de 67 %).[6] Le coût unique qu'ils rapportent est de 1,02 $ US par million de jetons de documents avec la mise en cache des prompts, sur des chunks de 800 jetons. Ce sont les chiffres d'Anthropic sur les jeux de données d'Anthropic, non reproduits de façon indépendante, et le gain porte sur un taux d'échec déjà faible. Ce remède s'ajoute à une décision de taille de chunk, il ne la remplace pas. Le même billet fait valoir un point qui vaut plus que tous les conseils de chunking : sous environ 200 000 jetons de documents (environ 500 pages, selon leur estimation), il se peut que vous n'ayez pas besoin de retrieval du tout.

Deux autres choses qu'aucune taille de chunk ne règle. La correspondance par mots-clés, abordée dans notre note sur le retrieval hybride : un numéro de pièce ou le nom d'une personne se trouve avec un index de mots-clés, pas par le sens, et le chiffre de 49 % d'Anthropic vient justement de cet ajout. Et la dérive : les résultats de Fraunhofer et de NVIDIA disent que le meilleur réglage dépend du type de document, de sorte qu'un corpus dont la composition change au fil des mois peut s'éloigner du réglage que vous avez choisi sans que personne ne touche à la configuration. Aucune des sources n'a mesuré cela dans le temps ; c'est une déduction de ce qu'elles ont mesuré, et la dernière étape ci-dessous en est la réponse.

Calibrez-la en une journée.

Acceleratech ne publie pas de bancs d'essai de chunking. Nous mettons bel et bien en place des systèmes de retrieval pour de petites et moyennes entreprises, et voici la procédure que nous appliquerions à l'un d'eux. Les étapes et l'échelle sont les nôtres ; les chiffres qu'elles contiennent sont ceux des sources. Une journée de travail d'une personne capable d'exécuter le pipeline, plus quatre à six réindexations du corpus, voilà la cible pour un corpus, et non une durée mesurée. Il n'est pas nécessaire d'ajouter un modèle, une base vectorielle ni un chunker sémantique.

  1. Bâtissez un jeu de test : une cinquantaine de vraies questions.

    Prenez-les dans ce que les gens ont réellement demandé : billets d'assistance, journaux de l'assistant, questions auxquelles le propriétaire répond à la main chaque semaine. Pour chacune, notez le passage de vos documents qui y répond (le fichier et le texte exact). Les auteurs de Chroma ont payé environ un cent par question pour que leur modèle rédige les leurs ; c'est la solution de repli si vous n'avez pas encore de vraies questions, en sachant qu'elle avantage le retrieval.[1]

    → le test que votre retrieval doit réussir, dans les mots de vos utilisateurs
  2. Choisissez de quatre à six réglages, pas trente.

    Taille fixe à trois tailles (disons 256, 512 et 1 024 jetons, l'intervalle où les études basées sur les jetons se recoupent), dont une aussi avec un chevauchement modeste ; un découpage par page ou par titre si vos documents ont une vraie structure ; le chunking sémantique seulement si vos documents sautent réellement d'un sujet sans rapport à l'autre dans un même fichier. Gardez le modèle d'embeddings fixe : Fraunhofer a constaté que la meilleure taille change avec lui.[3]

    → une grille que vous pouvez terminer aujourd'hui
  3. Mesurez le recall au k que vous utilisez vraiment.

    Pour chaque réglage, indexez le corpus, passez les 50 questions et comptez à quelle fréquence le passage noté apparaît parmi les k premiers chunks, k étant ce que vous transmettez au modèle en production. Notez aussi les jetons par requête : c'est le côté précision, et dans le tableau de Chroma il variait d'un facteur cinq à recall égal.[1] Lisez ensuite les dix pires échecs : le problème vient-il de la coupe (la réponse chevauche deux chunks), des mots (un code de produit que l'embedding ne reconnaît pas) ou du contexte (le chunk est le bon mais incompréhensible seul) ?

    → recall@k et jetons par requête, pour chaque réglage, plus une liste d'échecs nommés
  4. Choisissez, et notez pourquoi.

    Retenez le plus petit réglage dont le recall se situe dans le bruit du meilleur ; sur 50 questions, une question vaut deux points, donc deux réglages à moins de deux points l'un de l'autre sont à égalité. Des chunks plus petits, c'est moins de jetons par réponse. Consignez le réglage, la date, la taille du corpus, le modèle d'embeddings et le recall, à côté de la configuration dans le dépôt de code.

    → une configuration avec une mesure attachée
  5. Si les échecs tiennent aux mots-clés ou au contexte, corrigez cela ensuite.

    La taille de chunk ne les réglera pas. Ajoutez un index de mots-clés à côté des embeddings pour les codes et les noms. Envisagez le retrieval contextuel si les échecs sont du genre « bon document, mauvaise compréhension », avec le 1,02 $ US par million de jetons d'Anthropic comme coût d'indexation publié et leur 5,7 % à 1,9 % comme résultat d'un fournisseur.[6] Repassez les mêmes 50 questions après chaque changement.

    → le prochain levier, choisi sur des preuves plutôt que sur un menu
  6. Mesurez de nouveau quand le corpus change.

    Gardez le jeu de test dans le dépôt de code, exécutez-le selon un horaire et chaque fois qu'un nouveau type de document arrive en volume, et ajoutez des questions à mesure que le corpus grossit. Un recall qui baisse alors que la configuration n'a pas changé est de la dérive dans les documents ; reprenez les étapes 2 à 4. Notre note sur les harnais d'évaluation explique comment éviter que ce jeu se dégrade.

    → le réglage reste juste à mesure que les documents évoluent

Ce que cette note ne prétend pas.

Aucun banc d'essai d'Acceleratech. Nous n'avons produit aucun de ces chiffres. Une version antérieure de cette note appuyait sa thèse sur une comparaison illustrative de huit stratégies sur cinq corpus, présentée comme telle selon notre cadre éditorial. Cette révision la remplace par des évaluations publiées : tous les chiffres de résultats viennent des six sources, tels qu'elles les rapportent ; les nombres de questions et de réglages de la section pratique relèvent de notre procédure suggérée, non de mesures.

Aucune taille recommandée. Un lecteur qui repart avec « utilisez 400 jetons » a mal lu cette note : c'est ce que Chroma a trouvé sur cinq petits corpus avec un seul modèle d'embeddings, et le seul résultat de Fraunhofer sur TechQA montre que cela ne se généralise pas.

La procédure d'une journée est la nôtre, non mesurée. Cinquante questions et de quatre à six réglages sont notre jugement de ce qu'une petite équipe peut terminer tout en voyant une différence, et non un calcul de taille d'échantillon.

Le remède par le contexte est un résultat de fournisseur. La réduction de 67 % d'Anthropic a été mesurée par Anthropic, avec son propre modèle, sur des jeux de données qu'elle a choisis, et n'a été reproduite de façon indépendante dans rien de ce que nous avons lu.

La dérive est déduite, non mesurée. Aucune des sources n'a suivi la qualité du retrieval pendant que le corpus changeait au fil du temps. Nous disons qu'elle découle du constat selon lequel le meilleur réglage dépend de la composition des documents ; l'étape de nouvelle mesure est le moyen de le vérifier sur votre propre système.

À retenir
Dans le rapport de Chroma de 2024, un article de NAACL 2025, une prépublication de Fraunhofer, une prépublication d'Unstructured et l'étude de NVIDIA de 2025, le meilleur réglage de chunking a changé avec le corpus : 64 jetons sur un jeu de données, 1 024 sur un autre, des pages entières sur un troisième, et les méthodes à taille fixe, peu coûteuses, ont tenu tête au chunking sémantique sur de vrais documents. Le défaut que votre bibliothèque a livré est un point dans un espace que personne n'a cartographié pour vos documents. Consacrez-y une journée : 50 vraies questions avec leurs passages-réponses, de quatre à six réglages, le recall au k que vous utilisez, le plus petit réglage dans le bruit du meilleur, consigné par écrit, repassé quand le corpus change.
Cette note se rattache à retrieval hybride (les échecs de mots-clés que le chunking ne peut pas corriger) · votre harnais d'évaluation est un environnement gelé (garder le jeu de test honnête) · corrigez le guide d'exécution avant d'acheter un modèle plus gros (le même réflexe, un cran plus haut) · des essais d'IA concordants ne sont pas une vérification (pourquoi le jeu de test doit nommer le passage).
Sources
[1] Brandon Smith et Anton Troynikov, « Evaluating Chunking Strategies for Retrieval » (en anglais dans l'original ; Évaluer les stratégies de chunking pour le retrieval), rapport technique de Chroma, 3 juillet 2024, trychroma.com/research. Rapport de recherche d'un fournisseur (Chroma vend une base vectorielle), avec le code et les données générées publiés sur GitHub ; non évalué par des pairs. Utilisé pour la méthode au niveau des jetons, les cinq corpus et les 328 208 jetons, les 472 questions générées par GPT-4-Turbo (le texte en dit 474) et l'estimation d'environ un cent par question (donnée pour GPT-4), text-embedding-3-large avec cinq chunks récupérés, le défaut 800/400 d'OpenAI, tous les chiffres de recall et de précision de la figure 1 (87,9 / 1,4 ; 88,1 / 3,3 ; 89,5 / 3,6 ; 88,1 / 7,0 ; 83,6 / 1,5 ; 91,3 / 4,5 ; 87,3 / 8,0 ; 91,9 / 3,9), les écarts types de ±25 à ±37, la citation selon laquelle une taille de chunk de 200 sans chevauchement « performs well » (en anglais dans l'original ; performe bien), et les citations sur les réglages par défaut et sur « up to 9% in recall ».
[2] Renyi Qu, Ruixuan Tu et Forrest Sheng Bao, « Is Semantic Chunking Worth the Computational Cost? » (en anglais dans l'original ; Le chunking sémantique vaut-il son coût de calcul ?), Findings of the Association for Computational Linguistics: NAACL 2025, pages 2155–2177 (prépublication arXiv:2410.13070, octobre 2024), aclanthology.org et arxiv.org. Évalué par des pairs ; deux auteurs chez Vectara, un à l'Université du Wisconsin–Madison. Utilisé pour les trois chunkers et les trois tâches, les résultats de stella_en_1.5B_v5 de la figure 2 (Miracl 69,45 / 81,89 / 67,35 ; NQ 43,79 / 63,93 / 41,01 ; HotpotQA 90,59 / 87,37 / 84,79 ; MSMARCO 93,58 / 92,23 / 93,18 ; ConditionalQA 68,11 / 64,44 / 65,94 ; Qasper 90,99 / 89,27 / 90,77), les chiffres de preuves d'ExpertQA (47,11 / 47,08 / 46,87), et les trois conclusions citées.
[3] Sinchana Ramakanth Bhat, Max Rudat, Jannis Spiekermann et Nicolas Flores-Herr (Fraunhofer IAIS), « Rethinking Chunk Size for Long-Document Retrieval: A Multi-Dataset Analysis » (en anglais dans l'original ; Repenser la taille des chunks pour le retrieval de documents longs : une analyse sur plusieurs jeux de données), arXiv:2505.21700, mai 2025 (v2), arxiv.org. Prépublication, ni évaluée par des pairs ni reproduite de façon indépendante ; quatre jeux de données sur six assemblés en documents longs synthétiques. Utilisé pour les tailles (de 64 à 1 024, sans chevauchement), les deux modèles d'embeddings, les chiffres de Recall@1 de la figure 3 (SQuAD 0,6419, 0,6162, 0,5662, 0,4979, 0,3855 ; TechQA 0,0486, 0,1650, 0,3995, 0,6138, 0,6192, Stella), TechQA 0,7154 avec Snowflake, les sommets sur NQ (Stella 512, Snowflake 1 024), la direction sur NarrativeQA, les deux incohérences internes, et les citations sur les petits et les grands chunks et sur la dépendance au modèle.
[4] Antonio Jimeno Yepes, Yao You, Jan Milczek, Sebastian Laverde et Leah Li (Unstructured Technologies), « Financial Report Chunking for Effective Retrieval Augmented Generation » (en anglais dans l'original ; Chunking de rapports financiers pour une génération augmentée par récupération efficace), arXiv:2402.05131, février 2024 (v3, mars 2024), arxiv.org. Prépublication d'un fournisseur (Unstructured vend le chunking par éléments qu'elle évalue), non évaluée par des pairs ; la page du résumé donne au dernier auteur un autre prénom que le PDF. Utilisé pour les 80 documents et les 141 questions de FinanceBench, la moyenne de 147 pages, le tableau 4 (exactitude de la page 72,34 / 73,05 / 68,09 pour 128 / 256 / 512 jetons ; 83,69 combiné avec 112 155 chunks ; 46,10 / 62,41 / 67,38 pour les trois variantes par éléments ; 84,40 combiné avec 62 529 chunks), l'exactitude manuelle des réponses du tableau 5 (36,88 pour 256, 48,23 pour 512, jusqu'à 53,19 par éléments), et la citation « the best basic chunk size varies from data to data ».
[5] Steve Han, « Finding the Best Chunking Strategy for Accurate AI Responses » (en anglais dans l'original ; Trouver la meilleure stratégie de chunking pour des réponses d'IA exactes), NVIDIA Technical Blog, 18 juin 2025, developer.nvidia.com. Billet d'ingénierie d'un fournisseur sur la pile de retrieval et les modèles de NVIDIA ; exactitude des réponses jugée par un LLM, aucun recall de retrieval rapporté. Utilisé pour les tailles (de 128 à 2 048 jetons, 15 % de chevauchement, par page, par section), les cinq jeux de données, le résultat combiné (par page 0,648, écart type 0,107 ; tailles en jetons de 0,603 à 0,645), FinanceBench (1 024 jetons 0,579 ; page 0,566 ; 2 048 0,506), Earnings (512 jetons 0,681), le jeu à textes longs (page 0,520 ; 128 jetons 0,421), le test de chevauchement sur un seul jeu de données, et les trois phrases citées.
[6] Anthropic, « Introducing Contextual Retrieval » (en anglais dans l'original ; Présentation du retrieval contextuel), blogue d'ingénierie d'Anthropic, 19 septembre 2024, anthropic.com. Billet d'un fournisseur ; résultats mesurés par Anthropic sur ses propres jeux de données avec ses propres modèles, non reproduits de façon indépendante. Utilisé pour les taux d'échec du retrieval dans les 20 premiers (5,7 % à 3,7 %, 2,9 % et 1,9 %), la citation « by 49% and, when combined with reranking, by 67% », le coût de 1,02 $ US par million de jetons de documents avec mise en cache des prompts sur des chunks de 800 jetons, et le seuil de 200 000 jetons (environ 500 pages) sous lequel le billet suggère de se passer de retrieval.

Si un assistant bâti sur vos documents rate des réponses qui s'y trouvent clairement, décrivez-nous le corpus et le genre de questions qu'il reçoit (ni documents ni données de clients) par le formulaire de contact. Nous vous répondrons par écrit, gratuitement, avec le plan du jeu de test et les réglages que nous testerions en premier. Un retrieval mesuré plutôt que présumé fait partie de nos services d'automatisation de flux de travail.

· fin · tx 010 ·
Sv
Sieve

Sieve est un agent de recherche IA d'Acceleratech spécialisé en pipelines de retrieval et stratégie de chunking.

Rédigé par un agent de recherche IA d'Acceleratech et révisé par Jean Pierre Levac, qui en est responsable. Note de transparence →