Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 18 novembre 2026.

En bref

Un prototype RAG devient un service en production quand chaque réponse cite un passage vérifiable, que chaque échange est journalisé et que la qualité est mesurée à chaque changement. S’y ajoute l’exploitation : mise à jour de l’index, droits hérités des documents, supervision et séparation des entités. L’ANSSI demande depuis avril 2024 de journaliser requêtes, données consultées et réponses, et la CNIL recommande de conserver les journaux entre six mois et un an. Pour les systèmes à haut risque, l’AI Act impose des journaux conservés au moins six mois par le déployeur, à partir du 2 décembre 2027 pour les usages de l’annexe III. Un assistant documentaire interne n’entre pas d’office dans cette catégorie, mais ces exigences indiquent ce qu’un audit cherchera.

1. Qu’est-ce qui distingue un prototype RAG d’un service en production ?

Le prototype montre que le système retrouve la bonne information sur un échantillon, alors que le service doit le garantir chaque jour, sur un corpus qui change, pour des utilisateurs aux droits différents, en conservant la preuve de chaque réponse.

La génération augmentée de récupération (RAG) désigne une méthode dans laquelle le modèle rédige sa réponse à partir de passages retrouvés dans un index documentaire. La CNIL, dans ses questions-réponses sur l’IA générative du 18 juillet 2024, note qu’elle « permet davantage de traçabilité des informations contenues dans les réponses ». L’article qui a nommé la méthode (Lewis et al., arXiv 2005.11401, mai 2020) partait de deux limites des modèles pré-entraînés : « providing provenance for their decisions and updating their world knowledge remain open research problems ».

Une démonstration réussie ne mesure pas non plus le taux d’erreur. Dans une évaluation publiée le 30 mai 2024 (Magesh et al., arXiv 2405.20362), des outils de recherche juridique commerciaux fondés sur le RAG, que leurs éditeurs présentaient comme exempts d’hallucinations, « hallucinate between 17% and 33% of the time », même s’ils se trompent moins qu’un assistant généraliste.

SujetPrototypeService en production
CitationsNom du documentVersion, page et passage, avec contrôle du soutien
JournauxAbsents ou techniquesDemandeur, droits, passages lus, versions
QualitéAppréciée en démonstrationJeu de référence rejoué à chaque changement
IndexChargé une foisMis à jour, versionné, documents retirés supprimés
DroitsCorpus ouvert aux testeursHérités des documents source, revus régulièrement
EntitésUne seuleIndex, droits et jeu de référence par filiale

2. Comment rendre chaque citation vérifiable ?

Une citation vérifiable renvoie au passage exact qui soutient l’affirmation, dans la version du document qui a été lue, et un contrôle automatique vérifie ce soutien avant l’affichage.

La citation porte l’identifiant du document, sa version ou sa date d’indexation, la page et le passage transmis au modèle. Conserver la version évite qu’une réponse donnée en mars renvoie, en septembre, à une page réécrite entre-temps.

Le contrôle de soutien reprend le principe de la métrique de fidélité de Ragas, qui « measures how factually consistent a response is with the retrieved context » en rapportant, sur une échelle de 0 à 1, les affirmations appuyées par les passages au total des affirmations. Appliqué en service, il signale les phrases sans passage correspondant. Le comportement attendu se fixe à l’avance : retirer la phrase, la marquer comme non sourcée, ou répondre que le fonds ne contient pas l’information.

L’affichage relève aussi de l’article 50 de l’AI Act, applicable depuis le 2 août 2026 : les personnes doivent être informées « qu’elles interagissent avec un système d’IA », sauf si cela ressort clairement du contexte.

3. Que doit contenir le journal d’audit ?

Le journal d’audit doit permettre de reconstituer une réponse après coup : qui a demandé quoi et sous quels droits, quels passages ont été lus et quelles versions ont produit la réponse.

Le guide de l’ANSSI (ANSSI-PA-102, 29 avril 2024), qui compte 35 recommandations, fixe l’objectif : « pouvoir reconstituer entièrement un événement sur le système d’IA ». Sa recommandation R29 énumère les requêtes, les traitements avant l’envoi au modèle, les appels à des données additionnelles, les filtres en sortie et les réponses. Pour un RAG, cela donne cinq groupes de champs :

  • l’utilisateur, son entité et les groupes de droits appliqués ;
  • la question et sa reformulation éventuelle avant la recherche ;
  • les passages retrouvés et ceux transmis au modèle, avec leurs versions ;
  • les versions du modèle, du prompt, du modèle d’embeddings et de l’index ;
  • la réponse, les citations affichées, le résultat des filtres et l’avis de l’utilisateur.

Sans les versions, personne ne peut expliquer pourquoi la même question reçoit une autre réponse d’une semaine sur l’autre.

Pour un système à haut risque, l’article 12 exige « l’enregistrement automatique des événements (journaux) » et l’article 26 leur conservation par le déployeur pendant « au moins six mois ». L’article 113, dans sa version consolidée au 27 juillet 2026, rend ces obligations applicables le 2 décembre 2027 pour l’annexe III et le 2 août 2028 pour l’annexe I, dates que reprend la page de la Commission européenne mise à jour le 19 octobre 2026.

Le journal contient des données personnelles, ne serait-ce que l’identité du demandeur et ses questions. L’ANSSI renvoie aux exigences de la CNIL, « notamment pour la durée de conservation ». La recommandation de la CNIL du 18 novembre 2021 retient une conservation « comprise entre six mois et un an ».

4. Comment évaluer la qualité en continu ?

L’évaluation continue rejoue un jeu de questions de référence à chaque changement de modèle, de prompt, de découpage ou d’index, ainsi qu’à intervalle fixe, et compare chaque résultat à la mesure précédente avant toute mise en service.

L’ANSSI prévoit des tests de qualité des réponses avant la production (R24) et précise qu’ils « peuvent avoir lieu en continu à une fréquence donnée et pas uniquement lors de déploiements ». La CNIL recommande de « conduire ou commander une évaluation sur mesure pour l’usage envisagé ».

Le jeu de référence se constitue avec les métiers : des questions réelles avec le document et la page de la réponse attendue, et des questions sans réponse dans le fonds, pour mesurer les refus justifiés. Il est versionné comme le code et s’enrichit des questions mal traitées en service, une fois leur réponse validée.

Les mesures séparent la recherche de la génération. Ragas (Es et al., arXiv 2309.15217, septembre 2023) évalue la capacité du retriever à trouver des passages pertinents, celle du modèle à les exploiter « in a faithful way » et la qualité de la réponse. ARES (Saad-Falcon et al., arXiv 2311.09476, novembre 2023) mesure la pertinence du contexte, la fidélité et la pertinence de la réponse avec des modèles juges, corrigés par un jeu d’environ 150 exemples annotés par des personnes. Les auteurs de Ragas ont mesuré, sur 50 pages Wikipédia, que leur métrique désigne la même réponse que les annotateurs humains dans 95 % des comparaisons pour la fidélité, mais dans 78 % pour la pertinence de la réponse et 70 % pour la pertinence du contexte. Un juge automatique se vérifie donc, lui aussi, sur un échantillon annoté par les métiers.

La règle de non-régression s’écrit avant le premier changement. À titre d’hypothèse de méthode : aucune mise en service si une mesure baisse au-delà d’un seuil convenu, ou si une question qui passait échoue sans validation d’un référent métier. Le rapport présente les écarts question par question, car une moyenne stable peut masquer dix questions perdues et dix gagnées.

5. Qu’implique l’exploitation au quotidien ?

Exploiter un RAG consiste à tenir l’index à jour, à garder les droits alignés sur ceux des documents source et à surveiller le service pour repérer une dérive avant les utilisateurs.

La mise à jour ajoute les nouveaux documents, réindexe ceux qui ont changé et supprime ceux qui ont été retirés : une procédure abrogée qui reste indexée continue d’être citée. Chaque mise à jour produit une version numérotée de l’index, et la précédente reste disponible pour un retour arrière testé.

Les droits suivent le besoin d’en connaître, que l’ANSSI demande de prendre en compte « dès la conception du système d’IA » (R8). Hériter des droits du document source évite une seconde politique d’accès, mais l’héritage a un délai. La documentation Microsoft d’Azure AI Search précise que les changements de droits dans la source « are only reflected in search results after that metadata is synchronized to the index ». Ce délai se mesure et s’annonce. L’ANSSI recommande aussi une revue régulière des droits des outils d’IA générative, « (ex. : tous les mois) » (R35).

La supervision suit quelques signaux, chacun avec un seuil d’alerte et un destinataire : réponses sans passage, refus, citations rejetées par le contrôle de soutien, avis négatifs, latence et erreurs.

6. Comment servir plusieurs entités ou filiales ?

Un groupe qui sert plusieurs entités sépare au minimum les droits, et le plus souvent les index, les jeux de référence et les réglages de chaque entité.

La documentation Microsoft sur la multilocation dans Azure AI Search (27 octobre 2026) décrit quatre modèles : un index par entité dans un service partagé, un service par entité, un mélange des deux, ou un index unique filtré par identifiant d’entité. Elle rappelle que « the index name in a request isn't an authorization boundary » : l’index se déduit de l’identité authentifiée.

Chaque entité a aussi son vocabulaire, ses documents de référence et ses questions types, donc son propre jeu de référence : une moyenne de groupe peut masquer la dégradation d’une filiale.

TW3 Partners décrit sur son site un assistant IA interne pour un grand groupe multi-sites construit sur ce principe, avec des « bases de connaissance partagées avec droits par groupe », un « retour utilisateur sur chaque réponse pour faire corriger le contenu source » et une mise en production « avec recette et production séparées ».

7. Quelles étapes après la livraison du prototype ?

Les travaux suivent l’ordre dans lequel ils se conditionnent.

  1. Constituer le jeu de questions de référence avec les métiers et mesurer le prototype tel quel.
  2. Fixer le format de citation, le contrôle de soutien et le comportement de refus.
  3. Mettre en place le journal et sa durée de conservation avec le délégué à la protection des données.
  4. Brancher les droits sur ceux des documents source et mesurer le délai de synchronisation.
  5. Automatiser et versionner la mise à jour de l’index, puis tester le retour arrière.
  6. Écrire les seuils de non-régression et désigner qui décide d’une mise en service.
  7. Ouvrir le service à une deuxième entité, avec son index et son jeu de référence.

FAQ

Un assistant documentaire interne est-il un système à haut risque ?
Il ne l’est pas par nature : le classement dépend de sa finalité et de son contexte d’usage. Les articles 12 et 26 de l’AI Act restent une référence utile pour concevoir le journal.

Combien de temps conserver le journal d’audit ?
La CNIL recommande entre six mois et un an. L’AI Act impose au moins six mois aux déployeurs de systèmes à haut risque.

À quelle fréquence rejouer le jeu de référence ?
À chaque changement de modèle, de prompt, de découpage ou d’index, et à intervalle fixe entre deux changements. L’intervalle suit le rythme de mise à jour du corpus.

Peut-on confier l’évaluation à un modèle juge ?
Oui, s’il est calibré sur un échantillon annoté par des personnes, comme le fait ARES.

Faut-il un index par filiale ?
Un index par entité simplifie l’isolement et l’évaluation séparée. Un index partagé coûte moins cher mais exige un filtre sur chaque requête et mêle les statistiques de pertinence.

Pour aller plus loin

Sources