Spécialiser un petit modèle vision-langage sur la réglementation nucléaire : méthode et résultats en anglais et en français

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 18 octobre 2026.

En bref

L’IA appliquée à la réglementation nucléaire est ici évaluée sur une tâche précise : retrouver le bon document parmi des candidats. Dans leur billet publié sur Hugging Face le 26 août 2025, les auteurs rapportent que le document pertinent arrive en tête pour 74 % des questions en anglais et 61 % en français, sur leur propre banc. Ils spécialisent SmolVLM-Instruct, un modèle ouvert développé par Hugging Face, avec 40 000 exemples d’entraînement et une adaptation LoRA. Les données comprennent quatre questions produites par page avec Gemini 2.5 Flash. Sur ce banc, le modèle de base obtient 0,17 en anglais et 0,04 en français en NDCG@1. Le billet est signé par Yumeng Ye, responsable du projet chez Racine.ai, Léo Appourchaux et Noé Brandolini, de TW3 Partners, et mentionne une collaboration avec l’Intelligence Lab de l’ECE. Notre recommandation est d’évaluer cette approche sur les documents et les questions de l’organisation avant de décider de son utilisation.

1. Quelle question cette recherche pose-t-elle ?

La recherche examine si la spécialisation d’un modèle vision-langage ouvert améliore sa capacité à retrouver des documents réglementaires nucléaires. Dans le billet publié sur Hugging Face le 26 août 2025, l’équipe TW3 Partners et Racine.ai part du volume de documentation technique et réglementaire à analyser. Elle cherche à rapprocher les performances de SmolVLM de celles d’autres modèles grâce à un corpus adapté au secteur.

La tâche évaluée consiste à soumettre une question au modèle, avec plusieurs documents candidats, puis à vérifier le document classé en tête. La méthode vise à associer les questions au texte et aux éléments visuels : les auteurs mentionnent les schémas techniques, les tableaux de paramètres et les diagrammes de sûreté. L’enjeu pour le lecteur est donc concret : retrouver la page qui porte l’information recherchée au sein de documents dont les formulations peuvent être proches.

2. Quel corpus a servi à la spécialisation ?

Le corpus provient de documents publics relatifs au nucléaire, aux niveaux international, européen et français. Le billet du 26 août 2025 décrit les ensembles suivants :

• Des normes de sûreté, guides techniques et conventions internationales issus notamment de l’AIEA, de l’AEN de l’OCDE et de WENRA.
• Des directives et règlements européens concernant la sûreté nucléaire, la radioprotection et la gestion des déchets radioactifs.
• La partie réglementaire du Code de la santé publique, des textes de l’ASN, des guides de l’IRSN et de la documentation technique d’exploitants nucléaires.

La fiche du jeu VDR_Nuclear sur Hugging Face, sans date de publication indiquée, décrit un nettoyage manuel avant traitement. Les pages blanches, pages de titre, tables des matières et contenus hors sujet sont retirés. Les documents sont ensuite traités page par page pour extraire le texte et produire des images en haute résolution.

Ce découpage donne à l’équipe une unité de travail précise : la page et son contenu visuel. Nous recommandons de conserver cette unité dans un essai interne, avec un lien vers le document d’origine, afin que le spécialiste puisse examiner le passage retrouvé dans son contexte.

3. Comment les données d’entraînement ont-elles été produites ?

Les questions sont générées automatiquement à partir des pages nettoyées. Selon la fiche VDR_Nuclear, Gemini 2.5 Flash de Google produit pour chaque page quatre entrées distinctes : une question technique principale, une secondaire, une portant sur le visuel et une question multimodale. Chaque entrée associe une question, une réponse et l’image de la page, avec un identifiant et une langue.

Le dépôt VDR_pdf-to-parquet de RacineAIOS, sans date de publication indiquée, fournit l’outil de préparation. Son rôle est de convertir les PDF en paires question-image enregistrées au format Parquet, un format de données utilisé ici pour constituer le jeu d’apprentissage. Il documente aussi la détection de la langue et les différentes catégories de questions.

Pour l’expérience nucléaire, le billet du 26 août 2025 annonce 40 000 exemples d’entraînement et une adaptation LoRA ciblant les 20 % finaux des paramètres du modèle. LoRA désigne ici la technique d’adaptation employée pour spécialiser SmolVLM-Instruct. Les auteurs orientent cet apprentissage vers le vocabulaire du nucléaire, notamment la criticité, le confinement et la radioprotection.

Pour reproduire la démarche, nous recommandons d’archiver ensemble les pages retenues, les questions générées et la configuration utilisée. Une équipe pourra ainsi examiner une erreur de recherche en revenant à l’exemple qui a servi à l’apprentissage ou à l’évaluation.

4. Quels résultats obtient le modèle en anglais et en français ?

Selon le tableau du billet publié sur Hugging Face le 26 août 2025, le modèle spécialisé obtient 0,74 en anglais et 0,61 en français en NDCG@1. Ces résultats proviennent du banc construit par les auteurs, à partir de la partie test de leur propre jeu VDR_Nuclear :

Dans ce protocole, le NDCG@1 désigne la moyenne du score attribué au premier résultat : le modèle reçoit 1 lorsque le document le plus pertinent arrive en tête, et 0 sinon. Les auteurs rapportent ainsi que le document pertinent arrive en tête pour 74 % des questions en anglais et 61 % en français.

Le billet indique des rapports de 4,35 en anglais et de 15,25 en français par rapport au modèle de base. Ces rapports comparent les scores de recherche documentaire. Leur valeur ne mesure ni un gain de temps pour une équipe ni la qualité d’une décision de conformité.

Dans ce tableau publié en août 2025, le modèle spécialisé obtient le score le plus élevé dans chaque langue. Le français reste en retrait par rapport à l’anglais pour chacun des modèles comparés.

5. Comment lire la portée de ces résultats ?

Ces chiffres décrivent les performances mesurées par l’équipe sur son propre test ; ce périmètre doit accompagner leur reprise. Le billet du 26 août 2025 indique que les évaluations portent sur la partie test du jeu des auteurs et affirme l’absence de fuite depuis l’entraînement. Il ne précise pas la taille de ce test, le nombre de documents candidats ni la répartition des langues, et ne cite aucune évaluation externe.

L’exemple présenté dans le billet aide à comprendre la difficulté recherchée : plusieurs pages visuellement proches contiennent des critères d’acceptation apparentés, mais seule l’une répond exactement à la question. La pertinence se joue dans la distinction entre ces critères, au-delà de la présence d’un vocabulaire commun.

Notre lecture est qu’un essai en entreprise doit conserver cette difficulté. Nous recommandons de faire sélectionner par les spécialistes du métier des questions et des pages candidates proches, puis de séparer les documents destinés à l’apprentissage de ceux réservés au test. Les résultats devraient être examinés par langue et par famille documentaire. Cette méthode constitue une proposition du cabinet pour préparer une décision de déploiement.

6. Quelles suites les auteurs annonçaient-ils ?

Dans leur publication du 26 août 2025 sur Hugging Face, les auteurs annonçaient des travaux pour améliorer le français et élargir la couverture linguistique et réglementaire. Pour Flantier-Nuclear-Reglementation-2, ils prévoyaient un apprentissage contrastif avec des exemples négatifs consacrés aux documents réglementaires français.

L’objectif déclaré était d’apprendre à distinguer des termes proches dont le sens juridique diffère. Cette orientation prolonge la difficulté illustrée par le banc : choisir entre des pages qui semblent pertinentes mais répondent à des exigences distinctes. Les auteurs envisageaient également des optimisations de l’architecture pour réduire les ressources de calcul nécessaires lors de l’utilisation. Ce sont les perspectives exposées à la date du billet.

7. Que retenir pour une organisation du secteur nucléaire ?

Notre recommandation est d’utiliser cette publication comme point de départ d’un essai de recherche documentaire délimité. La fiche du modèle publiée par Racine.ai sur Hugging Face met le modèle à disposition sous licence Apache 2.0. Le jeu VDR_Nuclear et le code de préparation affichent également cette licence.

Sur la souveraineté, il faut considérer la chaîne de préparation autant que le modèle final. Le billet présente SmolVLM-Instruct comme une architecture européenne ouverte, tandis que la fiche du jeu attribue la génération des questions à Gemini 2.5 Flash de Google.

Pour un projet interne, nous recommandons de préciser les documents autorisés, leur version et leurs conditions d’accès avant de préparer les données. Un hébergement sur site peut faire partie des options à instruire : il convient d’en mesurer les ressources nécessaires et le temps de réponse sur le corpus retenu. Nous recommandons aussi de présenter la page source au lecteur et de confier au spécialiste compétent la validation de toute conclusion de conformité.

Le livrable de cet essai devrait réunir les questions testées, les pages attendues, les erreurs observées et les mesures par langue. Il fournirait ainsi à la direction métier une base explicite pour décider du périmètre d’usage.

FAQ

Qu’est-ce que le NDCG@1 dans cette étude ?
Le billet Hugging Face du 26 août 2025 attribue 1 lorsque le document pertinent arrive en tête, et 0 sinon. Le score final est la moyenne sur les questions du test.

Le modèle et les données sont-ils accessibles ?
Oui, les fiches du modèle et du jeu VDR_Nuclear sont publiques et affichent la licence Apache 2.0. L’outil de préparation est également disponible.

Le corpus couvre-t-il des textes français ?
Oui, le billet mentionne le Code de la santé publique, des textes de l’ASN et des guides de l’IRSN. L’évaluation distingue les résultats français et anglais.

Le score mesure-t-il la qualité d’une réponse de conformité ?
La mesure du billet porte sur le document retrouvé en tête. Nous recommandons une validation humaine de toute interprétation utilisée dans une décision de conformité.

Que demander pour reproduire le banc d’essai ?
Nous recommandons de demander la liste des questions de test, les documents candidats, les réponses attendues et les règles de séparation avec l’apprentissage. Cet ensemble permettrait de définir une comparaison reproductible.

Peut-on qualifier toute la chaîne de souveraine ?
La lecture doit distinguer ses composants : le billet revendique une base européenne ouverte. La fiche VDR_Nuclear précise que les questions ont été produites avec Gemini 2.5 Flash de Google.

Pour aller plus loin

• Retrouver une page à partir de son image : la recherche visuelle de documents expliquée.
• Rechercher dans des documents techniques et réglementaires qui mêlent texte, tableaux et schémas.
• Recherche et développement de TW3 Partners.

Sources

• Hugging Face, Yumeng Ye, Léo Appourchaux et Noé Brandolini, European Vision-Language Model Optimization for Nuclear Regulatory Data, 26 août 2025, consulté le 9 octobre 2026.
• Hugging Face, Racine.ai, fiche Flantier-Nuclear-Reglementation-1, sans date de publication indiquée, consulté le 9 octobre 2026.
• Hugging Face, Racine.ai, fiche VDR_Nuclear, sans date de publication indiquée, consulté le 9 octobre 2026.
• GitHub, RacineAIOS, VDR_pdf-to-parquet, sans date de publication indiquée, consulté le 9 octobre 2026.