Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 19 octobre 2026.

En bref

La recherche visuelle de documents compare une question aux images des pages, sans extraction préalable du texte, pour retrouver l’information portée par le texte et les éléments visuels. Le principe du Document Screenshot Embedding a été publié par Ma et ses coauteurs sur arXiv, le 17 juin 2024. Les fiches de Racine.ai décrivent des modèles sous licence Apache 2.0 allant de 500 millions à 4 milliards de paramètres. La fiche du jeu VDR_MEGA_MultiDomain_DocRetrieval, référencée en 2025, annonce environ 1 090 000 exemples dans cinq langues. Sur le banc nucléaire construit par les auteurs, le billet TW3 Partners et Racine.ai du 26 août 2025 rapporte un NDCG@1 de 0,74 en anglais et de 0,61 en français pour leur modèle spécialisé. Pour choisir une architecture, nous recommandons de comparer les pages retrouvées sur les questions réelles du métier.

1. Qu’est-ce que la recherche visuelle de documents ?

La recherche visuelle de documents désigne la recherche de pages pertinentes pour une question textuelle à partir de leur représentation en image. Le sigle VDR vient de l’anglais Visual Document Retrieval. Dans cette approche, la question reste formulée en langage courant ; c’est le document à chercher qui entre dans le système sous forme visuelle.

Dans DSE, publié sur arXiv le 17 juin 2024, Ma et ses coauteurs utilisent la capture du document comme entrée commune. DSE signifie Document Screenshot Embedding, soit la représentation numérique d’une capture de document. Le texte, les images et leur disposition sont ainsi présentés ensemble au modèle.

Avec ColPali, déposé sur arXiv le 27 juin 2024, Faysse et ses coauteurs proposent également d’indexer directement les images des pages. Ces travaux portent sur la recherche : leur fonction consiste à sélectionner les pages pertinentes. La rédaction d’une réponse à partir des pages retenues constitue une étape supplémentaire, envisagée dans la conclusion de DSE.

2. Pourquoi indexer l’image de la page ?

Indexer l’image permet de conserver comme entrée les éléments visuels qu’une extraction de texte peut perdre. Les auteurs de ColPali, dans leur article déposé en 2024, soulignent que l’information passe aussi par les figures, les tableaux, la disposition des éléments et les polices de caractères. Une recherche limitée au texte extrait exploite difficilement ces indices visuels.

Le billet nucléaire de TW3 Partners et Racine.ai, publié le 26 août 2025, décrit précisément ce besoin : traiter ensemble textes réglementaires, schémas techniques, tableaux de données et logigrammes. Les PDF y sont convertis en images conservant la mise en page.

Nous recommandons donc de commencer par examiner où se trouve l’information utile dans le fonds documentaire. Les questions qui demandent de lire une figure ou de rapprocher un tableau de son contexte méritent un essai de recherche visuelle. Cette qualification doit se faire avec les utilisateurs : leur page de référence permettra de vérifier ce que retrouve chaque système.

3. Comment la page et la question deviennent-elles comparables ?

Le modèle transforme la page et la question en représentations numériques dont il calcule la proximité. Dans DSE, décrit par Ma et ses coauteurs en 2024, un encodeur traite l’image du document et un autre chemin traite le texte de la question. Ils partagent le même modèle de langage. La recherche classe ensuite les documents selon la similarité de leurs vecteurs, c’est-à-dire de leurs suites de nombres.

L’apprentissage donne un sens à cette proximité. La fiche Flantier2-SmolVLM-2B-dse de Racine.ai, référencée en 2025, décrit une fonction d’apprentissage appelée InfoNCE : elle vise à augmenter la similarité entre une question et la bonne page, et à diminuer celle des pages incorrectes. Parmi ces dernières figurent des pages proches par leur contenu, mais qui ne répondent pas à la question.

Les architectures diffèrent dans la représentation conservée. DSE produit un vecteur pour le document. ColPali, publié initialement en 2024, conserve plusieurs vecteurs par page et les compare à ceux de la question par un mécanisme d’interaction tardive. Nous recommandons de demander comment le système stocke son index et calcule ses classements, puis de mesurer les ressources nécessaires sur le corpus envisagé.

4. Quels modèles ouverts l’équipe a-t-elle publiés ?

Racine.ai publie des modèles de recherche documentaire visuelle fondés sur SmolVLM et sur Qwen. Le billet de l’équipe du 26 mars 2025 présente le travail de préparation des données et d’adaptation de SmolVLM à cette tâche. Les fiches ci-dessous, référencées en 2025, déclarent une licence Apache 2.0.

Modèle et fiche sourceBase ou périmètre déclaré
Flantier-SmolVLM-500M-dseSmolVLM, 500 millions de paramètres, documentation technique
Flantier-SmolVLM-2B-dseSmolVLM, 2 milliards de paramètres, documentation technique
Flantier2-SmolVLM-2B-dseSmolVLM, seconde génération pour la recherche technique multilingue
Flantier-Nuclear-Reglementation-1SmolVLM adapté à la documentation réglementaire nucléaire
QwenAmann-4B-dseQwen3-VL-4B-Instruct, 4 milliards de paramètres, documentation technique multilingue

Ce catalogue offre des candidats à l’évaluation. Nous recommandons de choisir d’abord les langues et les familles de documents à couvrir, puis de tester les modèles sur le matériel prévu. Le nombre de paramètres doit entrer dans cette comparaison avec la qualité des pages retrouvées et les contraintes d’exploitation.

5. Quels jeux de données servent à l’entraînement ?

Le jeu VDR multi-domaines associe des questions à des images de documents pour apprendre à retrouver la page pertinente. La fiche Racine.ai du jeu VDR_MEGA_MultiDomain_DocRetrieval, référencée en 2025, annonce environ 1 090 000 exemples couvrant l’anglais, le français, l’allemand, l’espagnol et l’italien, sous licence Apache 2.0.

Elle décrit un assemblage de jeux thématiques de la série VDR et de ressources publiques issues de ColPali, de VisRAG et de LlamaIndex. Les exemples comprennent une question, une image de document pertinente et, selon les entrées, des images incorrectes servant à l’apprentissage par contraste.

Pour une spécialisation métier, notre recommandation est d’examiner ce que ces paires apprennent au modèle : quel vocabulaire relie la question à la page, et quelles pages voisines risquent d’être confondues. Nous conseillons aussi de réserver un corpus d’évaluation avant l’adaptation, puis de faire vérifier les réponses de référence par les utilisateurs. Le volume du jeu d’entraînement doit être apprécié avec cette couverture du besoin métier.

6. Comment mesure-t-on la qualité de la recherche ?

Pour mesurer la qualité, nous recommandons de confronter les pages proposées à des réponses de référence sur un ensemble de test séparé. Le billet nucléaire du 26 août 2025 utilise le NDCG@1 pour évaluer le résultat placé en tête. Dans son protocole, une sélection correcte reçoit la valeur 1 et une sélection incorrecte la valeur 0 ; le score final est la moyenne sur les exemples de test.

Les auteurs rapportent 0,74 en anglais et 0,61 en français pour Flantier-Nuclear-Reglementation-1 sur leur banc nucléaire. Ils indiquent avoir utilisé la partition de test de leur jeu VDR. Ces résultats concernent la sélection documentaire dans ce protocole ; ils ne mesurent pas la justesse d’une réponse rédigée par un assistant.

La portée du banc doit accompagner le score. ColPali, déposé en 2024, introduit ViDoRe, un banc public de recherche à la page couvrant plusieurs domaines et langues. Le billet Flantier du 26 mars 2025 décrit un banc interne consacré à l’énergie à cette date.

Pour une décision de déploiement, nous recommandons de comparer recherche textuelle et recherche visuelle sur les mêmes questions, en séparant les résultats par langue et par type de page. À chaque erreur, le métier doit pouvoir consulter la page proposée et la page attendue. Cette relecture aide à décider quelles familles documentaires justifient une indexation visuelle.

7. Quand privilégier cette approche ou conserver le texte extrait ?

Notre recommandation est de tester la recherche visuelle lorsque l’information dépend d’un schéma, d’un tableau ou d’une page scannée, et de conserver la recherche textuelle comme solution de comparaison. La lisibilité des images entre dans ce choix : dans les limites de DSE, publié en 2024, les auteurs indiquent que les captures floues peuvent dégrader la recherche et qu’une très haute résolution peut réduire l’efficacité du calcul.

Les réalisations publiées par TW3 illustrent des décisions voisines. La fiche Aiguillage des pages, sans date affichée, décrit une orientation vers l’extraction native ou vers la lecture par un modèle de vision. Il s’agit d’un choix de traitement avant ingestion. La fiche Recherche documentaire, également sans date affichée, décrit une chaîne avec OCR, extraction, découpage, vectorisation, recherche hybride et réponses citant la page source.

Pour organiser un essai, nous conseillons de garder le document et le numéro de page associés à chaque résultat, puis de faire contrôler séparément la pertinence de la page et la fidélité de la réponse produite. L’article Lire des PDF à moindre coût : orienter chaque page vers l’extraction de texte ou vers un modèle de vision complète ce parcours.

FAQ

Que signifie VDR ?
VDR signifie Visual Document Retrieval, soit recherche visuelle de documents. C’est aussi le préfixe des jeux publiés par Racine.ai, dont la fiche du jeu multi-domaines, référencée en 2025, décrit cette finalité d’entraînement.

L’OCR devient-il inutile ?
DSE, décrit par Ma et ses coauteurs en 2024, permet d’indexer les images sans extraction préalable du texte. Nous recommandons de conserver une extraction lorsque le besoin porte sur la restitution d’un passage textuel vérifiable.

Ces modèles fonctionnent-ils en français ?
Les fiches Racine.ai de Flantier2 et de QwenAmann, référencées en 2025, incluent le français dans leur périmètre déclaré. Le banc nucléaire cité plus haut publie des résultats distincts pour le français et l’anglais ; nous recommandons donc une évaluation par langue.

Peut-on héberger ces modèles chez soi ?
Les fiches des modèles présentés déclarent toutes une licence Apache 2.0. Les fiches Racine.ai de Flantier 500M et de Flantier 2B, référencées en 2025, annoncent un fonctionnement sur des GPU grand public ; nous recommandons de vérifier la mémoire nécessaire et les temps de traitement sur le matériel retenu.

Quelle différence avec un RAG fondé sur le texte ?
Un RAG fondé sur le texte recherche dans le contenu extrait, comme l’illustre la fiche Recherche documentaire de TW3 Partners, sans date affichée. Les auteurs de DSE, publié en 2024, recherchent à partir des images et envisagent aussi une combinaison avec le texte extrait.

Faut-il annoter manuellement toutes les questions d’entraînement ?
Dans leur billet du 26 août 2025, les auteurs génèrent automatiquement quatre questions techniques par page avec Gemini 2.5 Flash. Pour reprendre cette méthode, nous recommandons de contrôler la correspondance entre chaque question et la page associée.

Pour aller plus loin

Sources