Automatiser la saisie sans API avec un agent IA

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 17 octobre 2026.

En bref

Pour automatiser la saisie sans API, un agent sur machine virtuelle lit l’écran, repère les champs, saisit et signale les données manquantes avant validation. Selon l’Insee, le 21 juillet 2026, l’incompatibilité avec les équipements, logiciels ou systèmes existants est évoquée par 38 % des entreprises n’utilisant aucune technologie d’IA en 2025, et par 46 % de celles de 250 salariés ou plus. Ces données de la figure 4 portent sur les entreprises en France de 10 salariés ou plus des secteurs principalement marchands, hors agriculture, finance et assurance. La fiche de réalisation de TW3 Partners, non datée, décrit un parcours cartographié en 11 étapes et un banc de ciblage de 40 éléments annotés au pixel. Ce banc compare un modèle généraliste, un zoom en deux passes et un petit modèle spécialisé local. La même fiche indique une machine virtuelle Windows du client, Gemini 3 Flash via Vertex AI et une alternative de ciblage locale testée.

1. Peut-on automatiser la saisie dans un logiciel qui n’a pas d’API ?

Oui, la fiche de réalisation non datée de TW3 Partners décrit une automatisation qui passe par l’interface du logiciel de gestion. Le contexte est celui d’une équipe qui ressaisit chaque dossier écran par écran, sans API exploitable. Le problème de départ associe des heures de saisie manuelle à des erreurs de recopie.

L’agent reprend ce travail devant les écrans : il remplit les champs, génère les documents et signale les informations manquantes avant validation.

Les conseils de cadrage qui suivent sont les recommandations du cabinet pour un projet comparable. Nous proposons de partir du parcours de saisie : faire préciser à l’équipe ce qu’elle doit renseigner et ce qu’elle attend à la fin du traitement. La DSI peut ensuite examiner la faisabilité sur le logiciel concerné, avec un périmètre d’évaluation partagé avec le métier.

2. Comment fonctionne un agent qui pilote l’écran ?

L’agent décrit associe la planification des actions, le repérage des éléments d’interface et le découpage du parcours en tâches. Un agent de type computer use désigne ici un système qui manipule l’interface d’un logiciel à partir de ce qu’il voit à l’écran. La fiche non datée de TW3 Partners décrit cette organisation sur une machine virtuelle.

Étage	Rôle	Élément documenté dans la réalisation
Planification	Déterminer les actions à effectuer	Un modèle de vision planifie les actions
Ciblage	Localiser les éléments de l’interface	Un étage dédié au repérage des éléments
Organisation du parcours	Découper le travail en tâches	Un moteur de workflows

Pour préparer la revue d’un projet comparable, nous recommandons de demander un schéma qui distingue ces fonctions. Pour chaque action prévue, faire préciser l’élément d’interface visé et la tâche métier à laquelle elle appartient. Cette revue doit permettre à l’équipe de discuter le découpage proposé et d’identifier les points à vérifier pendant les essais.

3. Pourquoi cartographier les écrans avant d’automatiser ?

La cartographie fixe le parcours que le moteur de workflows découpe ensuite en tâches. Dans sa fiche non datée, TW3 Partners documente une cartographie des écrans et un parcours de 11 étapes. Ce travail précède le banc de ciblage et les essais dans les étapes publiées.

Pour reprendre cette démarche, nous recommandons de faire décrire le parcours par l’équipe qui effectue la saisie, puis de rapprocher cette description du découpage proposé pour l’agent. La revue doit porter sur le périmètre effectivement confié au système. Demander au métier d’y associer les règles de traitement et les situations laissées à l’opérateur, afin de disposer d’un cadre commun pour les essais.

4. Comment choisir la façon de cliquer au bon endroit ?

Le choix se prépare en comparant les stratégies de ciblage sur des éléments dont la position est connue. Dans sa fiche de réalisation non datée, TW3 Partners décrit un banc de 40 éléments annotés au pixel, constitué pour choisir la stratégie de clic.

Les stratégies citées sont :

un modèle généraliste ;
un zoom en deux passes ;
un petit modèle spécialisé exécuté en local.

Un banc de ciblage désigne ici l’ensemble de ces éléments d’interface annotés, servant de référence pour examiner les clics proposés. La fiche mentionne comme alternative testée le modèle de ciblage Holo-3.1-4B quantifié, exécuté localement. Elle indique aussi Gemini 3 Flash via Vertex AI dans la configuration d’hébergement.

Aucun score par stratégie ni choix final n’est publié dans cette fiche.

Pour un projet comparable, nous recommandons de demander les résultats du banc et la justification du choix avant de retenir une méthode de ciblage. Puis examiner le parcours complet : localiser correctement un élément et mener un dossier jusqu’à son terme doivent faire l’objet de vérifications distinctes.

5. Que fait l’agent avant de valider un dossier ?

Il signale les données manquantes avant de valider. Cette fonction accompagne le remplissage des écrans et la génération des documents dans la description non datée de TW3 Partners.

Lors du cadrage d’un projet similaire, nous recommandons de faire préciser au métier la conduite attendue devant une donnée manquante. Désigner qui reçoit le signalement et qui complète les informations fait partie de ce cadrage. Demander également où intervient la décision de validation et quelles situations nécessitent une intervention. Ces exigences sont à définir avec l’équipe qui devra prendre en charge les dossiers.

6. Quels essais sont documentés avec l’utilisateur métier ?

Des exécutions de bout en bout sur une base de test, puis des tests par l’utilisateur métier sont documentés dans la fiche non datée de TW3 Partners. Ces essais suivent la cartographie et le banc de ciblage dans les étapes publiées.

Pour évaluer un projet comparable, nous recommandons de demander une restitution des essais sur le parcours complet, en reprenant le périmètre convenu avec le métier. L’utilisateur doit pouvoir confronter le traitement obtenu à celui qu’il attend. Examiner ensuite les résultats avec lui avant de se prononcer sur la livraison, et consigner les points qui demandent encore une correction ou une nouvelle vérification.

7. Quel rapport entre CU-1 et cette réalisation de saisie ?

CU-1 figure ici comme un travail de recherche voisin sur la détection des éléments d’interface. La page de recherche de TW3 Partners répertorie la publication d’A.-L. Rochet et de ses coauteurs à IEEE Big Data en décembre 2025. Le rapprochement avec la réalisation porte sur le repérage des éléments à l’écran.

Pour la revue d’un projet, nous recommandons de rattacher chaque résultat au composant et au parcours effectivement testés. L’évaluation de la saisie doit ainsi rester centrée sur son propre banc de ciblage et sur ses essais métier.

FAQ

RPA ou agent IA : que choisir pour un logiciel sans API ?
Dans sa documentation mise à jour le 31 août 2026, Microsoft Learn décrit l’enregistrement des actions de souris et de clavier, puis leur conversion en actions de flux. L’agent présenté ici planifie les actions avec un modèle de vision et localise les éléments d’interface, selon la fiche non datée de TW3 Partners. Pour choisir, nous recommandons de comparer les approches sur le parcours concerné.

Où l’agent s’exécute-t-il, et quels modèles appelle-t-il ?
Il s’exécute sur une machine virtuelle Windows du client. La fiche non datée de TW3 Partners mentionne Gemini 3 Flash via Vertex AI et Holo-3.1-4B quantifié, testé en local comme alternative de ciblage.

L’agent valide-t-il seul les dossiers ?
La fiche non datée de TW3 Partners décrit le signalement des données manquantes avant validation, sans préciser la répartition des validations entre l’agent et l’opérateur. Pour un nouveau projet, nous recommandons de définir explicitement les situations qui nécessitent une intervention du métier.

Qu’est-ce qu’un banc de ciblage ?
C’est un ensemble d’éléments d’écran dont la position est annotée pour examiner les stratégies de clic. Celui de la réalisation comprend 40 éléments annotés au pixel, selon la fiche non datée de TW3 Partners.

Combien de temps de saisie l’agent économise-t-il ?
Aucun gain de temps ni taux d’erreur après automatisation n’est publié dans la fiche non datée de TW3 Partners. Nous recommandons de demander ces mesures dans le bilan du projet évalué.

CU-1 est-il utilisé dans ce projet ?
La configuration documentée par TW3 Partners, non datée, mentionne Gemini 3 Flash via Vertex AI et l’alternative de ciblage Holo-3.1-4B. CU-1 figure ici uniquement comme une recherche voisine.

Automatiser la saisie dans un logiciel métier sans API : un agent qui pilote l’écran comme un opérateur