Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 17 octobre 2026.
En bref
La détection d’éléments d’interface utilisateur localise les zones interactives ; CU-1 les encadre sans distinguer leur type et confie leur interprétation au modèle de langage. Dans leur publication IEEE Big Data de décembre 2025, déposée sur HAL, André-Louis Rochet et ses coauteurs décrivent un détecteur qui privilégie la précision de position. Il produit 300 hypothèses par capture, sans suppression des non-maxima, puis retient celles dont le score de confiance atteint le seuil choisi. Sur les calendriers de WebClick, les auteurs rapportent 64 % de réussite du clic avec CU-1, contre 46 % avec OmniParser V2. La sortie du détecteur ne distingue aucun type d’élément, comme bouton ou champ. Pour une organisation, ce choix appelle une vérification sur les écrans et les tâches effectivement visés.
1. Que signifie détecter sans classer ?
La détection agnostique aux classes désigne le repérage des éléments interactifs sans leur attribuer une catégorie comme bouton, lien ou champ de saisie. Dans la publication CU-1 de décembre 2025, tous ces éléments appartiennent à une même classe d’objet. Chaque prédiction associe un rectangle, appelé boîte englobante, à un score de confiance.
Le détecteur apprend donc où placer les limites de chaque zone susceptible de recevoir une interaction. Il ne fournit pas un inventaire typé de l’écran. Cette distinction est utile pour lire les résultats : une boîte bien placée renseigne sur la localisation, tandis que l’interprétation de sa fonction revient à une autre composante du système.
Les auteurs appliquent aussi ce principe aux annotations utilisées pour l’apprentissage. Les régions interactives des données d’origine sont converties vers une classe commune. Ce choix fait de la localisation la tâche du détecteur, y compris lorsque les éléments présentent des formes ou des fonctions différentes.
2. Pourquoi laisser la compréhension de la consigne au modèle de langage ?
Dans la chaîne évaluée, le modèle de langage a la charge de choisir la cible à partir de la consigne et de la capture annotée. La publication CU-1 de décembre 2025 sépare ainsi la localisation géométrique de l’interprétation de la demande.
Cette répartition apparaît jusque dans les poids de la fonction d’apprentissage. Les auteurs publient une pondération de 5,0 : 2,0 : 0,01, respectivement pour la position de la boîte, sa cohérence géométrique avec la région annotée et la composante de classification. Cette dernière estime ici la présence d’un objet. Ces coefficients pondèrent les termes de l’objectif optimisé pendant l’entraînement.
La chaîne décrite par les auteurs distribue les responsabilités de la manière suivante :
| Composante | Ce qu’elle reçoit | Ce qu’elle produit |
|---|---|---|
| Détecteur | Capture de l’interface | Boîtes englobantes et scores de confiance |
| Marquage visuel | Boîtes retenues | Capture annotée avec des identifiants |
| Modèle de langage | Capture, annotations, liste des détections et consigne | Choix d’un identifiant à cliquer |
| Exécution | Boîte associée à cet identifiant | Clic au centre de la boîte |
Pour examiner un échec, TW3 Partners recommande de conserver ces sorties intermédiaires. Elles permettent de poser séparément la question du repérage de la cible et celle de son choix par le modèle de langage.
3. Qu’est-ce que la suppression des non-maxima, et pourquoi peut-elle gêner dans un écran dense ?
La suppression des non-maxima élimine des boîtes de moindre confiance lorsqu’elles chevauchent trop fortement une boîte mieux notée. La documentation officielle de Torchvision, non datée décrit ce filtrage itératif selon un seuil de recouvrement. Il sert à départager des détections concurrentes dans une même zone.
Dans un écran dense, des boîtes qui se chevauchent peuvent correspondre à des éléments distincts. Les auteurs de CU-1, en décembre 2025, signalent que cette suppression peut éliminer des cases voisines légitimes dans un calendrier. Leur détecteur prédit toutes les boîtes conjointement, comme un ensemble. Pendant l’apprentissage, un appariement associe chaque prédiction à au plus une boîte de référence.
À l’utilisation, CU-1 produit 300 hypothèses par capture, sans cette étape de suppression. Le filtrage par confiance intervient ensuite. Dans l’évaluation WebClick des auteurs, le sous-ensemble Calendar atteint 64 % de réussite contre 46 % pour OmniParser V2. Le succès signifie ici que le point cliqué se trouve dans la région cible annotée. Ce résultat porte sur le clic demandé dans ce banc d’essai ; il ne mesure pas la réalisation d’un parcours métier complet.
4. Comment le marquage numéroté désigne-t-il l’élément à cliquer ?
Chaque élément retenu reçoit un identifiant visible sur la capture, que le modèle de langage peut sélectionner pour déclencher le clic. Le principe du Set-of-Mark, ou SoM, vient de Jianwei Yang et ses coauteurs, publication arXiv du 17 octobre 2023. Leur méthode superpose des marques à des régions de l’image pour permettre au modèle multimodal d’y rattacher ses réponses.
La publication CU-1 de décembre 2025 reprend cette technique. Les boîtes retenues sont enregistrées dans un format structuré, puis transmises au modèle avec la capture annotée et la consigne. Le modèle répond par l’identifiant de l’élément choisi ; le système retrouve alors la boîte correspondante et clique en son centre.
L’identifiant constitue donc une référence commune entre la perception et l’action. Le détecteur fournit la position, et la réponse du modèle désigne une région déjà localisée. Lors d’un essai, nous recommandons de vérifier cette correspondance jusqu’au clic : quelle boîte portait l’identifiant retenu, et où se trouvait son centre sur la capture ?
5. Quel seuil de confiance retenir ?
Le réglage publié pour CU-1 conserve les prédictions dont la confiance atteint 0,35. Dans la publication de décembre 2025, les auteurs indiquent avoir choisi ce seuil par essais sur les données de validation, en recherchant la meilleure réussite des tâches. OmniParser V2 est utilisé avec un seuil de 0,05, repris de sa configuration officielle selon les auteurs.
Le seuil décide quelles boîtes seront proposées au modèle de langage. L’abaisser élargit l’ensemble des candidates et peut aussi faire entrer davantage de fausses détections. Le relever retire des candidates, avec le risque d’écarter la cible recherchée. Ces conséquences découlent du filtrage par confiance ; elles doivent être observées sur les tâches à accomplir.
Notre recommandation est de tester le seuil sur la réussite du clic, en gardant la consigne et le modèle de langage constants. Nous proposons de conserver, pour chaque réglage, les captures annotées et les cibles attendues. La revue peut alors distinguer une cible absente des boîtes proposées d’une cible présente mais mal sélectionnée. Le réglage publié constitue un point de départ pour cet essai.
6. Que coûte ce choix de conception ?
Il laisse à d’autres composants la production des catégories et des rôles d’interface. Les auteurs de CU-1, en décembre 2025, citent explicitement les audits d’accessibilité et les tests automatisés parmi les usages susceptibles d’exiger ces informations. Une application qui doit identifier formellement un champ de saisie a donc besoin d’une information supplémentaire aux boîtes du détecteur.
Les limites portent aussi sur l’image d’entrée. CU-1 traite des captures statiques, sans contexte temporel. Les auteurs signalent les difficultés possibles avec les animations, les transitions de chargement et les éléments temporaires. Ils précisent que les images d’entraînement ont été standardisées avec une dimension maximale de 1 600 pixels. Ils envisagent l’adaptation d’échelle comme une piste pour les écrans de forte densité.
Le billet de Racine.ai et TW3 Partners publié sur Hugging Face le 1er octobre 2025 distingue les échecs de la chaîne :
- La cible n’a pas été détectée.
- La cible est détectée, mais le modèle de langage choisit un autre identifiant.
- L’élément choisi est correct, mais sa boîte manque de précision.
Nous recommandons de reprendre cette distinction dans la recette : elle indique quelle étape examiner après un clic erroné.
7. Quand ce choix convient-il à une organisation ?
Selon notre lecture, il convient à un projet où un modèle de langage interprète la consigne et où le besoin de perception consiste à localiser les zones d’action. L’organisation doit expliciter séparément les informations dont elle a besoin sur la fonction de ces zones.
TW3 Partners recommande de commencer par un ensemble de captures issues du périmètre envisagé, avec la cible attendue pour chaque consigne. Nous proposons d’y inclure les calendriers et les menus denses lorsqu’ils appartiennent au parcours métier, ainsi que les états temporaires réellement rencontrés. L’essai doit conserver la résolution des captures et les paramètres du détecteur pour que les erreurs puissent être reproduites.
Nous recommandons ensuite de relire ensemble la capture initiale, les boîtes retenues et l’identifiant choisi. Une fois le ciblage évalué, la recette du parcours doit intégrer les saisies, les défilements et les changements d’écran nécessaires à la tâche. Les auteurs de la publication CU-1 de décembre 2025 rappellent eux-mêmes que leur évaluation du clic unique couvre une unité d’action plus restreinte que ces enchaînements.
Si le métier exige des rôles explicites, nous conseillons de prévoir une source complémentaire de sémantique et de vérifier sa correspondance avec les boîtes. La décision d’intégration doit ainsi reposer sur les erreurs observées dans le périmètre retenu et sur les informations effectivement disponibles pour les traiter.
FAQ
Un détecteur sans classes sait-il qu’un élément est un bouton ?
Selon la publication CU-1 de décembre 2025, le détecteur fournit une boîte sans étiquette de type bouton ou champ. Dans la chaîne décrite par les auteurs, le modèle de langage interprète la consigne et sélectionne un élément à partir des informations visuelles.
Qu’est-ce que Set-of-Mark ?
C’est une technique de marquage des régions d’une image, proposée par Jianwei Yang et ses coauteurs sur arXiv le 17 octobre 2023. CU-1 la réutilise pour que le modèle de langage désigne une boîte par son identifiant.
Que sont les 300 hypothèses de CU-1 ?
Selon la publication de décembre 2025, le décodeur utilise un ensemble fixe de 300 requêtes apprises pour proposer des régions candidates. Le seuil de confiance filtre ensuite ces propositions : elles ne correspondent donc pas toutes à des éléments transmis au modèle de langage.
Sans suppression des non-maxima, le modèle produit-il des doublons ?
Dans la publication CU-1 de décembre 2025, les auteurs décrivent un apprentissage par ensemble avec appariement aux annotations, qui évite les erreurs dues à la suppression de boîtes. Nous recommandons de vérifier les éventuels doublons sur les écrans du périmètre prévu.
Le détecteur fonctionne-t-il sur des écrans de résolutions variées ?
Les auteurs signalent un écart entre la diversité des écrans et la dimension maximale de 1 600 pixels utilisée à l’entraînement dans la publication de décembre 2025. Nous recommandons de tester les résolutions du périmètre prévu et les effets du redimensionnement sur les petites cibles.
Peut-on réutiliser ce détecteur ?
La fiche racineai/UI-DETR-1 sur Hugging Face affiche une licence MIT au 9 octobre 2026. C’est vers ce dépôt que redirige l’adresse du modèle CU-1 donnée dans la publication ; les conditions d’intégration font l’objet de l’article sur les licences indiqué ci-dessous.
Pour aller plus loin
- Licence MIT ou AGPL-3.0 : ce que change la licence d’un composant d’IA pour un produit d’entreprise.
- Automatiser la saisie dans un logiciel métier sans API : un agent qui pilote l’écran comme un opérateur.
- Recherche et développement de TW3 Partners.
Sources
- André-Louis Rochet et ses coauteurs, CU-1: A Class-Agnostic Detection Transformer Bridging Large Language Models and Big Data Interface Understanding, IEEE Big Data, décembre 2025, notice HAL, consultée le 9 octobre 2026. Texte intégral du dépôt, lu le même jour.
- Racine.ai et TW3 Partners, UI-DETR-1 for Autonomous UI Agent Systems: An Open Alternative to Proprietary Solutions, Hugging Face, 1er octobre 2025, consulté le 9 octobre 2026.
- Racine.ai, fiche du modèle UI-DETR-1, Hugging Face, sans date de publication affichée, consultée le 9 octobre 2026.
- Jianwei Yang et ses coauteurs, Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V, arXiv, 17 octobre 2023, notice et texte intégral consultés le 9 octobre 2026.
- Torchvision, documentation de la fonction nms, sans date de publication affichée, consultée le 9 octobre 2026.