Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 17 novembre 2026.
En bref
Un routeur choisit le modèle de chaque requête : il écarte d’abord les modèles incompatibles (hébergement, fenêtre de contexte, appel d’outils), puis retient le moins coûteux qui atteint la qualité requise. Le menu déroulant d’un portail interne convient à une conversation, mais il cesse de fonctionner quand un agent enchaîne plusieurs appels de modèle pour une seule demande. Sur la page des modèles d’Anthropic, consultée le 17 novembre 2026, le prix d’entrée va de 0,10 dollar par million de jetons (prix plancher de Claude Haiku 5.5) à 8 dollars (Claude Fable 5.2). Dans RouterBench (arXiv, mars 2024), aucun routeur prédictif testé ne dépasse nettement une référence qui mélange les modèles à coût égal. Un routeur se mesure donc sur les requêtes réelles du portail, face au choix manuel, en relevant la qualité, le coût et le taux de repli.
1. Pourquoi le menu déroulant atteint-il sa limite avec les agents ?
Le menu déroulant suppose qu’une demande correspond à un appel de modèle, et un agent rompt cette correspondance. Dans une conversation, l’utilisateur qui lit la réponse peut changer de modèle à la question suivante, puisqu’il juge lui-même si le modèle convient.
Dans Building effective agents (19 décembre 2024), Anthropic distingue les workflows, qui suivent des chemins de code prédéfinis, des agents, où le modèle dirige lui-même son usage des outils, en boucle, d’après les retours de son environnement. Le guide de l’appel de fonctions d’OpenAI décrit cette boucle : le modèle renvoie un appel d’outil que l’application exécute, puis une seconde requête transmet le résultat au modèle, qui répond ou appelle d’autres outils.
Une demande produit donc plusieurs appels de modèle, dont l’utilisateur ne voit ni le nombre ni le contenu. Anthropic note que l’autonomie des agents entraîne des coûts plus élevés et un risque d’erreurs qui s’accumulent. Le choix doit alors se faire appel par appel, ce qu’aucun utilisateur ne peut faire depuis un menu.
2. Qu’est-ce qu’un routeur de modèles et que décide-t-il ?
Un routeur de modèles désigne le composant qui, pour chaque appel, sélectionne le modèle à interroger parmi ceux que l’organisation a autorisés, selon des règles et des mesures écrites à l’avance.
Le mot recouvre deux fonctions. La documentation de LiteLLM sur le routage décrit des stratégies (répartition pondérée, latence ou coût le plus bas, charge la plus faible) qui choisissent entre plusieurs déploiements d’un même groupe de modèles : il s’agit de répartition de charge. Le routeur traité ici choisit entre des modèles différents selon la requête. Anthropic en donne l’exemple : orienter les questions simples vers un petit modèle comme Claude Haiku 4.5, et les questions difficiles vers un modèle plus capable comme Claude Sonnet 4.5.
Le classement des requêtes par un juge de complexité fait l’objet d’un article précédent, consacré à la passerelle multi-modèles publiée par TW3 Partners. Celui-ci porte sur les critères qui précèdent ce classement et sur la mesure du résultat.
3. Quels critères écartent un modèle avant tout arbitrage ?
Le lieu d’hébergement autorisé pour les données, la fenêtre de contexte et la capacité à appeler des outils sont éliminatoires. Un modèle qui échoue à l’un de ces critères n’est pas proposé, quel que soit son prix.
Le lieu d’hébergement. Une requête qui contient des données sensibles ne peut aller qu’aux modèles hébergés dans le périmètre autorisé pour leur classe. Le contrôle se fait point d’accès par point d’accès : la page d’Anthropic précise qu’Amazon Bedrock propose pour Claude des points d’accès globaux, à routage dynamique, et des points d’accès régionaux, qui garantissent l’acheminement des données.
La fenêtre de contexte. La fenêtre de contexte désigne le nombre maximal de jetons, consigne, historique et documents compris, qu’un modèle accepte en une requête. Les modèles actuels d’Anthropic affichent 1 million de jetons, et Claude Haiku 4.5, toujours proposé, 200 000. Dans un agent, chaque résultat d’outil est renvoyé au modèle et le contexte grossit à chaque étape : le routeur estime la taille de la requête au moment de chaque appel. La documentation de LiteLLM sur la fiabilité prévoit un repli propre aux erreurs de dépassement de fenêtre.
L’appel d’outils. Un modèle appelé par un agent doit produire des appels de fonction conformes au schéma attendu. Pour les modèles ouverts servis par vLLM, la documentation de vLLM (10 novembre 2026) indique que les résultats peuvent varier selon le modèle et que les plus petits modèles Llama peinent à utiliser les outils efficacement. La capacité déclarée se vérifie donc sur les outils de l’organisation.
| Critère | Ce que le routeur vérifie | Source de l’information | Effet d’un oubli |
|---|---|---|---|
| Hébergement | Classe des données et point d’accès du modèle | Contrat du fournisseur, classification interne | Données hors du périmètre autorisé |
| Fenêtre de contexte | Taille de la requête, historique d’outils compris | Documentation ou API du fournisseur | Erreur de dépassement, puis repli |
| Appel d’outils | Conformité des appels sur les outils réels | Banc interne | Étapes d’agent à refaire |
| Coût par jeton | Prix d’entrée et de sortie | Page de prix de l’éditeur | Dépense sans rapport avec la tâche |
| Latence | Délai acceptable pour l’usage | Mesure sur les requêtes internes | Attente incompatible avec l’usage |
4. Comment arbitrer ensuite entre coût, latence et qualité attendue ?
Parmi les modèles admissibles, le routeur retient le moins coûteux dont la qualité mesurée suffit pour le type de requête, sous le seuil de délai de l’usage. FrugalGPT (Chen, Zaharia et Zou, arXiv, 9 mai 2023) relevait des tarifs pouvant différer de deux ordres de grandeur. Sur la grille d’Anthropic consultée le 17 novembre 2026, le prix de sortie va de 0,50 dollar par million de jetons (prix plancher de Claude Haiku 5.5) à 40 dollars (Claude Fable 5.2).
Pour la latence, la page d’Anthropic précise que le délai réel dépend de la longueur de la requête et de la réponse ainsi que de l’effort de réflexion : le seuil se fixe sur des mesures internes.
La littérature règle la qualité de deux façons. RouteLLM, d’Isaac Ong et de ses coauteurs (arXiv, 26 juin 2024, publié à ICLR 2025), apprend à choisir entre un modèle fort et un modèle plus faible à partir de préférences humaines. Ses auteurs estiment le coût moyen de GPT-4 à 24,7 dollars par million de jetons et celui de Mixtral 8x7B à 0,24 dollar. Face à un routeur aléatoire, leur meilleur routeur divise le coût par 3,66 sur MT Bench en conservant 95 % de la qualité de GPT-4, mais seulement par 1,41 sur MMLU, à 92 %. FrugalGPT procède en cascade : une fonction de notation juge la fiabilité de chaque réponse, et le modèle suivant n’est appelé que si la réponse est jugée insuffisante. Ses auteurs annoncent jusqu’à 98 % de réduction de coût à performance égale au meilleur modèle, si les exemples d’entraînement suivent une distribution proche de celle des requêtes réelles.
5. Comment mesurer le routeur face au choix manuel ?
Le routeur se mesure en rejouant un jeu de requêtes réelles sous plusieurs configurations, puis en comparant qualité, coût et taux de repli à ceux du choix manuel, que fournissent les journaux du portail s’ils conservent le modèle choisi. Le protocole suivant est une proposition de méthode.
- Constituer le jeu à partir des journaux, avec l’accord du délégué à la protection des données. Pour un agent, l’unité de mesure est la tâche entière, avec tous ses appels.
- Écrire avant les essais ce qu’est une réponse acceptable, et le faire valider par les responsables métier.
- Rejouer le jeu sous quatre configurations : le choix manuel enregistré, le routeur, le modèle le plus capable partout, et un mélange aléatoire de modèles au même coût total que le routeur.
- Faire noter les réponses à l’aveugle.
- Relever la part de réponses acceptables, le coût par tâche, le délai de bout en bout et le taux de repli.
RouteLLM compare ses routeurs à un routeur aléatoire sous contrainte de coût. RouterBench, qui réunit plus de 405 000 résultats d’inférence, utilise un « routeur zéro » qui mélange les modèles sans rien prédire : les routeurs prédictifs y atteignent la qualité des meilleurs modèles à coût inférieur ou comparable, sans dépasser nettement ce routeur zéro. Sur MMLU, les auteurs de RouteLLM constatent que tous leurs routeurs, entraînés sur des conversations d’une autre origine, tombent au niveau du routeur aléatoire. Le jeu de requêtes doit donc venir de l’organisation.
Le taux de repli se décompose en trois mesures. Le repli technique compte les appels qui échouent sur le modèle retenu (dépassement de fenêtre, appel d’outil invalide, indisponibilité) et passent au suivant, ce que LiteLLM fait dans l’ordre configuré. Le repli de qualité compte les requêtes remontées vers un modèle plus capable après un contrôle échoué. Le repli de l’utilisateur compte les requêtes relancées avec un autre modèle. Chaque repli fait payer la requête une seconde fois.
6. Quels indicateurs suivre une fois le routeur en service ?
Le suivi reprend en continu les mesures de la recette : part des appels confiée au modèle le plus coûteux, coût par tâche terminée, taux de repli par type. RouteLLM formalise le premier indicateur sous le nom de « call-performance threshold » : le pourcentage minimal d’appels au modèle fort nécessaire pour atteindre la performance visée. Sur MT Bench, leur routeur par factorisation matricielle a besoin de deux fois moins d’appels à GPT-4 que le routeur aléatoire pour combler la moitié de l’écart de qualité entre les deux modèles.
Le coût par tâche terminée additionne tous les appels d’une tâche, replis compris. Rattaché aux projets, il alimente le suivi décrit dans l’article sur le FinOps de l’IA générative. Le banc se rejoue à chaque entrée ou sortie d’un modèle du catalogue.
7. Par quelles étapes passer du menu au routage automatique ?
Le passage tient en cinq étapes, présentées ici comme une hypothèse de méthode.
- Inventorier les modèles autorisés et renseigner pour chacun les critères du tableau de la section 3.
- Écrire les règles d’élimination avant les règles d’arbitrage, et les faire valider par la DSI et la fonction sécurité.
- Lancer le banc de la section 5, avec un effectif dimensionné selon l’écart utile à détecter.
- Ouvrir le routeur sur un premier périmètre, de préférence les tâches d’agent, en conservant le menu comme recours et en comptant son usage.
- Arrêter à l’avance la règle de décision : le routeur remplace le choix manuel s’il obtient au moins la même part de réponses acceptables à coût inférieur, avec un taux de repli sous le seuil convenu.
FAQ
Faut-il retirer le menu déroulant du portail ?
Le menu peut rester comme recours, à condition de compter son usage. Des relances fréquentes avec un autre modèle signalent un défaut du routeur sur un type de requête.
Le routeur ajoute-t-il un délai ?
Oui, si le classement de la requête passe par un modèle. Anthropic destine Claude Haiku 5.5 aux tâches sensibles au délai, dont le routage ; le banc mesure donc le parcours complet, routeur compris.
Qui fixe les règles d’élimination ?
Les règles d’hébergement relèvent de la DSI et de la fonction sécurité, à partir de la classification des données. Les seuils de qualité et de délai relèvent des responsables métier.
Un routeur fonctionne-t-il avec des modèles ouverts hébergés en interne ?
Oui, à condition de tester l’appel d’outils pour chaque modèle. Un modèle qui échoue à ce test reste utilisable pour les requêtes sans outil.
Les gains publiés par RouteLLM ou FrugalGPT sont-ils transposables ?
Ils indiquent un ordre de grandeur obtenu sur des bancs publics, et l’écart entre MT Bench et MMLU montre que ce gain dépend du corpus. Le gain réel se mesure sur les requêtes de l’organisation.
Pour aller plus loin
- Routage LLM : passerelle multi-modèles et juge de complexité
- Combien de tâches faut-il pour comparer deux systèmes d’IA ?
- Suivre les coûts de l’IA générative par projet : tableau de bord FinOps et budgets bloquants
- Déployer une IA agentique en entreprise : 7 étapes, risques et conformité
- Racine.AI : pourquoi une architecture multi-LLM hybride et souveraine
Sources
- Anthropic, Models overview, documentation sans date, consultée le 17 novembre 2026
- Anthropic, Building effective agents, 19 décembre 2024
- OpenAI, Function calling, documentation sans date, consultée le 17 novembre 2026
- vLLM, Tool Calling, documentation du 10 novembre 2026
- BerriAI, LiteLLM, Router, Load Balancing, documentation sans date, consultée le 17 novembre 2026
- BerriAI, LiteLLM, Fallbacks, Load Balancing, Retries, documentation sans date, consultée le 17 novembre 2026
- Chen, Zaharia et Zou, FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance, arXiv, 9 mai 2023
- Ong et al., RouteLLM: Learning to Route LLMs with Preference Data, arXiv, 26 juin 2024, révisé le 23 février 2025 (ICLR 2025)
- Hu et al., RouterBench: A Benchmark for Multi-LLM Routing System, arXiv, 18 mars 2024, révisé le 28 mars 2024
- TW3 Partners, Passerelle multi-modèles avec routage par complexité, sans date, consultée le 17 novembre 2026