Quand la fusion de modèles échoue : vocabulaire des tokenizers, angle entre couches et taille du modèle

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 25 octobre 2026.

En bref

Les limites de la fusion de modèles tiennent notamment à la compatibilité des parents, à leur capacité et à une spécialisation trop éloignée. Dans Geometric Model Merging, communication à IEEE Big Data datée de décembre 2025, L. Rage et ses coauteurs documentent ces difficultés. À 0,5 milliard de paramètres, la variante adaptative obtient une moyenne de 3,61 contre 8,83 pour la SLERP globale, selon le tableau I, page 5 du PDF HAL. Dans la catégorie dite « 3B », les paires Chocolatine et Phi restent sous une moyenne de 25, au tableau VII, page 8. Avec un parent spécialisé en mathématiques, les essais à 7 milliards montrent également des effondrements, au tableau XI, page 9. Les auteurs proposent un arbre de décision pratique à partir de recettes validées en interne. Ils signalent des risques après quantification ou changement de distribution des données.

1. Dans quels cas la fusion échoue-t-elle ?

L’étude documente des échecs avec un très petit modèle, des parents de familles différentes et un parent fortement spécialisé. Un parent désigne ici un modèle de départ dont les paramètres entrent dans la fusion.

Dans leur publication de décembre 2025, déposée sur HAL, les auteurs définissent la fusion comme la combinaison des paramètres de modèles déjà entraînés, sans nouvel entraînement. La SLERP globale emploie un coefficient uniforme ; la variante Layer-Adaptive SLERP règle la contribution des parents selon les couches du réseau.

Les auteurs présentent ces résultats comme une synthèse de pratique. Leurs recettes ont été validées en interne et couvrent une partie des situations possibles. Pour une direction technique, nous recommandons d’en faire des critères de sélection des essais, puis de vérifier chaque combinaison sur son usage cible.

2. Que contient l’arbre de décision du papier ?

L’arbre examine d’abord les vocabulaires, puis l’angle entre les couches, avant la taille du modèle. La figure 2 de Rage et ses coauteurs, décembre 2025, organise ce diagnostic en règle de pratique.

• Les vocabulaires se recouvrent-ils suffisamment ? Le recouvrement désigne les jetons ou chaînes de caractères partagés par les tokenizers. S’il est faible, l’arbre oriente vers une SLERP globale ou un alignement des plongements sur les jetons communs, avant un nouvel essai.
• L’angle moyen entre couches est-il acceptable ? Cet angle compare les paramètres des couches correspondantes. Une forte divergence conduit à privilégier une interpolation globale, à réduire les coefficients par couche ou à employer un coefficient uniforme.
• Quelle est la taille du modèle ? Les résultats par catégorie servent ensuite de repères pour choisir la méthode initiale.

Le score de compatibilité proposé valorise le vocabulaire partagé et la similarité des couches ; il diminue lorsque l’angle moyen augmente. Les seuils restent symboliques, sans valeur numérique publiée, et la légende précise que ces critères ne sont pas rapportés comme des mesures dans les résultats. Nous recommandons donc de documenter les critères retenus localement avant de les utiliser pour accepter une fusion.

3. Pourquoi la taille du modèle compte-t-elle ?

Selon les auteurs, la capacité limitée du plus petit modèle le rend sensible au déséquilibre des coefficients. Le tableau I de l’étude, décembre 2025, page 5 du PDF HAL, compare les configurations à 0,5 milliard de paramètres :

Ces valeurs reprennent la colonne « Average ». Dans ce cas, l’interpolation uniforme constitue le choix initial recommandé par les auteurs. La recette adaptative modifie trop fortement l’équilibre entre modules pour cette capacité.

Dans la catégorie appelée « 1B », le tableau III, page 5, rapporte des moyennes supérieures pour les fusions adaptatives par rapport aux références globales testées. Les combinaisons de parents diffèrent entre ces essais. Nous recommandons de comparer les réglages sur une même paire avant d’en tirer une décision pour le projet.

La taille seule explique peu le cas des parents presque identiques. À 6 milliards de paramètres, les tableaux VIII et IX, page 9, donnent des moyennes de 20,04 et 20,01 pour les fusions, contre 22,78 pour le parent public. MUSR progresse tandis qu’IFEval recule. Les auteurs interprètent ce résultat comme une repondération de caractéristiques semblables. Pour le cabinet, cette observation justifie de préciser la compétence recherchée avant de décider si cet échange est acceptable.

4. Que se passe-t-il quand vocabulaires et statistiques divergent ?

Les essais associant Chocolatine et Phi montrent des gains sur certaines tâches, avec une moyenne qui reste sous 25 dans la catégorie « 3B ». Ce constat figure dans le tableau VII de Rage et ses coauteurs, décembre 2025, page 8 du PDF HAL. Les auteurs estiment que les réglages par couches ne suffisent pas à réconcilier des tokenisations et des statistiques d’activation divergentes.

Dans la catégorie « 2B », le tableau V, page 6, donne aussi des moyennes contrastées : 21,16 et 21,07 pour les paires Gemma examinées, contre 11,81 et 11,63 pour d’autres paires. Le commentaire les présente comme une comparaison entre familles, mais les symboles des tableaux ne concordent pas avec cette description. Nous retenons les scores sans attribuer cet écart à une différence de famille.

Cette interprétation reste attachée aux essais du papier. Le cabinet recommande de distinguer, dans le dossier d’expérimentation, les résultats observés et l’explication proposée. Un échec de score doit conduire à examiner les parents et leurs représentations, avant de multiplier les variantes d’une même recette.

5. Que se passe-t-il quand un parent est très spécialisé ?

Les essais retenus montrent des effondrements avec un parent spécialisé en mathématiques. La section consacrée aux modèles à 7 milliards, dans l’étude de décembre 2025, examine notamment des fusions avec Qwen2.5-Math-7B, nommé au tableau X, page 9 du PDF HAL.

Le tableau XI, sur cette même page, publie les résultats suivants :

Le commentaire du papier qualifie les deux moyennes de « single-digit ». Cette expression concorde avec la seconde valeur ; la première dépasse dix. Les valeurs du tableau sont retenues ici.

Les symboles du tableau attribuent ces résultats à des paires différentes, contrairement au commentaire qui les rattache au même couple de parents. Cette comparaison ne permet donc pas d’isoler l’effet du réglage global ou par couches.

Les auteurs attribuent ces échecs à une forte divergence entre les poids d’attention du spécialiste et du généraliste. Ils précisent que leur méthode peut échouer avec un parent très spécialisé et architecturalement divergent. Leur section sur les limites traite la stabilité en spécialisation extrême comme une question encore ouverte.

La qualité initiale des parents intervient aussi : dans la catégorie « 2B », MiniMathExpert-2.6B obtient 12,49 au tableau V, page 6, avec la recette appliquée à des parents faibles. Nous recommandons de conserver les évaluations individuelles des parents dans le dossier de décision.

6. Quels risques opérationnels après la fusion ?

Les risques cités concernent la quantification, les états de l’optimiseur et les changements de données ou de requêtes. La section sur les limites de l’étude, décembre 2025, mentionne une dérive après quantification, des incompatibilités d’états d’optimiseur et une dégradation possible sous changement de distribution ou face à des requêtes adverses.

Pour les modèles quantifiés, la méthode décrit une séquence de déquantification, de fusion et de requantification. Nous recommandons de consigner séparément le format de calcul utilisé pendant la fusion et celui du modèle livré, puis d’évaluer ce dernier dans sa configuration de service.

Les auteurs précisent également que beaucoup d’observations sont des tendances agrégées issues d’essais internes. L’analyse complète de variance et les tests statistiques appariés sont annoncés comme des travaux futurs. Notre recommandation est donc de fixer les critères d’acceptation métier avant les essais : tâches prioritaires, régressions tolérées et conditions de retour au modèle parent. Le changement de distribution se teste avec des données qui s’écartent de celles utilisées pour régler la fusion.

7. Comment tester une fusion avant de la mettre en service ?

TW3 recommande de comparer la fusion à chaque parent et à une SLERP globale sur un jeu de validation correspondant au métier. Cette proposition de méthode s’appuie sur les limites et les pistes de validation de Rage et ses coauteurs, décembre 2025.

Commencer par consigner l’origine des parents, leurs vocabulaires et la correspondance de leurs couches. Évaluer ensuite chaque parent sur les mêmes entrées, puis appliquer aux fusions les mêmes conditions d’exécution. Conserver les résultats par tâche pour examiner les compromis que la moyenne peut masquer.

Les auteurs recommandent un petit balayage de 24 à 32 essais, sur un jeu de 2 000 à 3 000 jetons, dans leur section méthodologique. Ce budget est une proposition de réglage. Nous recommandons de réserver un jeu distinct à la décision finale, sans l’utiliser pour choisir les coefficients.

Retester enfin le modèle livré après quantification, avec des entrées décalées et des requêtes adverses représentatives de l’usage. Si les compromis restent défavorables, le dossier peut examiner les autres voies annoncées dans Spécialiser un modèle de langage pour un métier : fusion de modèles, adaptateur LoRA ou réentraînement complet.

FAQ

Peut-on fusionner deux modèles de familles différentes ?
Dans l’étude de Rage et ses coauteurs, décembre 2025, les combinaisons Chocolatine et Phi améliorent certaines tâches tout en restant sous une moyenne de 25, au tableau VII, page 8. Les auteurs proposent notamment d’aligner les plongements sur les jetons partagés lorsque le recouvrement des vocabulaires est faible.

À partir de quelle taille la variante adaptative fonctionne-t-elle ?
La variante adaptative échoue dans le cas à 0,5 milliard, tandis que ses moyennes dépassent celles des références globales testées dans la catégorie « 1B ». Les tableaux I et III de l’étude, page 5 du PDF HAL, fournissent ces repères expérimentaux, sans établir de seuil général.

Les seuils de l’arbre de décision sont-ils chiffrés ?
Ils sont exprimés symboliquement. La légende de l’arbre précise que le recouvrement des vocabulaires et l’angle moyen ne figurent pas comme mesures dans les résultats.

Une fusion quantifiée garde-t-elle ses performances ?
La dérive après quantification figure parmi les risques cités par les auteurs. TW3 recommande une évaluation du modèle dans son format final avant la mise en service.

Fusionner deux modèles presque identiques sert-il à quelque chose ?
Les essais à 6 milliards montrent un gain sur MUSR accompagné d’une baisse de la moyenne, aux tableaux VIII et IX, page 9 du PDF HAL. Nous recommandons de juger ce compromis selon la tâche visée.

Que faire quand la fusion échoue ?
Le papier propose notamment une SLERP globale ou un alignement des plongements. Le cabinet recommande aussi de comparer ces essais avec le maintien d’un parent seul et avec une autre voie de spécialisation.

Pour aller plus loin

• Fusionner des modèles de langage sans réentraînement : la méthode Layer-Adaptive SLERP (IEEE Big Data 2025).
• Spécialiser un modèle de langage pour un métier : fusion de modèles, adaptateur LoRA ou réentraînement complet.
• Chronos-2, TiRex et Toto réentraînés en quelques minutes : ce qu’apporte un adaptateur LoRA à la prévision.

Sources

• HAL, L. Rage et ses coauteurs, Geometric Model Merging for Efficient and Scalable Adaptation of Large Language Models, IEEE Big Data, décembre 2025, consulté le 9 octobre 2026.
• HAL, texte intégral de Geometric Model Merging, décembre 2025, texte consulté le 9 octobre 2026 sur une copie identique. Pagination du dépôt HAL, page de garde comprise.
• AML Lab, université de Bonn, programme du Workshop on Large Language and Foundation Models, décembre 2025, consulté le 9 octobre 2026.