Fusionner des modèles de langage sans réentraînement : la méthode Layer-Adaptive SLERP (IEEE Big Data 2025)

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 25 octobre 2026.

En bref

La fusion de modèles LLM combine les paramètres de modèles déjà affinés, sans nouvel entraînement, avec l’objectif de réunir leurs compétences dans un seul modèle. Dans Geometric Model Merging, publié à IEEE Big Data en décembre 2025, Lilian Rage et ses coauteurs proposent Layer-Adaptive SLERP, un mélange sphérique dont le dosage varie selon le type de couche et la profondeur. L’étude annonce plus de 50 fusions, sur six familles d’architecture, de 0,5 à 7 milliards de paramètres. Dans les tableaux IV et V du PDF HAL, page 6, une fusion Gemma atteint un score « Average » de 21,16, contre 19,62 pour la meilleure base Gemma présentée. À l’autre extrémité, le tableau I, page 5, donne 3,61 pour la variante adaptative à 0,5 milliard, contre 8,83 pour la SLERP globale. Pour une direction technique, cette étude fournit des critères de sélection des parents et de validation du mélange.

1. Qu’est-ce que la fusion de modèles ?

La fusion de modèles désigne la combinaison directe des paramètres de modèles préentraînés ou affinés pour produire un modèle unique, sans entraînement supplémentaire. Ces paramètres, également appelés poids, sont les valeurs combinées par la méthode de Rage et ses coauteurs, IEEE Big Data 2025.

Les modèles de départ sont les « parents ». Le projet consiste à conserver des compétences complémentaires acquises pendant leur adaptation : suivi d’instructions, raisonnement ou pratique de différentes langues. Le résultat attendu est un jeu de paramètres utilisable comme un seul modèle. La conservation des compétences se vérifie ensuite sur des tâches d’évaluation.

La fusion se distingue ainsi d’un ensemble : dans Model soups, publié par PMLR en 2022, Wortsman et ses coauteurs combinent les sorties de plusieurs modèles pour construire leurs ensembles de comparaison. Rage et ses coauteurs relèvent un coût de service réduit pour la fusion. Ils citent aussi MergeKit et Hugging Face PEFT parmi les outils qui facilitent sa mise en œuvre.

2. Pourquoi une moyenne des poids peut-elle dégrader le résultat ?

Des ajustements appris sur des tâches différentes peuvent se contrarier lorsqu’on mélange les paramètres. Le résumé de la publication de décembre 2025 décrit ce phénomène comme une interférence destructive : certaines combinaisons détériorent les performances au lieu de conserver les acquis des parents.

La méthode repose sur une autre observation, exposée dans la section méthodologique de cette publication : les couches d’un modèle remplissent des fonctions différentes. Les blocs d’attention capturent des relations dans le contexte ; les couches denses transforment les représentations ; les plongements portent la représentation des jetons. Un dosage uniforme applique le même compromis à ces fonctions distinctes.

Dans leurs expériences, les auteurs observent que certaines fusions globales favorisent une tâche ciblée tout en dégradant le suivi d’instructions. Pour le cabinet, cela invite à définir les compétences à conserver avant de choisir une recette de fusion. La moyenne des scores aide à comparer les candidats, mais la décision doit aussi tenir compte de chaque tâche utile au métier.

3. Que propose Layer-Adaptive SLERP ?

Layer-Adaptive SLERP combine une interpolation sphérique des poids avec un dosage propre aux groupes de couches, variable selon leur profondeur. La méthode publiée à IEEE Big Data 2025 suit un arc sur une sphère entre des vecteurs de poids normalisés. Cette géométrie prend en compte les relations angulaires entre les parents.

La variante adaptative ajoute une possibilité de réglage : accorder davantage de poids à un parent dans les blocs d’attention, puis modifier ce dosage dans les couches denses ou à une autre profondeur. Les coefficients ne sont pas appris automatiquement dans les expériences présentées.

Pour régler ces progressions, les auteurs recommandent, dans leur méthodologie, page 4 du PDF HAL, un petit balayage de validation : comparer plusieurs réglages des coefficients sur des données de validation. Dans les expériences rapportées, ils indiquent avoir conçu ces coefficients par heuristique, à partir de leur connaissance de l’architecture et des spécialisations, puis les avoir évalués sur des bancs d’essai.

Le calcul conserve une complexité linéaire avec le nombre de paramètres. Il nécessite toutefois davantage de transferts mémoire qu’une moyenne simple : dans cette même section, les auteurs indiquent un temps de calcul représentant environ 1,6 à 1,7 fois celui d’une moyenne simple lorsque la mémoire limite l’exécution. Pour préparer un essai, nous recommandons de mesurer ce temps sur l’infrastructure retenue.

4. Sur quoi l’étude porte-t-elle ?

L’étude couvre des modèles de plusieurs familles et compare les fusions aux modèles de départ, à des affinages spécialisés et à des fusions globales. L’introduction de Geometric Model Merging, décembre 2025 annonce plus de 50 fusions sur six familles, de 0,5 à 7 milliards de paramètres.

Les tableaux présentent notamment Qwen, Gemma, Llama, Phi et Yi. Ils affichent six bancs d’essai : IFEval, BBH, MATH, GPQA, MUSR et MMLU-Pro. Les colonnes « Average » ou « Avg » donnent les valeurs de synthèse reprises ci-dessous, sans recalcul ni conversion en pourcentage.

Les intitulés de taille demandent une lecture attentive. Le tableau II, page 5 du PDF HAL, est nommé « 1B », mais comprend des modèles Qwen de 1,5 milliard de paramètres. Les paliers ci-dessous reprennent les intitulés de l’étude, entre guillemets. Nous recommandons de réserver ces scores aux comparaisons internes à cette publication.

5. Quels résultats selon la taille du modèle ?

Les résultats dépendent de la taille et de la compatibilité des parents : certaines fusions améliorent la moyenne, d’autres la dégradent. Les valeurs suivantes proviennent des tableaux de l’étude IEEE Big Data 2025, dans le PDF HAL. Chaque repère indique le tableau et la page du fichier HAL, page de garde comprise.

Le résultat Gemma illustre l’intérêt d’un mélange au sein d’une même famille. Les fusions entre familles du même tableau obtiennent des scores inférieurs. Au palier « 3B », les auteurs décrivent des compromis entre tâches, avec des moyennes inférieures à la meilleure base.

Dans l’essai à 0,5 milliard de paramètres, l’échec de la variante adaptative conduit les auteurs à privilégier une SLERP globale. Leur explication tient à la sensibilité du modèle au déséquilibre des coefficients. Nous recommandons de comparer plusieurs recettes sur les mêmes parents avant de retenir une configuration.

6. Quelles limites les auteurs écrivent-ils ?

Les auteurs encadrent leurs résultats par des limites de comparaison, de réglage, de compatibilité, de statistique et d’exploitation. Leur section « Limitations and Future Work », IEEE Big Data 2025, précise les points suivants.

• La comparaison chiffrée avec AdaMerging, la fusion pondérée par Fisher et TIES reste à mener. L’étude situe donc surtout la variante adaptative face aux configurations qu’elle présente.
• Les progressions de coefficients sont heuristiques. Leur stabilité dépend notamment du degré de spécialisation des parents.
• Le succès dépend de la proximité des architectures, des vocabulaires et des paramètres. Une divergence importante peut provoquer un effondrement des performances.
• Les observations comprennent des tendances agrégées issues d’essais internes. L’analyse complète de variance et les tests statistiques appariés sont renvoyés à une version future.
• Après fusion, les auteurs signalent des risques de dérive à la quantification, d’incompatibilité d’états techniques et de dégradation face à des données différentes ou à des requêtes adverses.

Pour une décision d’investissement, nous recommandons de traiter ces résultats comme des hypothèses à reproduire sur le besoin visé. L’objet du pilote est de vérifier quelles compétences passent effectivement des parents au modèle fusionné.

7. Quand envisager la fusion dans un projet de spécialisation ?

Notre recommandation est d’envisager la fusion lorsque des modèles affinés compatibles sont disponibles et que l’objectif consiste à exploiter un seul modèle. Cette lecture du cabinet s’appuie sur les conditions de compatibilité et les risques exposés par Rage et ses coauteurs en décembre 2025.

Nous proposons de commencer par un dossier des parents : versions exactes, architectures, vocabulaires et résultats sur les tâches retenues. L’équipe définit ensuite les compétences prioritaires et les régressions acceptables. Cette décision donne un sens opérationnel à la comparaison des scores.

Le pilote compare les parents, une SLERP globale et la variante adaptative sur le même jeu d’évaluation. Le balayage des coefficients sert à choisir une configuration ; nous recommandons de réserver des cas distincts pour vérifier ce choix. Pour le cas étudié à 0,5 milliard de paramètres, les auteurs privilégient la SLERP globale, compte tenu de l’échec observé avec la variante adaptative.

Nous recommandons enfin d’évaluer le modèle dans le format prévu pour son exploitation, après quantification si celle-ci est retenue. L’équipe conserve les résultats par tâche et la configuration complète, afin que la personne qui valide le passage en service puisse examiner les compromis.

FAQ

Les réponses sur la méthode se fondent sur la publication de Rage et ses coauteurs à IEEE Big Data en décembre 2025.

Qu’est-ce que la SLERP ?
SLERP signifie interpolation linéaire sphérique. Dans la méthode présentée, elle mélange des vecteurs de poids normalisés en suivant un arc sur une sphère, avec un coefficient qui règle la contribution des parents.

Fusion ou ensemble de modèles, que choisir ?
La fusion produit un modèle unique ; un ensemble conserve plusieurs modèles, comme dans les comparaisons de Model soups, PMLR, 2022. Les auteurs de Layer-Adaptive SLERP relèvent un coût de service réduit pour la fusion, et nous recommandons de comparer ce bénéfice aux compétences effectivement conservées sur les tâches visées.

Que prévoit la publication pour le code de la méthode ?
La publication annonce des configurations reproductibles, mais place la diffusion du code, des plages de recherche et des graines aléatoires dans ses travaux futurs. Elle peut donc servir de description de méthode pour préparer une reproduction technique.

Peut-on fusionner des modèles de familles différentes ?
L’étude présente des essais entre familles, avec des résultats inférieurs aux fusions Gemma homogènes et des difficultés liées à la compatibilité. Nous recommandons de vérifier l’architecture et le vocabulaire avant tout essai, puis de mesurer le résultat sur les compétences recherchées.

Faut-il réentraîner après la fusion ?
La méthode décrite combine directement les poids sans nouvel entraînement. Les auteurs recommandent toutefois un balayage de validation pour choisir les coefficients : cette évaluation fait partie du travail à prévoir.

Les scores sont-ils comparables à ceux d’un classement public ?
Nous recommandons de les utiliser pour lire les comparaisons de la publication. Un rapprochement avec un classement public demanderait de vérifier les versions des modèles et un protocole d’évaluation commun.

Pour aller plus loin

• Spécialiser un modèle de langage pour un métier : fusion de modèles, adaptateur LoRA ou réentraînement complet.
• Quand la fusion de modèles échoue : vocabulaire des tokenizers, angle entre couches et taille du modèle.
• Chronos-2, TiRex et Toto réentraînés en quelques minutes : ce qu’apporte un adaptateur LoRA à la prévision.
• Recherche et développement de TW3 Partners.

Sources

• HAL, Lilian Rage et coauteurs, « Geometric Model Merging for Efficient and Scalable Adaptation of Large Language Models », IEEE International Conference on Big Data, décembre 2025, consulté le 9 octobre 2026.
• HAL, texte intégral de la publication, IEEE Big Data, décembre 2025, consulté le 9 octobre 2026. Les pages citées incluent la page de garde HAL.
• PMLR, Mitchell Wortsman et coauteurs, « Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time », 2022, consulté le 9 octobre 2026.
• PMLR, texte intégral de Model soups, 2022, consulté le 9 octobre 2026.