Spécialiser un LLM : fusion, LoRA ou réentraînement

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 25 octobre 2026.

En bref

Pour spécialiser un modèle de langage, on peut fusionner des modèles déjà affinés, entraîner un adaptateur LoRA ou ajuster tous les paramètres du modèle existant. Le choix dépend des données disponibles, de la compatibilité des modèles et du coût de service. L’étude Geometric Model Merging, IEEE Big Data, décembre 2025 examine plus de 50 fusions sur six architectures et sept tailles, de 0,5 à 7 milliards de paramètres. Ses auteurs recommandent un réglage de 24 à 32 essais sur un jeu de 2 000 à 3 000 tokens. Pour la prévision de séries temporelles, TW3Cast, publié sur arXiv le 16 septembre 2026 décrit des adaptateurs de quelques mégaoctets, entraînés en 500 à 2 000 pas, soit deux à sept minutes sur un GPU. Le billet de recherche publié sur Hugging Face le 26 août 2025 présente une autre application de la LoRA : un modèle vision-langage spécialisé sur la réglementation nucléaire avec 40 000 exemples d’entraînement.

1. Que veut dire spécialiser un modèle pour un métier ?

Spécialiser un modèle désigne l’adaptation d’un modèle existant au vocabulaire, aux documents ou aux tâches d’un domaine. Pour un décideur, la question porte sur la tâche à améliorer et sur les moyens disponibles pour vérifier cette amélioration.

Dans Geometric Model Merging, décembre 2025, les auteurs partent du coût de l’affinage de grands modèles pour chaque domaine. La fusion combine directement les paramètres de modèles déjà affinés. Elle réutilise donc un travail d’entraînement antérieur.

L’article original LoRA de Hu et ses coauteurs, version du 16 octobre 2021 sur arXiv permet de distinguer les autres voies : la LoRA conserve les poids du modèle de départ et entraîne des matrices ajoutées ; le réentraînement complet ajuste tous les paramètres.

Voie	Ce qui est adapté	Appui
Fusion	Les paramètres de modèles déjà entraînés sont combinés	Geometric Model Merging, résumé
LoRA	Des paramètres supplémentaires sont entraînés, les poids d’origine restent figés	LoRA, résumé
Réentraînement complet	Tous les paramètres du modèle existant sont ajustés	LoRA, résumé

TW3 recommande de formuler d’abord un critère métier observable : la pertinence du document retrouvé, par exemple. Ce critère guidera ensuite la comparaison des variantes.

2. Que propose Layer-Adaptive SLERP pour fusionner des modèles ?

Layer-Adaptive SLERP combine les paramètres sans nouvel entraînement, avec des coefficients adaptés aux différentes couches du modèle. L’étude de Rage et ses coauteurs, IEEE Big Data, décembre 2025 applique une interpolation sphérique : le calcul tient compte de l’angle entre les vecteurs de paramètres des modèles de départ, appelés « parents ».

La méthode distingue les blocs d’attention, les couches denses et les représentations des tokens. André-Louis Rochet, coauteur de l’étude, y est affilié à l’ECE et à TW3 Partners.

Le réglage de validation recommandé dans cette publication sert à choisir les coefficients selon un score lié à l’application. Les expériences présentées reposent, elles, sur des coefficients conçus à partir de l’architecture et du domaine, puis validés sur des bancs d’essai.

La fusion exige du calcul : les auteurs estiment le temps de la SLERP à environ 1,6 à 1,7 fois celui d’une moyenne simple lorsque les accès mémoire limitent l’exécution. Cette comparaison concerne la fabrication du modèle fusionné.

3. Quand la fusion échoue-t-elle ?

La fusion peut échouer lorsque les modèles ont une capacité trop faible ou présentent des paramètres et des vocabulaires trop éloignés. Dans Geometric Model Merging, décembre 2025, le cas à 0,5 milliard de paramètres est particulièrement instructif : la variante adaptative obtient une moyenne de 3,61, contre 8,83 pour une SLERP à coefficient global et 8,14 pour le modèle de départ.

Ces valeurs correspondent à la colonne « Average » du tableau expérimental des auteurs. Sur ce cas, elles conduisent ceux-ci à préférer la SLERP globale. TW3 recommande de comparer le réglage par couche au réglage global sur les modèles retenus pour le projet.

Les auteurs retiennent également le recouvrement des vocabulaires et l’écart angulaire entre couches comme diagnostics. Ils décrivent un échec lorsqu’un parent est très spécialisé et divergent dans son architecture.

TW3 recommande de demander cette analyse de compatibilité avant un essai de fusion. Voir aussi Quand la fusion de modèles échoue : vocabulaire des tokenizers, angle entre couches et taille du modèle.

4. Qu’apporte un adaptateur LoRA ?

Un adaptateur LoRA permet d’entraîner une adaptation tout en conservant les poids du modèle de départ. Le mécanisme est décrit par Hu et ses coauteurs sur arXiv, 16 octobre 2021 ; sa mise en œuvre dépend ensuite de la tâche.

Dans TW3Cast, Thierry et Rochet, 16 septembre 2026, les adaptateurs concernent des modèles de fondation pour séries temporelles. L’admission d’un candidat dépend de sa capacité à battre le tournoi de sélection sur le backtest : une évaluation rétrospective prélevée dans la partition d’entraînement. Dans les essais rapportés, les candidats écartés ont coûté quelques minutes de GPU et laissé le système livré inchangé.

Le billet Hugging Face de Ye, Appourchaux et Brandolini, 26 août 2025 porte sur un modèle vision-langage fondé sur SmolVLM. Il apprend à rapprocher une requête des éléments visuels et textuels de documents nucléaires. Les auteurs annoncent un NDCG@1 de 0,74 en anglais et 0,61 en français, contre 0,17 et 0,04 pour le modèle de base.

Sur leur banc d’essai, cette métrique mesure la présence du bon document en première position. Les résultats proviennent de la partition de test du jeu nucléaire des auteurs et concernent la recherche documentaire.

Les fiches Chronos-2, TiRex et Toto réentraînés en quelques minutes : ce qu’apporte un adaptateur LoRA à la prévision et Spécialiser un petit modèle vision-langage sur la réglementation nucléaire : méthode et résultats en anglais et en français constituent les prolongements de ces exemples.

5. Quand envisager un réentraînement complet ?

TW3 recommande d’envisager un réentraînement complet lorsque les données disponibles permettent d’en évaluer l’apport face aux autres candidats. Dans TW3Cast, 16 septembre 2026, les familles riches en données reçoivent un réentraînement complet ; les familles pauvres, une adaptation LoRA. Les données sont nettoyées et les candidats restent soumis à la même règle d’admission sur backtest.

Cette pratique concerne la prévision de séries temporelles. Elle apporte un critère de comparaison pour un projet métier, sans établir de seuil universel de volume de données. Les auteurs rapportent aussi des configurations où tous les candidats affinés ont perdu face au tournoi et ont été écartés.

Pour un projet de langage, TW3 recommande de comparer le modèle initial, l’adaptateur et le réentraînement complet sur un même jeu réservé à l’évaluation. La décision devrait exposer le gain sur la tâche choisie et les éventuelles régressions sur les autres tâches que le service doit conserver.

6. Comment choisir entre les voies de spécialisation ?

Le choix croise les données disponibles, la compatibilité des modèles et les conditions de service. Le tableau rapproche les constats de Geometric Model Merging, décembre 2025, de TW3Cast, septembre 2026, et de LoRA, octobre 2021. Les exemples issus de la prévision gardent leur périmètre.

Voie	Données et compatibilité	Conséquences pour le service
Fusion	Parents déjà affinés, jeu de validation ; proximité des architectures, vocabulaires et paramètres. Source : étude de fusion, résumé et sections méthodologie et limites.	Un modèle combiné ; coût de service inférieur à un ensemble selon les auteurs. Source : étude de fusion, limites.
LoRA	Exemples pour la tâche ; poids du modèle de départ figés. Source : LoRA, résumé.	Modèle de base partagé et petits modules par tâche. Source : LoRA, introduction.
Réentraînement complet	Familles riches en données dans le protocole de prévision. Source : TW3Cast, préparation des données.	Un modèle adapté conserve autant de paramètres que l’original. Source : LoRA, introduction.

TW3 recommande de comparer séparément l’effort d’adaptation et les ressources nécessaires pour servir le modèle. La taille d’un adaptateur renseigne sur le fichier à distribuer ; l’arbitrage de service doit aussi intégrer le modèle de base et les conditions d’utilisation prévues.

7. Que vérifier avant la mise en service ?

TW3 recommande de valider le modèle destiné au service sur des données réservées à son évaluation. Les auteurs de Geometric Model Merging, décembre 2025 signalent des risques de dérive après quantification, de décalage entre optimiseur et états du modèle, ainsi que de dégradation lorsque les données changent ou que les requêtes cherchent à mettre le système en défaut.

Dans le protocole de prévision de séries temporelles TW3Cast, septembre 2026, le backtest sert aux décisions, le reste des données d’entraînement entraîne les experts, puis le routage est figé avant lecture du test. Le billet Hugging Face, août 2025 rapporte les évaluations du modèle vision-langage nucléaire sur la partition de test.

TW3 recommande de consigner les versions des modèles, la séparation des données, les critères d’acceptation et les résultats après préparation pour le service. Pour la fusion, la publication réserve à des travaux futurs l’analyse complète de variance et les tests statistiques appariés : une décision de déploiement doit donc s’appuyer sur les évaluations du projet.

FAQ

Fusion ou fine-tuning : que choisir ?
La fusion est une voie à tester lorsque des modèles affinés compatibles existent. La LoRA et le réentraînement complet permettent d’adapter un modèle à partir d’exemples. Le tableau précédent rassemble les critères issus des publications.

Combien coûte un fine-tuning ?
TW3Cast, 16 septembre 2026 annonce deux à sept minutes sur un GPU pour un candidat LoRA de prévision de séries temporelles. Cet ordre de grandeur porte sur ce protocole ; le budget d’un projet de langage demande une mesure sur le modèle et les données retenus.

Faut-il beaucoup de données ?
Le billet Hugging Face du 26 août 2025 rapporte 40 000 exemples d’entraînement pour le modèle vision-langage nucléaire, avec quatre questions techniques générées automatiquement par page. Le petit jeu de validation recommandé dans l’étude de fusion sert au réglage de coefficients entre modèles déjà entraînés. Les besoins correspondent à des opérations différentes.

Peut-on fusionner des modèles de familles différentes ?
L’étude de Rage et ses coauteurs, décembre 2025 décrit des paires de familles différentes qui progressent sur certaines tâches mais restent en retrait en moyenne. Une faible proximité des vocabulaires et une forte divergence des paramètres figurent parmi les risques d’effondrement.

Les résultats de la fusion sont-ils reproductibles ?
La publication de décembre 2025 annonce la diffusion du code, des plages de réglage et des graines aléatoires parmi ses travaux futurs. TW3 recommande donc de prévoir une reproduction des essais utiles au projet avant d’engager le déploiement.

Un modèle spécialisé reste-t-il performant hors de son domaine ?
L’étude de fusion, décembre 2025 identifie le changement de distribution des données comme un risque de dégradation. TW3 recommande d’inclure dans l’évaluation les tâches générales que l’organisation souhaite conserver.

Pour aller plus loin

Sources

Rage et coauteurs, Geometric Model Merging for Efficient and Scalable Adaptation of Large Language Models, IEEE Big Data, décembre 2025, notice HAL, texte intégral consulté le 9 octobre 2026 dans sa copie publique conservée avec le relevé de sources.
TW3 Partners, Recherche & développement, notice de Geometric Model Merging datée du 8 décembre 2025, consulté le 9 octobre 2026.
Thierry et Rochet, TW3Cast: A Frozen Router of Lightly Fine-Tuned Foundation Models for Time-Series Forecasting on GIFT-Eval, Selected Entirely on the Training Split, arXiv, 16 septembre 2026, résumé et texte intégral consultés le 9 octobre 2026.
Ye, Appourchaux et Brandolini, European Vision-Language Model Optimization for Nuclear Regulatory Data, Hugging Face, 26 août 2025, consulté le 9 octobre 2026.
Hu et coauteurs, LoRA: Low-Rank Adaptation of Large Language Models, arXiv, version du 16 octobre 2021, résumé et texte intégral consultés le 9 octobre 2026.

Spécialiser un modèle de langage pour un métier : fusion de modèles, adaptateur LoRA ou réentraînement complet