Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 5 novembre 2026.
En bref
L’importance par gain de LightGBM décrit la contribution d’une variable aux divisions des arbres du modèle ajusté, dans le périmètre considéré. La documentation LightGBM, sans date de publication distingue le nombre d’utilisations, split, de la somme des gains, gain. Le script public de TW3 Partners, dans son état relevé le 9 octobre 2026, convertit ces gains en parts du total. Le rapport étendu associé attribue 10,6 % à la longueur et 10,5 % à BM25, une mesure de correspondance lexicale entre requête et source. Ces parts décrivent un ajustement sur toutes les données du corpus retenu. Leur lecture doit rester distincte de celle des poids du score fixe et des performances sur données tenues à l’écart.
1. Que mesurent les importances gain et split ?
split compte les utilisations d’une variable ; gain additionne les gains associés à ces utilisations. Pour comprendre cette distinction, il faut revenir à l’arbre : ses divisions répartissent les observations selon des conditions portant sur leurs variables. Le guide des arbres de décision de scikit-learn, sans date de publication, décrit ainsi un apprentissage de règles de décision à partir des données.
Dans la documentation LightGBM citée plus haut, feature_importance renvoie par défaut le décompte split. L’option gain demande une autre mesure : le total des gains des divisions qui emploient chaque variable. Le paramètre iteration délimite également les arbres pris en compte. Lorsque ce paramètre est omis, la meilleure itération enregistrée est utilisée si elle existe ; sinon, le calcul porte sur tous les arbres.
Dans le script TW3 Partners, l’option gain est explicite. Le programme additionne les gains, rapporte celui de chaque variable à cette somme, puis exprime le résultat en pourcentage arrondi. La normalisation vise donc un total de 100 %, aux arrondis près. Une part élevée indique une contribution élevée à ce total dans le modèle considéré.
Pour une restitution, nous recommandons de conserver ensemble l’option choisie, le périmètre des arbres et la règle de normalisation. Un graphique intitulé seulement « importance des variables » laisse ces choix implicites. La légende doit permettre de retrouver le calcul derrière la hauteur des barres.
2. Quelles variables portent les gains dans le cas publié ?
Le modèle étudié combine des propriétés du contenu et des mesures de correspondance entre une requête et ses sources candidates. Dans Scoring Without the Engine, publié sur arXiv par Elisha Bajemon et André-Louis Rochet le 7 septembre 2026, cette variante utilise des variables calculées par règles. Les importances présentées ici concernent cette variante précise.
Le rapport à dix bras de TW3 Partners, version du dépôt cd755f5 relevée le 9 octobre 2026, contient le champ regex_only_feature_importance_gain. Un bras désigne ici une condition d’évaluation associée à un moteur. Les définitions lexicales se lisent dans le code de préparation des variables de la même version ; celle de la cohérence est détaillée dans l’annexe du papier.
| Variable | Part du gain | Propriété représentée | Périmètre |
|---|---|---|---|
src_len | 10,6 % | Longueur retenue par le code après découpage en unités lexicales | Dix bras, ajustement global |
q_bm25 | 10,5 % | Correspondance lexicale entre requête et source, calculée sur les sources candidates | Dix bras, ajustement global |
c_semantic_coherence | 8,1 % | Composite de cohérence du contenu décrit dans le papier | Dix bras, ajustement global |
q_tf_sum | 7,4 % | Occurrences des termes distincts de la requête dans la source, additionnées et divisées par la longueur retenue | Dix bras, ajustement global |
Ces noms demandent une lecture attentive. La longueur suit le découpage lexical et la convention de repli du script pour un texte vide. BM25 utilise les fréquences des termes dans les documents candidats et tient compte de leur longueur. La cohérence combine notamment l’alignement des mots-clés et des propriétés d’enchaînement du texte ; le papier précise que ses valeurs absolues ne constituent pas une mesure calibrée de cohérence.
Nous recommandons donc de joindre une définition opérationnelle à chaque nom de variable. Elle aide le responsable métier à comprendre quelle propriété a effectivement été calculée avant de commenter son importance.
3. Pourquoi faut-il lire la mention « ajusté sur toutes les données » ?
Cette mention identifie les données qui ont servi à construire le modèle dont on décrit les gains. Dans le script de classement TW3 Partners, version relevée le 9 octobre 2026, le bloc consacré à l’importance prépare Xall, ajuste un modèle avec m.fit(Xall, ...), puis extrait les gains.
Le commentaire du code réserve ce bloc à l’interprétation. Les évaluations sur données tenues à l’écart passent par d’autres fonctions, qui séparent apprentissage et évaluation. Le tableau 13 du papier porte la même mention d’ajustement global. Un responsable qui relit le dossier doit ainsi distinguer la description du modèle ajusté de la mesure de sa capacité à traiter des données nouvelles.
Nous recommandons de demander quelle version du modèle a produit le graphique, quelles observations ont servi à l’ajustement et quel objectif d’apprentissage était utilisé. Ici, le code ajuste un modèle de classement avec l’objectif lambdarank. La question suivante porte sur la preuve de performance conservée séparément et sur son jeu d’évaluation.
Les parts de gain ne mesurent ni un effet causal sur la citation ni une proportion de décisions expliquées. Elles ne doivent pas davantage être reprises comme les coefficients du score fixe : le papier décrit séparément l’agrégation pondérée de ce score et le modèle de classement appris.
4. Que peut apporter une importance calculée par permutation ?
L’importance par permutation mesure la variation de performance d’un modèle fixé lorsqu’on mélange les valeurs d’une variable. Le guide officiel de scikit-learn, sans date de publication, décrit un calcul qui commence par mesurer la performance de référence sur un jeu de données.
La procédure mélange ensuite une colonne, calcule à nouveau la performance et répète l’opération. L’écart entre la référence et la moyenne des performances après mélange fournit l’importance. Les répétitions renseignent aussi sur la variabilité du résultat. Le modèle reste ajusté tel qu’il était au départ.
Le choix du jeu et de la métrique fait partie de la définition du contrôle. Scikit-learn recommande d’évaluer d’abord la capacité prédictive du modèle sur des données tenues à l’écart, ou par validation croisée. Une permutation menée sur un jeu tenu à l’écart permet ensuite d’examiner les variables qui contribuent à sa capacité de généralisation.
| Mesure | Question posée | Élément à préciser |
|---|---|---|
| Gain LightGBM | Quels gains les divisions utilisant cette variable ont-elles apportés dans les arbres ajustés ? | Modèle, arbres retenus, normalisation |
| Permutation | Comment la performance du modèle varie-t-elle quand cette colonne est mélangée ? | Jeu évalué, métrique, répétitions |
Pour un dossier de décision, nous recommandons de publier la performance de référence avec la dispersion des importances obtenues. Le guide rappelle que des métriques différentes peuvent produire des importances différentes. Le lecteur doit pouvoir relier le contrôle au critère de performance retenu pour le projet. Cette proposition complète la lecture des gains publiés ; aucune valeur de permutation n’est attribuée à l’étude.
5. Comment interpréter des variables qui se recouvrent ?
Des variables peuvent décrire des aspects voisins d’une même information. Dans le code des variables TW3 Partners, version relevée le 9 octobre 2026, le recouvrement lexical compte les termes distincts partagés par la requête et la source. La couverture rapporte ce nombre au nombre de termes distincts de la requête. La variable q_tf_sum additionne leurs occurrences dans la source, puis divise cette somme par la longueur retenue par le code. Ces définitions motivent un examen de leurs relations sur le corpus utilisé.
La mise en garde du guide scikit-learn sur la permutation concerne les variables fortement corrélées. Quand une colonne est mélangée, une autre peut encore fournir une information liée au modèle. L’importance mesurée séparément peut alors être faible malgré l’utilité de ces informations pour la prédiction.
Le guide propose notamment de regrouper les variables corrélées et de conserver une variable par groupe. Nous recommandons de traiter cette possibilité comme une expérience documentée : examiner les relations sur les données concernées, justifier la sélection, puis réévaluer le modèle obtenu. Les définitions proches du code constituent un motif de contrôle, sans établir une corrélation chiffrée sur ce corpus.
Une décision de suppression doit donc être accompagnée de son résultat de validation. Le rang dans un tableau d’importance constitue un point de départ pour cette analyse ; la fiche de décision doit conserver la mesure utilisée et les variables qui restaient disponibles.
6. Que faut-il conserver quand le corpus et les importances changent ?
Il faut conserver les données et le calcul associés à chaque tableau pour rendre les écarts interprétables. L’annexe du papier distingue le rapport à sept bras du rapport étendu à dix bras. Voici quelques valeurs de ces fichiers TW3 Partners, dans la même version cd755f5, relevées le 9 octobre 2026.
| Variable | Sept bras | Dix bras |
|---|---|---|
| BM25 | 10,1 % | 10,5 % |
| Longueur | 8,8 % | 10,6 % |
| Cohérence | 9,7 % | 8,1 % |
Ces colonnes décrivent des ajustements distincts. Leur comparaison ne permet pas d’isoler l’effet du seul ajout de moteurs. Pour les variables comparées ici, le tableau 13 du papier reprend les valeurs du rapport à sept bras tout en nommant le fichier étendu dans sa légende ; nous utilisons ici les JSON explicitement identifiés.
Pour une restitution en comité, le cabinet recommande une fiche jointe au graphique contenant :
- la version des données et leur périmètre ;
- la liste des variables avec leur définition ;
- la version du modèle et son objectif d’apprentissage ;
- la méthode d’importance, les arbres retenus et la normalisation ;
- le périmètre d’ajustement et le jeu réservé au contrôle ;
- la métrique de validation, les résultats disponibles et leurs limites.
Pour réutiliser les artefacts, le NOTICE de TW3 Partners de cette version distingue le code d’analyse sous MIT des données et captures sous CC BY-NC-SA 4.0. Selon ce NOTICE, l’utilisation commerciale des fichiers de données nécessite une autorisation des auteurs de GEO-Bench.
FAQ
Une variable à 10 % explique-t-elle 10 % des décisions ?
Le pourcentage est une part de la somme des gains des divisions. La normalisation du script ne définit aucune proportion de décisions expliquées.
gain et split donnent-ils la même information ?
Selon la documentation LightGBM citée plus haut, gain additionne les gains des divisions utilisant la variable ; split compte ses utilisations. Nous recommandons de préciser l’option avant toute comparaison.
Pourquoi vérifier les données qui servent au calcul de l’importance ?
Les gains décrivent le modèle ajusté sur ces données. Dans le script étudié, l’ajustement interprétatif utilise toutes les données, tandis que les performances tenues à l’écart sont calculées séparément.
Une faible importance autorise-t-elle à supprimer une variable ?
Nous recommandons de valider cette suppression par une nouvelle évaluation. La documentation scikit-learn montre notamment comment des variables corrélées peuvent réduire leurs importances par permutation respectives.
Les importances du modèle appris sont-elles les poids du score fixe ?
Le score fixe possède ses propres coefficients d’agrégation. Les parts présentées ici proviennent des gains des arbres du modèle de classement, selon une procédure distincte.
Comment compléter les gains publiés par un contrôle sur des données tenues à l’écart ?
Nous recommandons d’évaluer d’abord la capacité prédictive du modèle, puis de calculer une importance par permutation en précisant le jeu et la métrique. Cette méthode vient du guide scikit-learn présenté plus haut.
Pour aller plus loin
- Trois erreurs trouvées et corrigées avant publication : l’audit interne d’un papier de recherche appliquée
- Variables quasi constantes en machine learning : repérer un artefact d’extraction
- F1, NDCG : vérifier ce que calcule réellement une métrique
- Analyse de sensibilité d’un score composite : quels paramètres faire varier ?
Sources
- Elisha Bajemon et André-Louis Rochet, TW3 Partners, Scoring Without the Engine: Validating a Deterministic, Manipulation-Resistant Content Score for Generative Engines, End to End, arXiv, version du 7 septembre 2026, consulté le 9 octobre 2026.
- TW3-Partners-OS, geo_paper_ltr_strict.py, version cd755f5, consulté le 9 octobre 2026.
- TW3-Partners-OS, geo_outcome_ltr.py, version cd755f5, consulté le 9 octobre 2026.
- TW3-Partners-OS, ltr_strict_report.json, version cd755f5, consulté le 9 octobre 2026.
- TW3-Partners-OS, ltr_strict_report_7eng.json, version cd755f5, consulté le 9 octobre 2026.
- LightGBM, Booster.feature_importance, sans date de publication, consulté le 9 octobre 2026.
- scikit-learn, Permutation feature importance, sans date de publication, consulté le 9 octobre 2026.
- scikit-learn, Decision Trees, sans date de publication, consulté le 9 octobre 2026.
- TW3-Partners-OS, NOTICE, version cd755f5, consulté le 9 octobre 2026.