Variables quasi constantes en machine learning : repérer un artefact d’extraction

Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 5 novembre 2026.

En bref

Pour diagnostiquer des variables quasi constantes en machine learning, examinez leur distribution, leurs conditions d’extraction et leurs valeurs de repli avant de décider de leur usage. Dans la prépublication de Bajemon et Rochet, TW3 Partners, déposée sur arXiv le 7 septembre 2026, trois colonnes structurelles ne prennent que deux valeurs sur les 500 sources de base. Selon les tableaux de son annexe G, leurs centiles 5, 50 et 95 valent tous 20, pour un écart-type de 1,3. Leur corrélation mutuelle de Spearman vaut 1 et les auteurs les excluent des variables du modèle de classement parce qu’elles signalent les échecs d’analyse du texte. La documentation officielle de scikit-learn précise que VarianceThreshold retire par défaut les colonnes de variance nulle. Nous recommandons de compléter ce contrôle par l’examen des conditions qui produisent les valeurs rares.

1. Que signifie « quasi constante » dans un jeu de variables ?

Une variable quasi constante désigne ici une colonne dominée par une valeur, avec quelques exceptions. Une colonne constante conserve, elle, la même valeur sur toutes les observations.

L’annexe G de Bajemon et Rochet, dans la version déposée sur arXiv le 7 septembre 2026, décrit cette situation pour la mesure de sélection et de diversité des blocs, mmr_score, le composite de qualité de structure des titres, ndcg_score, et la diversité entre blocs, semantic_redundancy. Les valeurs arrondies publiées sont identiques pour les trois colonnes :

Le script statistique de TW3 Partners sélectionne uniquement la variante base des captures. Ces distributions portent exclusivement sur les textes non modifiés du corpus étudié.

Pour la revue d’un jeu de variables, nous recommandons de lire ensemble la dispersion et le nombre de valeurs distinctes. Ici, la moyenne proche de la valeur dominante prend son sens lorsqu’on voit aussi la fréquence des zéros.

2. Pourquoi trois mesures différentes renvoient-elles presque toujours 20 ?

Leurs préconditions d’analyse sont rarement réunies dans les passages en texte brut du corpus. Les annexes techniques de Bajemon et Rochet, version déposée le 7 septembre 2026, décrivent les règles qui déclenchent une valeur de repli, c’est-à-dire une constante renvoyée lorsque les éléments nécessaires au calcul manquent.

Pour la mesure de sélection et la diversité entre blocs, le texte est découpé aux titres et aux lignes vides. Un bloc doit compter au moins 30 mots pour être valide. Avec moins de deux blocs valides, la valeur renvoyée est 20. Le composite de structure des titres demande, lui, au moins deux sections repérées par leurs titres Markdown ; sinon, il renvoie également 20.

L’annexe G relie explicitement la concentration observée au format des passages GEO-Bench, qui contiennent rarement les blocs nécessaires. La variable renseigne donc d’abord sur les éléments accessibles à l’analyse. Son interprétation doit rester limitée au texte extrait.

Notre recommandation consiste à joindre à chaque mesure sa condition de validité. Le nom de la colonne devient alors lisible avec la règle qui autorise son calcul.

3. Comment distinguer absence de structure, valeur manquante et échec d’analyse ?

Il faut revenir à la convention qui produit la valeur. Le tableau des valeurs de repli et les annexes de Bajemon et Rochet, version déposée le 7 septembre 2026, distinguent plusieurs situations :

Le tableau de distribution précise que les captures de base contiennent aussi des valeurs exactement nulles. La valeur manquante et la valeur de repli structurelle correspondent donc à des conventions différentes. Les réunir sous une même étiquette ferait perdre cette distinction.

Le NOTICE du dépôt TW3 Partners fixe le périmètre vérifiable : les captures et les analyses sont fournies, mais le scoreur décrit par le papier est absent du dépôt. L’explication des échecs retenue ici est celle que donnent les auteurs.

4. Que révèle une corrélation parfaite entre ces colonnes ?

Dans ce corpus, la corrélation parfaite accompagne un comportement commun lié aux conditions d’analyse. L’annexe G de Bajemon et Rochet, version déposée le 7 septembre 2026, indique une corrélation de Spearman de 1,0 entre chaque paire du trio. Les auteurs l’expliquent par les valeurs de repli et les échecs d’analyse, qui produisent des colonnes à deux valeurs.

Le raisonnement suit les observations : des noms de mesures différents, des distributions identiques, puis une concordance parfaite entre les colonnes. Ce rapprochement conduit à examiner une cause commune dans la procédure d’extraction. La documentation des préconditions et l’explication des auteurs donnent ici cette cause.

La concordance porte ici sur les conditions d’analyse communes aux colonnes. Nous recommandons de vérifier ce mécanisme avant de conclure à une convergence entre des mesures de qualité.

Pour une équipe data, nous recommandons de traiter une telle corrélation comme un point de revue. La décision doit s’appuyer sur la provenance des valeurs et sur l’usage prévu de chaque colonne, au-delà du seul coefficient.

5. Un filtre de variance détecterait-il automatiquement le problème ?

Appliqué à ce corpus de base, le réglage par défaut de VarianceThreshold conserverait ces colonnes, puisque leur variance est non nulle. Cette conclusion résulte d’une lecture croisée des distributions publiées et de la documentation officielle de scikit-learn.

La documentation décrit un sélecteur qui examine les variables d’entrée sans consulter la cible à prédire. Son seuil par défaut vaut zéro : il retire les colonnes dont toutes les observations ont la même valeur. Les exceptions visibles dans le tableau de distribution de Bajemon et Rochet, version déposée le 7 septembre 2026, suffisent à distinguer le trio étudié de ce cas constant.

Un seuil positif change le critère de sélection. Nous recommandons de le choisir après examen de l’échelle des variables et de consigner ce choix. Le filtre effectue une sélection statistique, tandis que l’origine des exceptions demande une lecture des données et de leur préparation.

Dans une revue avant apprentissage, nous proposons donc de compléter le résultat du filtre par une justification des valeurs rares. Leur fréquence seule ne décide pas de leur utilité pour le projet.

6. Pourquoi exclure ces colonnes du classement, tout en les conservant dans les captures ?

Les auteurs les excluent des variables du modèle appris parce qu’elles servent de trace d’échec d’analyse. L’annexe G de Bajemon et Rochet, version déposée le 7 septembre 2026, relie expressément cette décision au mécanisme décrit. La description du score fixe dans le même document inclut toujours ces sous-mesures.

Le code de préparation du classement de TW3 Partners confirme le périmètre : l’ensemble EXCLUDE contient c_mmr_score, c_ndcg_score et c_semantic_redundancy. La fonction feature_cols écarte ces noms lorsqu’elle construit les colonnes à utiliser. Le script d’évaluation stricte importe cette fonction et l’appelle pour préparer ses jeux de variables.

Il s’agit donc de distinguer les entrées selon leur usage : les sous-mesures du score fixe étudié par intervention, puis les colonnes proposées au modèle de classement. Aucun gain de performance isolant cette exclusion n’est établi ici.

Pour la traçabilité, nous recommandons de conserver les captures avec la décision d’exclusion. Elles permettent de revenir à la distribution qui a motivé l’arbitrage. Le NOTICE de TW3 Partners distingue toutefois le code d’analyse sous MIT des données et captures sous CC BY-NC-SA 4.0, soumises à une condition d’usage non commercial.

7. Quels contrôles demander avant de valider un jeu de variables ?

Nous recommandons un relevé qui relie chaque distribution à ses conditions de production et à la décision prise pour le modèle. Cette trame est une recommandation du cabinet tirée du cas public :

• Définir le périmètre observé. Dans l’étude, les statistiques portent sur la variante de base des captures.
• Relever la moyenne, la dispersion, les centiles et le nombre de valeurs distinctes. Ajouter la fréquence des constantes documentées.
• Décrire les conditions de validité de la mesure et chaque valeur de repli, en distinguant le champ absent.
• Examiner les exceptions conjointement entre colonnes, puis retrouver leur explication dans les captures ou la documentation.
• Consigner les colonnes conservées ou écartées pour chaque usage, avec le motif et les éléments permettant de refaire le contrôle.

La provenance mérite sa propre vérification. Selon Bajemon et Rochet, version déposée le 7 septembre 2026, les sources anglaises sont sélectionnées dans GEO-Bench et leur longueur est limitée à 400 mots. Nous recommandons donc de refaire la revue sur les formats réellement traités par le projet, en tenant compte de ses règles d’extraction.

Le résultat attendu est une décision justifiée pour chaque variable. Selon ce que révèle l’examen, l’équipe pourra documenter son maintien, revoir l’extraction ou l’écarter d’un usage précis.

FAQ

Une variable presque constante est-elle toujours inutile ?
La fréquence des valeurs ne suffit pas à décider de son usage. Dans l’annexe G de Bajemon et Rochet, version déposée le 7 septembre 2026, l’exclusion vient de la signification des exceptions, reliées aux échecs d’analyse.

Pourquoi la moyenne ne suffit-elle pas ?
Elle doit être lue avec la dispersion, les centiles et le nombre de valeurs distinctes. Le tableau de distribution de cette prépublication rend ainsi visible la concentration sur une constante de repli et la présence de zéros.

Une valeur de 20 signifie-t-elle une mauvaise structure ?
Dans les règles décrites par les auteurs, elle correspond à un nombre insuffisant de blocs valides ou de sections analysables. Cette convention renseigne sur le texte extrait ; la structure de sa page d’origine demande un examen distinct.

Quelle différence avec un champ absent ?
Un champ absent reçoit 50 avant transformation, selon l’annexe consacrée à l’agrégation. Cette valeur par défaut se distingue des constantes déclenchées par les conditions d’entrée des mesures structurelles.

Faut-il retirer l’une de deux variables parfaitement corrélées ?
Nous recommandons d’abord d’examiner leur provenance et leur usage. Dans le cas publié, les auteurs écartent les trois colonnes du classement en raison du mécanisme documenté.

Le dépôt permet-il de refaire l’extraction depuis les textes ?
Le NOTICE de TW3 Partners indique que le scoreur est absent du dépôt. Les captures permettent en revanche de refaire le diagnostic des distributions avec le script d’analyse fourni.

Pour aller plus loin

• Trois erreurs trouvées et corrigées avant publication : l’audit interne d’un papier de recherche appliquée
• F1, NDCG : vérifier ce que calcule réellement une métrique
• Importance des variables LightGBM : que signifie le gain affiché ?
• Analyse de sensibilité d’un score composite : quels paramètres faire varier ?

Sources

• Bajemon et Rochet, TW3 Partners, Scoring Without the Engine: Validating a Deterministic, Manipulation-Resistant Content Score for Generative Engines, End to End, notice arXiv, version déposée le 7 septembre 2026, consultée le 9 octobre 2026.
• Bajemon et Rochet, texte intégral du même article, annexes techniques et diagnostics des variables, version déposée le 7 septembre 2026, consulté le 9 octobre 2026.
• TW3-Partners-OS, script de statistiques des variables, version cd755f5c590bb559692e0192afc9128a0f644262, sans date de publication indiquée, consulté le 9 octobre 2026.
• TW3-Partners-OS, préparation des variables du classement, même version, sans date de publication indiquée, consulté le 9 octobre 2026.
• TW3-Partners-OS, évaluation stricte du classement, même version, sans date de publication indiquée, consulté le 9 octobre 2026.
• TW3-Partners-OS, NOTICE sur les licences et le périmètre du dépôt, même version, sans date de publication indiquée, consulté le 9 octobre 2026.
• scikit-learn, documentation officielle de VarianceThreshold, sans date de publication indiquée, consultée le 9 octobre 2026.