Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 6 novembre 2026.

En bref

Une même demande peut produire des réponses différentes, même lorsque le modèle est réglé pour limiter le hasard. La température est le paramètre qui agit sur les choix du modèle pendant la rédaction ; la fixer à zéro vise à rendre ses réponses reproductibles. Dans leur prépublication déposée sur arXiv le 6 août 2024, Atil et ses coauteurs répètent chaque demande 5 fois avec ce réglage et observent encore des variations. Pour une direction qui compare des solutions, il faut donc préciser ce qui doit rester stable : la formulation, la décision extraite ou la proportion de réponses correctes. Nous recommandons de conserver les entrées et la configuration, puis de mesurer séparément ces dimensions avant d’interpréter un écart de performance. Le décideur peut ainsi examiner si les différences observées changent le choix de la solution.

1. Que signifie un réglage dit déterministe ?

Un réglage dit déterministe vise à rendre la génération reproductible ; son effet doit être vérifié sur les sorties obtenues. Un grand modèle de langage, ou LLM, produit du texte selon une distribution de probabilités. La température agit sur cette distribution, comme l’expliquent Atil et ses coauteurs dans leur prépublication du 6 août 2024.

Le protocole décrit par les auteurs fixe la température à zéro, le paramètre top-p à un et les graines aléatoires. Il répète les mêmes demandes avec la même configuration sur des questions à choix multiples. Les résultats montrent que ces conditions ne suffisent pas à obtenir partout des textes identiques. Ces réglages décrivent les conditions de leur expérience.

L’étude de Gibert, Despujols et Rochet, prépublication déposée sur arXiv le 30 septembre 2026, examine un autre dispositif : 17 livrables élaborés comme exercices sur des informations publiques. Les juges y emploient les réglages d’échantillonnage par défaut des fournisseurs. L’effort de raisonnement indiqué dans leur configuration désigne un autre paramètre. Ce protocole ne permet donc pas d’isoler l’effet de la température sur les variations observées.

La conséquence pour un responsable de validation est concrète : demander une preuve de stabilité attachée à une configuration et à une tâche précises. Une étiquette dans un écran de paramétrage renseigne le réglage choisi ; la répétition renseigne le comportement observé.

2. À quel niveau mesure-t-on la stabilité ?

La stabilité se mesure sur le texte complet et sur la réponse qu’on en extrait, tandis que l’exactitude exige une comparaison avec une référence. Atil et ses coauteurs, le 6 août 2024, séparent explicitement ces mesures. Leur taux d’accord total correspond à la proportion de questions pour lesquelles toutes les répétitions donnent la même sortie au niveau retenu, indépendamment de sa justesse.

Objet comparéQuestion poséeLecture du résultat
Texte brutLa chaîne de caractères est-elle identique ?Toute variation de caractères constitue un désaccord.
Réponse extraiteLe choix récupéré dans le texte est-il identique ?La formulation peut varier autour du même choix.
ExactitudeLe choix correspond-il à la réponse de référence ?Un choix constant peut rester incorrect.

Cette distinction importe dès qu’un programme récupère une note ou une décision dans une réponse rédigée. Le parseur désigne le programme chargé de cette extraction. Atil et ses coauteurs indiquent avoir adapté le leur aux réponses rencontrées, tout en reconnaissant que de nouvelles formulations pourraient dépasser les cas traités.

Pour appliquer cette distinction à une campagne, conservez le texte original à côté de la valeur extraite. Un désaccord apparent pourra alors être examiné comme un changement de formulation, un changement de décision ou une difficulté d’extraction. Prévoyez aussi un statut explicite lorsque l’extraction échoue, afin que la règle de calcul reste visible.

Une proportion globale de réponses correctes résume encore un autre objet. Pour contrôler les décisions individuelles, la méthode proposée consiste à rapprocher les réponses question par question, en plus du total de la campagne. Le tableau de résultats doit permettre ces lectures sans les confondre.

3. Comment répéter une expérience sans changer son objet ?

Répéter une expérience suppose de maintenir les données et les règles de traitement constantes, puis de conserver chaque sortie. Le protocole d’Atil et ses coauteurs du 6 août 2024 reprend les mêmes demandes sous la même configuration. L’étude de Gibert, Despujols et Rochet du 30 septembre 2026 signale une limite de ses archives : l’égalité exacte des entrées historiques utilisées pour générer les documents reste invérifiable.

À partir de ces constats, nous recommandons une procédure documentaire avant le lancement des répétitions. Archivez les fichiers effectivement transmis, le texte des instructions, les exemples et leur ordre. Si le modèle reçoit un document transformé en images ou en texte, conservez aussi cette représentation : c’est elle que la comparaison devra maintenir.

Enregistrez ensuite le modèle demandé, la version disponible, le fournisseur et les paramètres envoyés. Distinguez les valeurs explicitement fixées des valeurs laissées au service. Lorsque la version servie reste inconnue, inscrivez cette limite dans la fiche de campagne plutôt que de renseigner une version supposée.

Enfin, fixez la règle d’extraction avant de comparer les résultats. Si une correction du parseur devient nécessaire, appliquez-la à toutes les sorties archivées et gardez les résultats précédents. Vous pourrez ainsi examiner l’effet du traitement séparément de celui des réponses produites.

Commencez le contrôle par la comparaison des fichiers et des instructions. Toute différence repérée doit être consignée avant l’interprétation statistique des notes, pour que le lecteur sache quelles conditions ont réellement été maintenues.

4. Que disent les distributions observées ?

Les distributions observées décrivent une tâche et une configuration données ; leur forme doit être examinée avant de choisir un résumé statistique. Dans leur prépublication du 6 août 2024, Atil et ses coauteurs trouvent des différences de stabilité selon les modèles et les tâches. Les mathématiques universitaires et les formes géométriques présentent notamment des écarts entre modèles dans la stabilité des réponses extraites.

Les auteurs prolongent leur analyse des mathématiques universitaires par 20 répétitions avec GPT-4o et Llama-3-70B, dans les versions de leur expérience. Ils décrivent des distributions d’exactitude asymétriques, avec des moyennes et médianes éloignées de la valeur la plus fréquente. Ils rapportent le rejet de l’hypothèse de normalité dans ce dispositif. Ce résultat porte sur ces distributions d’exactitude ; il ne décrit pas toutes les mesures de stabilité possibles.

Pour une campagne interne, la proposition de méthode consiste à regarder les valeurs obtenues avant de retenir une moyenne comme résumé principal. Présentez la médiane et les extrêmes, et rendez consultable la répartition des résultats. Si plusieurs familles de tâches sont réunies, gardez une lecture par famille pour examiner ce que masque éventuellement le total.

Le nombre de répétitions de cette publication constitue un élément de son protocole, sans prescription d’effectif pour votre projet. Définissez le plan de répétition en fonction de la décision attendue et de l’incertitude que vous souhaitez documenter. Toute hypothèse de distribution retenue pour les calculs mérite d’être inscrite dans le compte rendu.

5. Pourquoi une sortie stable peut-elle rester erronée ?

La répétition d’une réponse établit sa constance dans les conditions testées ; sa justesse demande un contrôle distinct. Schroeder et Wood-Doughty, dans leur prépublication déposée sur arXiv le 17 décembre 2024, examinent cette différence en étudiant des modèles utilisés comme juges d’autres réponses.

Leur dispositif obtient des sorties identiques au réglage noté zéro, qui correspond dans leur protocole à une petite valeur appelée epsilon machine. Ce résultat diffère de celui d’Atil, dans une autre configuration expérimentale. Les auteurs mettent néanmoins en garde contre la confiance accordée à une réponse isolée, même lorsqu’elle est reproductible.

Ils utilisent l’oméga de McDonald pour mesurer la cohérence interne des jugements répétés. Dans cette application, les auteurs supposent que les erreurs s’ajoutent au jugement à mesurer, qu’elles ne sont pas corrélées entre répétitions et que celles-ci mesurent un même trait sous-jacent. Leur interprétation de la cohérence interne repose sur ces hypothèses. La source reconnaît aussi que le regroupement des absences de réponse dans une catégorie commune peut surestimer cette cohérence.

Dans une procédure de validation, séparez donc la question « obtenons-nous la même décision ? » de la question « cette décision est-elle fondée ? ». Préparez une référence vérifiée lorsque la tâche s’y prête et identifiez les jugements qui nécessitent une appréciation métier. Pour TW3, cette distinction rejoint la limite formulée par Gibert, Despujols et Rochet le 30 septembre 2026 : l’accord entre juges n’établit ni l’exactitude ni l’acceptabilité professionnelle.

6. Quelles informations conserver pour comparer deux campagnes ?

Une fiche de configuration doit permettre de retrouver ce qui a été soumis, dans quelles conditions et selon quelle règle les sorties ont été notées. L’annexe consacrée aux juges dans la prépublication de Gibert, Despujols et Rochet du 30 septembre 2026 distingue notamment le mode d’accès, l’effort de raisonnement et le format des images. Tous les juges reçoivent aussi le texte extrait.

La fiche proposée ici peut réunir les éléments suivants :

  • les entrées archivées, leurs identifiants et les transformations effectuées ;
  • les instructions complètes, le barème et l’ordre des documents ;
  • le fournisseur, le modèle, la version connue et les paramètres envoyés ;
  • la date d’exécution, les groupes de documents et les sessions ;
  • les réponses brutes, la version du parseur et les échecs d’extraction ;
  • la référence utilisée pour vérifier l’exactitude et la méthode de calcul.

Avant de rapprocher les notes, comparez ces fiches. Qualifiez chaque différence conservée dans le protocole : changement d’entrée, de juge, de session ou de traitement. Dans l’étude TW3, les répétitions à groupes fixes et celles qui réassignent les documents aux sessions font varier des facteurs différents ; leurs estimations de changement détectable ne sont pas interchangeables.

Si le service ou le modèle change, prévoyez un ensemble commun de documents pour examiner le raccordement. La fiche sœur Changer de juge LLM : organiser une campagne de raccordement des notes est consacrée à ce sujet. La comparaison pourra alors être accompagnée d’un périmètre explicite, utile à la personne qui doit décider de poursuivre ou de revoir l’évaluation.

FAQ

Température zéro signifie-t-elle sorties identiques ?
Les expériences d’Atil et ses coauteurs du 6 août 2024 montrent que des variations subsistent dans les configurations testées. La stabilité doit donc être constatée au niveau utile à la décision, texte complet ou réponse extraite.

Quels réglages garder constants lors d’une répétition ?
La procédure proposée conserve les entrées, les instructions, la version connue, les paramètres et la règle d’extraction. Elle demande aussi d’archiver les formats transmis et l’organisation des sessions, pour pouvoir examiner les différences entre campagnes.

La variabilité suit-elle toujours une loi normale ?
L’expérience complémentaire d’Atil et ses coauteurs du 6 août 2024 rapporte le rejet de cette hypothèse pour les distributions d’exactitude examinées en mathématiques universitaires. Regardez la distribution propre à votre mesure avant de choisir les hypothèses de calcul.

Une réponse stable peut-elle être fausse ?
Oui : la constance d’un jugement ne suffit pas à établir sa validité. Schroeder et Wood-Doughty, le 17 décembre 2024, soulignent les limites d’une réponse isolée même sous des réglages déterministes.

Le nom du modèle suffit-il à documenter une campagne ?
La fiche proposée associe ce nom aux entrées, aux paramètres, au service et aux traitements appliqués. Elle permet de vérifier les conditions de comparaison et de repérer les changements qui demandent un raccordement.

Pour aller plus loin

Sources