Blog
327 articles
Innovation,
Un modèle peut favoriser ses propres textes. Les expériences sur cette préférence éclairent les contrôles à prévoir avant de lui confier une évaluation.
Innovation,
Une référence affichée peut influencer un juge LLM. Comment tester ce biais, distinguer stabilité et exactitude, puis documenter une décision de validation.
Innovation,
Masquer l’historique de révision permet de tester une préférence à contenu constant. Voici un protocole pour contrôler les étiquettes de version.
Innovation,
LLMBar teste si un juge distingue une réponse conforme à la consigne d’une réponse trompeuse : construction des cas, validation humaine et portée métier.
Stratégie,
Pour fabriquer un document, choisissez le déroulement selon les étapes connues, les recherches à conduire et les validations nécessaires avant sa remise.
Innovation,
Le biais de longueur peut favoriser une réponse plus longue. Mesure, test de verbosité et ajustement statistique apportent des contrôles complémentaires.
Innovation,
Le biais de position peut modifier le verdict d’un juge selon l’ordre des réponses. Comment permuter les textes, agréger les notes et relire les désaccords.
Innovation,
La recette publique de TW3Cast prépare l’historique, adapte le contexte aux modèles et construit certains horizons par blocs avec réinjection de médianes.
Innovation,
La difficulté et la discrimination des questions dépendent des modèles évalués. Réduire un benchmark exige de vérifier la précision des comparaisons obtenues.
Innovation,
Le kappa de Cohen mesure l’accord entre verdicts en tenant compte des fréquences des catégories, pour interpréter les désaccords d’un juge LLM.
Innovation,
TW3Cast sélectionne des mélanges de prévisions à poids égaux, puis trie les quantiles combinés. Voici le calcul et les limites de cette pondération.
Innovation,
Extraire les scores d’un juge LLM demande de conserver leur précision, de documenter les totaux retenus et de suivre les valeurs manquantes et les exclusions.
Un ingénieur vous répond sous un jour ouvré avec le périmètre d'un premier cas d'usage et un calendrier.