Par Elisha Bajemon, Ingénieur IA chez TW3 Partners. Dernière mise à jour : 20 novembre 2026.
En bref
Lorsqu’un agent de développement prend en charge l’écriture du code, la capacité d’une équipe technique dépend de sa façon de choisir, spécifier et vérifier ce qu’elle construit. Dans l’essai contrôlé de METR publié en juillet 2025, 16 développeurs open source expérimentés ont mis 19 % de temps en plus avec l’IA, alors qu’ils estimaient après coup avoir gagné 20 %. Le rapport DORA 2025 de Google Cloud associe l’adoption de l’IA à un meilleur débit de livraison et à une stabilité moindre. L’ANSSI et le BSI demandent que les gains des développeurs soient compensés par un renforcement de l’assurance qualité. Une équipe qui industrialise ses outils internes avec un agent commence donc par une file unique de demandes, une spécification écrite pour chacune et des garde-fous imposés par l’outillage.
1. Qu’est-ce qu’un agent de développement ?
Un agent de développement désigne un logiciel fondé sur un modèle de langage qui lit le code d’un dépôt, modifie des fichiers, exécute des commandes et remet un ensemble de modifications à relire. On lui confie une tâche entière, qu’il mène en plusieurs étapes, alors qu’un assistant d’éditeur complète une ligne.
Trois outils publiquement documentés montrent les modes d’usage. Claude Code, d’Anthropic, peut travailler sur le poste du développeur. En mode manuel, selon sa page Security, il démarre en lecture seule et demande l’accord avant de modifier un fichier ou d’exécuter une commande. L’agent de GitHub Copilot travaille en arrière-plan : d’après la documentation de GitHub, il ne pousse que sur une seule branche et remet des demandes de fusion en brouillon. Les tâches en ligne de Codex, d’OpenAI, s’exécutent selon la documentation de l’éditeur dans des conteneurs isolés.
Pour un outil interne, quand l’écriture du code cesse d’être l’étape la plus longue, la décision, la relecture et l’exploitation fixent le rythme.
2. Où se déplace le goulot d’étranglement ?
Le goulot se déplace vers la définition de la tâche, en amont, et vers sa vérification, en aval. Selon DORA, plus de 75 % des répondants s’appuyaient sur l’IA pour au moins une tâche quotidienne en 2024, et 90 % déclaraient l’utiliser au travail en 2025. Les études publiées montrent pourtant que le gain mesuré dépend de la nature de la tâche.
| Étude | Conditions | Résultat publié |
|---|---|---|
| Peng, Kalliamvakou, Cihon et Demirer, arXiv, 13 février 2023 | Implémenter le plus vite possible un serveur HTTP en JavaScript | Groupe équipé de Copilot plus rapide de 55,8 % |
| METR, essai contrôlé, juillet 2025 | 16 développeurs expérimentés, 246 tâches sur des projets matures | Temps de réalisation allongé de 19 % avec l’IA |
| DORA, rapport 2024 | Enquête auprès de professionnels de la technologie | Adoption accrue associée à une baisse estimée de 1,5 % du débit et de 7,2 % de la stabilité des livraisons |
| DORA, rapport 2025 | Près de 5 000 professionnels interrogés | Relation positive avec le débit, relation négative persistante avec la stabilité |
Une tâche isolée, décrite en une phrase, se prête bien à la génération, alors qu’une modification dans un projet ancien demande surtout de comprendre et de vérifier. Dans l’essai de METR, les développeurs prévoyaient un gain de 24 % avant de commencer. Dans une note du 24 février 2026 consacrée à la nouvelle expérience lancée en août 2025, METR juge probable que les outils de fin 2025 accélèrent davantage ces développeurs, tout en précisant que ses données renseignent très faiblement sur l’ampleur du gain : 30 à 50 % des participants ont déclaré écarter des tâches qu’ils ne voulaient pas faire sans IA.
Le rapport DORA 2025 en donne une explication directement exploitable : sans contrôles solides, comme des tests automatisés, une gestion de versions mature et des retours rapides, l’augmentation du volume de changements conduit à l’instabilité. Le document commun de l’ANSSI et du BSI sur les assistants de programmation, mis à jour en septembre 2024, en tire la conséquence : les équipes d’assurance qualité doivent être renforcées à proportion des gains des développeurs. À mesure que l’écriture du code devient rapide, décider quoi construire et vérifier le résultat deviennent le travail qui limite l’équipe.
3. Pourquoi centraliser les demandes avant d’automatiser ?
La qualité de la demande conditionne celle du résultat. Sans file unique, chaque service adresse ses besoins à qui veut bien lancer l’agent, et personne ne tranche entre deux demandes concurrentes.
Selon les bonnes pratiques publiées par GitHub, Copilot donne de meilleurs résultats sur des tâches claires et bien délimitées, décrites par le problème, des critères d’acceptation complets et les fichiers à modifier. L’étude de Mohammed Sayagh déposée sur arXiv le 24 décembre 2025 observe que les demandes de fusion acceptées proviennent plutôt de tickets courts et bien délimités. La documentation de Claude Code propose de rédiger une spécification avant le développement, puis de s’en servir comme définition de la fin du travail lors de la revue.
À titre d’hypothèse de méthode, une fiche de demande contient :
- le problème, décrit par la personne qui le rencontre, et les futurs utilisateurs ;
- les critères d’acceptation, rédigés comme des vérifications ;
- les données et les systèmes touchés, avec leur niveau de sensibilité ;
- le propriétaire de l’outil après sa mise en service ;
- ce qui reste hors périmètre.
Un arbitre nommé ordonne la file selon la valeur attendue et le coût d’exploitation. Le cas publié par TW3 Partners d’une plateforme d’expérimentation IA part d’un constat voisin : plus de 20 demandes venues de services différents en moins d’un an, chaque expérimentation réinventant l’authentification, le suivi et l’hébergement. La première étape du projet a été un registre des demandes.
4. Quels garde-fous mettre autour de l’agent ?
Les garde-fous utiles sont ceux que l’outillage applique à chaque exécution, quelle que soit la décision du modèle. Selon la documentation de Claude Code, ce qui doit se produire à chaque fois relève d’un contrôle automatique, d’une règle d’interdiction ou d’un paramètre imposé par l’organisation, car le modèle peut juger qu’une consigne écrite ne s’applique pas.
| Garde-fou | Recommandation du guide de l’ANSSI du 29 avril 2024 | Ce que prévoient les outils |
|---|---|---|
| Revue humaine avant fusion | R30 : proscrire le commit automatique de code généré par IA dans les dépôts | GitHub : demandes en brouillon fusionnées par un humain, que le demandeur ne peut pas approuver |
| Tests et intégration continue | R5 : tests de sécurité automatisés, par analyse statique et dynamique | GitHub : les workflows ne se déclenchent qu’après la revue du code de l’agent |
| Droits limités | R9 : aucune action critique sur le système d’information exécutée de manière automatisée | Codex : pas d’accès réseau par défaut, écriture limitée à l’espace de travail |
| Journal des actions | R29 : journaliser les requêtes, les appels de plugins et les réponses | GitHub : commits co-signés par le demandeur, avec un lien vers le journal de session |
| Modules exclus | R31 : pas de génération pour la cryptographie, les droits d’accès et les données sensibles | GitHub : garder pour les humains la sécurité, les données personnelles et l’authentification |
Les secrets appellent une règle propre. GitHub avertit que son agent a accès au code et à d’autres informations sensibles et pourrait les divulguer, tandis que Codex retire les secrets de l’environnement de ses tâches en ligne avant que l’agent ne commence. L’agent travaille donc sur un environnement de développement, avec des données de test, sans accès aux identifiants de production. La revue suppose enfin que la personne qui a formulé la demande ne valide pas seule le résultat : GitHub l’impose pour son agent, et une équipe peut étendre la règle à toutes les modifications.
5. Quelles limites les études publiées font-elles apparaître ?
Les bancs d’essai mesurent la résolution d’un ticket déjà rédigé, et le choix de ce qu’il faut construire reste hors de leur champ. SWE-bench, présenté à ICLR 2024, réunit 2 294 tickets tirés de 12 dépôts Python. À sa publication, le meilleur modèle testé, Claude 2, en résolvait 1,96 %. SWE-bench Verified en retient 500 cas validés par des humains, chacun formé du texte du ticket et des tests qui doivent passer. Ce score indique si l’agent satisfait des tests existants et ne dit rien de la pertinence du ticket.
Les auteurs de l’essai de METR en énoncent les bornes sur la page de l’étude : seize participants, un résultat qui ne permet pas de conclure que l’IA n’accélère pas la plupart des développeurs, et un effet possiblement différent pour des développeurs moins expérimentés ou dans un code qu’ils ne connaissent pas. L’écart entre gain ressenti et temps mesuré reste son enseignement durable.
La confiance des praticiens reste partielle : 39 % des répondants de DORA 2024 déclaraient une confiance faible ou nulle dans le code généré par l’IA, et 30 % en 2025. L’ANSSI et le BSI relèvent une qualité très variable selon le langage et la tâche, des failles de sécurité fréquentes et de nouveaux vecteurs d’attaque, dont les bibliothèques inventées par le modèle et l’injection indirecte d’instructions.
6. Comment mesurer l’effet et par où commencer ?
L’effet se mesure sur le flux de livraison, avant et après l’arrivée de l’agent, car l’avis des développeurs ne suffit pas. Le document de l’ANSSI et du BSI recommande une phase d’évaluation avec des indicateurs suivis, par exemple le volume de code versé ou la charge de l’équipe sécurité, et des objectifs mesurables. À titre d’hypothèse de méthode, quatre indicateurs couvrent l’essentiel :
- le délai entre la validation d’une demande et la mise en service de l’outil ;
- le temps de revue par demande de fusion ;
- les retours en arrière et correctifs après mise en service, qui renseignent la stabilité suivie par DORA ;
- la charge des personnes chargées de la revue et de la sécurité.
Si le premier baisse pendant que le deuxième et le quatrième montent, l’équipe a déplacé son goulot sans l’élargir.
Un premier périmètre se cadre sur des outils internes sans données sensibles, sans gestion de droits et sans action automatique sur la production. L’équipe ouvre la file unique, fixe les dépôts autorisés et les modules exclus, rend obligatoires l’intégration continue et la revue par un tiers, puis relève les indicateurs de référence avant la première tâche. Le service Forward Deployed Engineers de TW3 Partners place des ingénieurs dans les outils de l’équipe cliente jusqu’à la mise en production.
FAQ
Un agent de développement remplace-t-il un développeur ?
Non. Le document de l’ANSSI et du BSI pose que ces outils ne remplacent pas des développeurs expérimentés et qu’un usage sans retenue peut avoir de graves conséquences de sécurité.
Peut-on laisser l’agent fusionner seul ses modifications ?
L’ANSSI recommande de proscrire le commit automatique de code généré par IA (R30). L’agent de GitHub Copilot ne peut ni approuver ni fusionner une demande de fusion, et le demandeur ne peut pas l’approuver lui-même.
Quels outils internes confier en premier à un agent ?
Des outils sans données sensibles ni gestion de droits, dont les critères d’acceptation s’écrivent sous forme de tests. GitHub recommande de garder pour les humains les tâches ambiguës ou critiques pour la production, et l’ANSSI exclut la génération pour la cryptographie, les droits d’accès et les données sensibles (R31).
Les scores SWE-bench suffisent-ils à choisir un outil ?
Ils mesurent la résolution de tickets Python vérifiés par des tests existants. La performance sur les dépôts de l’organisation se mesure sur ses propres demandes.
L’agent doit-il avoir accès aux secrets de production ?
Non. L’ANSSI recommande qu’un système d’IA ne puisse pas exécuter de manière automatisée des actions critiques sur le système d’information (R9). L’ANSSI et le BSI demandent que l’analyse de risque préalable examine la protection des clés d’accès contre les fuites.
Pour aller plus loin
- Former un développeur à Claude Code sur un projet réel : le déroulé d’un cycle de huit séances
- Tests de non-régression : transformer des scénarios de recette Excel en tests navigateur
- Plateforme d’expérimentation IA : un socle commun pour déployer chaque nouveau cas d’usage
- Harnais agentique : quelles responsabilités placer autour du modèle ?
- Déployer une IA agentique en entreprise : 7 étapes, risques et conformité
Sources
- METR, Becker, Rush, Barnes et Rein, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, arXiv 2507.09089, 12 juillet 2025
- METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, page de l’étude, 10 juillet 2025
- METR, We are Changing our Developer Productivity Experiment Design, 24 février 2026
- Peng, Kalliamvakou, Cihon et Demirer, The Impact of AI on Developer Productivity: Evidence from GitHub Copilot, arXiv 2302.06590, 13 février 2023
- Google Cloud, Harvey et DeBellis, Announcing the 2024 DORA report, 23 octobre 2024
- Google Cloud, Harvey et DeBellis, Announcing the 2025 DORA Report: State of AI-Assisted Software Development, 23 septembre 2025
- ANSSI, Recommandations de sécurité pour un système d’IA générative, guide ANSSI-PA-102, 29 avril 2024
- ANSSI et BSI, AI Coding Assistants, mise à jour de septembre 2024
- Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, arXiv 2310.06770, ICLR 2024
- Princeton NLP, SWE-bench Verified, fiche du jeu de données, consultée le 17 novembre 2026
- Mohammed Sayagh, What Makes a GitHub Issue Ready for Copilot?, arXiv 2512.21426, 24 décembre 2025
- Anthropic, Claude Code, Security, consulté le 17 novembre 2026
- Anthropic, Claude Code, Best practices for Claude Code, consulté le 17 novembre 2026
- GitHub, Risks and mitigations for GitHub Copilot cloud agent, consulté le 17 novembre 2026
- GitHub, Best practices for using GitHub Copilot to work on tasks, consulté le 17 novembre 2026
- OpenAI, Codex, Agent approvals & security, consulté le 17 novembre 2026
- TW3 Partners, Plateforme d’expérimentation IA avec catalogue et accès unifié, consulté le 17 novembre 2026
- TW3 Partners, Forward Deployed Engineers, consulté le 17 novembre 2026