Les assistants d’IA semblent freiner les développeurs dans la réalisation de projets complexes.
Les assistants de programmation IA favorisent-ils réellement une accélération du développement logiciel? C’est ce que s’est efforcé de comprendre Model Evaluation and Threat Research (METR), un organisme de recherche collaborant avec des acteurs tels qu’OpenAI et Anthropic.
L’IA peut augmenter le temps nécessaire pour résoudre certains défis selon METR
Pour analyser cette question, METR a sélectionné 16 développeurs expérimentés sur des projets open source, dont l’usage d’outils d’IA était jugé « modéré ». Dans l’étude publiée le 10 juillet 2025, ces développeurs ont listé 246 tâches pertinentes, allant de la correction de bugs à l’ajout de fonctionnalités, des activités habituelles de leur quotidien, comme l’indique METR.
Les chercheurs ont réparti ces tâches, pouvant être réalisées en 2 heures, entre celles à réaliser avec l’aide de l’assistant IA et celles sans. Avec l’intelligence artificielle, l’outil utilisé était Cursor Pro, propulsé par Claude 3.5 Sonnet ou Claude 3.7 Sonnet, considérés comme « les modèles les plus avancés disponibles lors de l’étude », souligne l’institut.
Une surprise émerge : l’étude met en lumière un « écart entre perception et réalité ». Lorsqu’ils se sont appuyés sur des outils d’IA, les développeurs ont pris 19 % de temps en plus pour résoudre les problèmes. En dépit de cette expérience d’allongement, ils continuaient à penser que l’IA les avait accélérés de 20 %, tandis qu’ils s’attendaient à une réduction du temps d’implémentation de 24 %, note METR.
Facteurs expliquant le frein des développeurs par l’IA
METR a mis en lumière plusieurs éléments pouvant expliquer l’écart observé :
- Attentes surdimensionnées : Les développeurs estimaient que l’IA allait réduire de manière significative le temps d’implémentation.
- Expertise approfondie : Les participants maîtrisaient tellement leurs projets que l’IA peinait à leur être véritablement utile. « Les développeurs rencontrent plus de lenteurs sur des problèmes qu’ils ne maîtrisent pas », précise METR.
- Manque de contexte : L’IA avait des difficultés à comprendre l’environnement dans lequel elle intervenait.
- Fiabilité restreinte : Seulement 44 % des suggestions générées par l’IA ont été acceptées. Les développeurs ont souvent dû passer du temps à réviser le code produit.
- Environnements complexes : Sur des dépôts ayant en moyenne 10 ans et plus d’un million de lignes de code, les limites de l’IA se sont vite révélées.
Un potentiel d’apprentissage pour des outils comme Cursor pourrait se manifester après plusieurs centaines d’heures d’utilisation, tempère METR.
