Coding: l'AI rallenta il lavoro degli sviluppatori?

Un recente studio sul rapporto tra coding e AI condotto da METR metterebbe in discussione l'idea diffusa secondo cui gli strumenti di intelligenza artificiale siano in grado di velocizzare lo sviluppo di progetti software. La rilevazione ha coinvolto un campione di sviluppatori esperti in soluzioni open source, sottoponendoli a un trial randomizzato per valutare l'efficacia di tool AI per il coding come Claude 3.5 e Cursor (formula "Pro") in contesti di lavoro reali e spesso anche complessi.

L'uso dell'AI non accelera il coding ma lo rallenta?

I partecipanti sono stati nello specifico 16 professionisti con una media di cinque anni di esperienza sui progetti assegnati. Tutti con una pratica lavorativa su repository open source molto estesi, cioè con oltre 1,1 milioni di righe di codice. Ogni sviluppatore ha svolto 246 task reali estratti tenendo conto di problematiche effettivamente osservate nei progetti coinvolti. Il tutto alternando sessioni di massimo due ore con o senza l'ausilio degli strumenti di AI.

Contrariamente alle aspettative dei partecipanti e degli esperti che avevano previsto un'accelerazione media del 40%, i risultati avrebbero registrato che l'uso della AI ha causato un rallentamento del 19% nei tempi di completamento dei compiti. Un dato per alcuni versi sorprendente che avrebbe evidenziato una netta discrepanza tra percezione e realtà definita dagli autori come perception gap.

I fattori che determinano i rallentamenti

Un'analisi approfondita, basata anche su oltre 140 ore di registrazioni, avrebbe identificato diversi fattori alla base del rallentamento. Tra di essi il tempo speso a scrivere prompt, a revisionare le proposte dell'AI e ad integrare suggerimenti in codici complessi e poco familiari. Questi elementi di attrito, spesso impercettibili nel breve periodo, finirebbero per annullare i benefici iniziali della generazione automatica del codice.

Gli autori dello studio sottolineano che questi risultati non dovrebbero essere generalizzati. Le condizioni sperimentali erano caratterizzate da grandi codebase, task complessi e limiti temporali molto stringenti. Lo studio evidenzierebbe però l'importanza di misurare l'impatto reale degli strumenti di AI in contesti produttivi, senza affidarsi solo alle percezioni degli utenti (o, per meglio dire, al perception gap).