Apple: DiffuCoder è open Source

Apple ha annunciato il rilascio sotto licenza open source di DiffuCoder, un nuovo modello generativo ottimizzato per i compiti di programmazione. Basato su Qwen-2.5-Coder. DiffuCoder si distingue dagli LLM tradizionali (come per esempio GPT) grazie ad una modalità di generazione che sfrutta le tecniche di diffusione. È in pratica un dLLM.

Come funziona DiffuCoder

Mentre i comuni modelli generativi producono testo in output prevedendo una parola alla volta in modo sequenziale (letteralmente "da sinistra a destra"), i dLLM come DiffuCoder generano l'intera sequenza testuale partendo da una serie che viene raffinata in parallelo. Questo processo, simile a quello usato nei modelli di generazione delle immagini come DALL-E, permette una creazione dei contenuti molto più rapida rispetto ai metodi autoregressivi tradizionali. Nel caso di DiffuCoder può essere fino a cinque volte più veloce.

L'obiettivo di Apple era quello di individuare delle nuove strategie di fine-tuning e ottimizzazione per i dLLM. I ricercatori hanno così sviluppato una variante della tecnica GRPO (Group Relative Policy Optimization), chiamata coupled-GRPO, che ha portato a dei miglioramenti notevoli nelle prestazioni del modello. Nel corso dei benchmark DiffuCoder avrebbe superato Gemini Diffusion e sarebbe risultato competitivo anche con GPT-4o di OpenAI.

AR-ness, la nuova metrica per i dLLM

Un aspetto particolarmente interessante della ricerca riguarda la definizione di una nuova metrica, l'autoregressive-ness o AR-ness. Essa misura quanto il modello segue il tipico schema left-to-right. I risultati hanno mostrato che, pur tendendo a comportarsi in modo autoregressivo nella generazione del testo, i dLLM riducono questa tendenza nel contesto della programmazione.

L'aumento della temperatura di campionamento ha reso il modello ancora più performante migliorando i punteggi nei test di coding. DiffuCoder possiederebbe poi un ampio margine di miglioramento grazie alle tecniche di reinforcement learning.

Il codice di DiffuCoder è ora disponibile su GitHub, mentre i file del modello possono essere scaricati da HuggingFace. Il rilascio potrebbe aprire la strada ad una nuova generazione di coding tool basati su AI anche su soluzioni Apple per la programmazione come Xcode.