Gemini API supporta la Batch Mode

Google rende nota una novità importante per gli sviluppatori e le aziende con l'introduzione del supporto per la Batch Mode nella Gemini API. Una modalità asincrona pensata per elaborazioni ad alto volume che non richiedono delle risposte in tempo reale. Grazie a questo nuovo endpoint sarà possibile inviare grandi quantità di richieste e ricevere i risultati entro 24 ore. Il tutto con un risparmio del 50% rispetto alle chiamate sincrone.

Batch Mode in Gemini API per ridurre i costi

La Batch Mode è una soluzione ideale per chi ha già a disposizione dei dataset di grandi dimensioni e può permettersi di attendere il risultato. I principali vantaggi di questa novità includono ad esempio:

• Prezzi dimezzati per ogni job rispetto alla modalità standard.
• Maggiore throughput con limiti di richiesta più generosi.
• Semplicità di utilizzo senza la necessità di gestire la coda o i tentativi di ritrasmissione lato client.

L'uso delle Batch Mode con la Gemini è particolarmente intuitivo. È sufficiente creare un file contenente tutte le richieste, caricarlo via API e attendere che il processo si completi. Al termine i risultati possono essere scaricati in un singolo file JSON Line.

Gli ambiti di applicazione

Come segnalato da Google, Reforged Labs, società specializzata nell'analisi video, utilizza Gemini 2.5 Pro in Batch Mode per etichettare migliaia di annunci pubblicitari al mese e abbattere i costi. Vals AI sfrutta invece la modalità batch per testare i modelli linguistici in ambiti particolarmente complessi come quello legale, la sanità e la finanza. Questo per superare i limiti di velocità legati all'impiego delle API standard.

È possibile iniziare ad utilizzare la nuova modalità fin da subito tramite pochi comandi sfruttando il Google GenAI Python SDK. Con il rollout in corso per tutti gli utenti, la Batch Mode rappresenta solo l'inizio. Google ha annunciato infatti che sono in arrivo nuove funzionalità per rendere questa modalità ancora più performante.