OpenAI aggiorna GPT-3.5-turbo e GPT-4

OpenAI, organizzazione a cui si deve il chatbot ChatGPT ha deciso di aggiornare i modelli generativi GPT-3.5-turbo e GPT-4 introducendo una nuova funzionalità e diminuendo i prezzi relativi all'uso delle API. Scopriamo le novità di queste nuove versioni e quali saranno i costi per gli sviluppatori.

GPT e function calling

Dal punto di vista delle feature la vera novità risiede in function calling, uno strumento che consente di descrivere una funzione personalizzata e di lasciare che il modello generi il codice necessario per la sua esecuzione. Un esempio del suo utilizzo potrebbe essere la creazione di una query SQL a partire da un prompt espresso in linguaggio naturale. Nello stesso modo la funzione potrebbe essere impiegata per effettuare chiamate verso applicazioni esterne.

GPT-4 and GPT-3.5 Turbo models in the API now support calling your custom functions, allowing the model to use tools you design for it. Also — reduced pricing & new model versions (including 16k context for 3.5 Turbo): https://t.co/dalfgEQ9k2

— OpenAI (@OpenAI) June 13, 2023

Nuove tariffe per le API

Un'altra novità riguarda le API, è utile notare come ora sia stata ampliata la finestra contestuale di GPT-3.5-turbo. Quest'ultima viene misurata in token e fa riferimento al testo di cui il modello tiene conto prima di restituire ulteriori contenuti. In sostanza essa consente al servizio di ricordare le conversazioni effettuate. Più grande è la finestra maggiori sono le possibilità di mantenere le interazioni in memoria.

Nel caso della nuova versione di GPT-3.5-turbo l'estensione del contesto è stata quadruplicata arrivando a 16 mila token. Per quanto riguarda invece i prezzi, sono previsti 0.003 dollari per mille token di input e 0.004 per mille token di output.

Nel caso di GPT-3.5-turbo in versione base, quindi quella senza estensione della finestra contestuale, i prezzi passano invece a 0.0015 dollari per token di input e 0.002 per token di output. Parliamo più o meno di 700 pagine di contenuto prodotto per singolo dollaro speso.

Nel contempo OpenAI starebbe cercando di implementare il supporto per una finestra contestuale di almeno 32 mila token su GPT-4.

Una sostanziosa riduzione delle tariffe (circa il 75% in meno) è stata introdotta anche per il modello ext-embedding-ada-002. Quest'ultimo viene utilizzato in particolare per analizzare le relazioni tra le porzioni di testo ed è quindi molto utile in applicazioni dedicate alla ricerca.