localGPT: interagire con i propri documenti in locale tramite l'AI

localGPT è un progetto open source che permette di interagire con i propri documenti tramite un'intelligenza artificiale ed è in grado di operare direttamente sul terminale locale. Senza la necessità di inviare dati a piattaforme esterne. La caratteristica principale di localGPT è infatti la tutela della privacy. Tutte le procedure di analisi, indicizzazione e risposta vengono gestite localmente. In questo modo nessun dato personale verrà mai condiviso o trasmesso a server remoti.

I modelli di AI supportati da localGPT

localGPT supporta numerosi modelli open source, compresi quelli in formato HF, GPTQ, GGML e GGUF. Può sfruttare inoltre sia la potenza di calcolo della CPU che quella della GPU. Questo oltre ad essere compatibile con hardware specifico come Intel Gaudi e dispositivi Apple. Ciò rende localGPT accessibile ad un'ampia gamma di utenti. Dai semplici curiosi ai professionisti che cercano una soluzione potenzialmente molto scalabile.

L'integrazione con strumenti come LangChain e Chroma DB consente di creare e mantenere dei database di embedding, cioè rappresentazioni semantiche dei contenuti. Essi vengono poi utilizzati per recuperare le informazioni più rilevanti rispetto alle domande poste dall'utente.

Il funzionamento di localGPT prevede un processo in due fasi. Inizialmente i documenti vengono caricati e analizzati tramite uno script che genera gli embedding e li memorizza localmente. Fatto questo, grazie ad un secondo script è possibile interrogare il sistema formulando domande in linguaggio naturale e ottenendo risposte che attingono direttamente dai propri documenti. Il sistema seleziona i frammenti più pertinenti e utilizza un modello di linguaggio, come Mistral o Llama, per generare delle risposte basate sul contesto della richiesta.

Disponibile anche come immagine Docker

L'installazione di localGPT richiede alcune competenze di base, come l'utilizzo di Conda e Python, e la gestione delle dipendenze tramite pip. Gli sviluppatori mettono inoltre a disposizione un installer semplificato per Windows e immagini Docker ottimizzate per diversi tipi di hardware.