La piattaforma di sviluppo AI Hugging Face ha stretto una partnership con fornitori di cloud terzi, tra cui SambaNova, per lanciare Inference Providers. Si tratta di una funzionalità progettata per semplificare l'esecuzione di modelli AI da parte degli sviluppatori su Hugging Face utilizzando l'infrastruttura di loro scelta. Altri partner coinvolti nel nuovo sforzo includono Fal, Replicate e Together AI. Hugging Face afferma che i partner hanno collaborato con il progetto per creare l'accesso ai rispettivi data center per l'esecuzione di modelli nella piattaforma. Gli sviluppatori possono, ad esempio, avviare un modello DeepSeek sui server di SambaNova da una pagina di progetto della piattaforma in pochi clic.
Hugging Face offre da tempo la propria soluzione interna per l'esecuzione di modelli di intelligenza artificiale. Tuttavia, in un post pubblicato sul blog ufficiale, l'azienda ha spiegato che la sua attenzione si è spostata sulle capacità di collaborazione, archiviazione e distribuzione dei modelli. Come dichiarato dall'azienda: "I fornitori di servizi serverless sono cresciuti rapidamente. Hugging Face ha colto il momento giusto per offrire un accesso semplice e unificato all'inferenza serverless tramite una selezione di ottimi provider. Era naturale collaborare con la nuova generazione di fornitori di inferenza serverless per un'inferenza ottimizzata sui modelli".
Hugging Face: utenti otterranno dei crediti da destinare all’inferenza
L'inferenza serverless consente agli sviluppatori di distribuire e scalare modelli di intelligenza artificiale senza configurare o gestire alcun hardware sottostante. Provider come SambaNova avviano automaticamente le risorse di elaborazione necessarie e le scalano verso l'alto o verso il basso a seconda dell'utilizzo. Hugging Face afferma che gli sviluppatori che utilizzano provider cloud di terze parti tramite la sua piattaforma pagheranno le tariffe API standard del provider, almeno per ora. L’azienda ha comunque dichiarato che potrebbe stabilire accordi di condivisione dei ricavi con i partner provider in futuro. Tutti gli utenti della piattaforma ottengono una piccola quota di crediti da destinare all'inferenza. Infine, gli abbonati della versione Pro, il livello premium di Hugging Face, ottengono altri 2 dollari di crediti al mese.