Seeweb: GPU in modalità serverless per l'AI con Kubernetes

Quando si parla di isolamento e portabilità delle applicazioni ci si riferisce molto spesso a Docker o più semplicemente ai container, unità autosufficienti che includono tutto il necessario per l'esecuzione: codice, runtime, librerie e configurazioni. Quando si parla invece di orchestrazione dei container, il primo nome che viene in mente è sicuramente quello di Kubernetes, piattaforma open source con cui automatizzare il deployment, la gestione, il bilanciamento del carico e la scalabilità delle applicazioni containerizzate.

Kubernetes si occupa di organizzare i container in cluster, li gestisce tramite pod (le unità di esecuzione di base) e consente così ad un'azienda di adottare con la stessa facilità tecnologie collaudate ed emergenti. Si tratta quindi di una soluzioni ideale (e sicura) per l'implementazione di architetture serverless, service mesh per la gestione del traffico tra microservizi e per eseguire workload complessi come quelli legati ad Intelligenza Artificiale e Machine Learning. Tutte tecnologie i cui processi necessitano di scalabilità e gestione di risorse specializzate, come per esempio le GPU.

E sono proprio le risorse a rappresentare il nodo cruciale di qualunque progetto incentrato sulle "macchine che devono imparare". Perché il loro impiego comporta dei costi che possono essere anche molto ingenti, spesso difficilmente prevedibili. La scalabilità diventa quindi fondamentale, ma come accedere alle risorse ottimizzando il proprio investimento? Con una soluzione di GPU provisioning, come ad esempio Serverless GPU di Seeweb.

Cosa è Serverless GPU di Seeweb

Progettato e costruito in collaborazione con Clastix, tech startup italiana specializzata in soluzioni Kubernetes multitenancy, Serverless GPU è un servizio cloud-native on-demand che sfrutta Kubernetes permettendo di espandere dinamicamente i cluster delle schede grafiche, l'utilizzatore non deve confrontarsi con alcun onere di gestione e le GPU sono accessibili da remoto come se fossero disponibili in una infrastruttura on-premise. Vengono così accelerate operazioni come il training dei modelli generativi, l'inferenza, lo sviluppo di piattaforme basate sul Deep Learning e il deploy delle applicazioni in fase di distribuzione.

Grazie all'offerta di Seeweb è possibile fare affidamento su un modello di provisining pay-as-you-go con il quale incrementare rapidamente la propria potenza computazionale senza dover effettuare alcuna migrazione dell'infrastruttura. Si tratta inoltre di una soluzione sviluppata rispettando gli standard del progetto Microsoft Virtual Kubelet, aspetto che assicura la massima compatibilità con i cluster Kubernetes. Viene supportata la maggior parte dei servizi Kubernetes gestiti pubblicamente, come AKS, EKS e GKE, così come con ambienti on-premise come Kubernetes vanilla, OpenShift, Tanzu e le distribuzioni dello stack Rancher.

GPU completamente dedicate on-demand

Serverless GPU mette a disposizione delle GPU completamente dedicate accessibili in modalità on-demand. Il provisioning Multi-GPU avviene in pochi secondi e il servizio è integrabile con qualsiasi ambiente preconfigurato. 10 Gbps di banda e un uptime superiore al 99.99% garantiscono inoltre la continuità si servizio. Mentre per qualsiasi necessità di assistenza è disponibile un Service Desk con tre livelli di supporto attivo 24h, tutti i giorni, tutto l'anno. Il Cloud di Seeweb si basa su server collocati sul territorio UE, ciò si traduce in sovranità dei dati e in una piena conformità con le normative su raccolta, conservazioni, trattamento e protezione in ambito europeo.

Carichi di lavoro estremamente impegnativi come quelli dell'intelligenza artificiale e del machine learning non richiedono però soltanto una gestione scalabile delle GPU. Quando si parla di risorse un altro argomento centrale è infatti quello dello storage, non solo in relazione alla sua quantità.

Kubernetes Storage per ottimizzare le performance di Kubernetes

Lo storage Kubernetes multi-protocollo di Seeweb è un servizio pensato per ottimizzare le prestazioni in fase di orchestrazione e ridurre le complessità legate alla gestione dei dati. Offre uno storage persistente e scalabile ideale per carichi di lavoro stateful, applicazioni critiche e i workload connessi all'AI. Tra i suoi punti di forza vi è il fatto che le soluzioni di storage tradizionali non sono state concepite per gestire carichi di lavoro virtualizzati. Potrebbero quindi non supportare i requisiti di aggiornamento delle applicazioni containerizzate. Kubernetes Storage, invece, soddisfa nativamente le esigenze di un ambiente incentrato sull'uso dei container.

Pensato per tutte le le infrastrutture che utilizzano Kubernetes

Basato sulla VAST Data platform, il servizio è stato progettato per operare con tutte le infrastrutture che utilizzano Kubernetes. Ciò comprende sia i cluster interni forniti da Seeweb che quelli esterni. Nello stesso modo può essere poi utilizzato sia in ambienti Cloud che on-premise. Si hanno quindi prestazioni più elevate, gestione semplificata dei dati, contenimento delle spese, accesso immediato alle risorse e funzionalità specifiche per l'AI.

Ma i vantaggi del Kubernetes Storage di Seeweb non finisco qui e si estendono a:

• Efficienza nella gestione dei dati: il servizio migliora l'accesso ai dati e l'analisi in tempo reale. Viene così garantito un livello di prestazioni ottimale per qualsiasi progetto.
• Facilità d'uso e di gestione: l'integrazione con Kubernetes rende il controllo delle risorse e la scalabilità nettamente più semplici e flessibili.
• Riduzione dei costi operativi: la piattaforma è progettata per offrire alte prestazioni ad un costo inferiore rispetto alle soluzioni di storage tradizionali.

Il provisioning dello spazio di archiviazione parte da un bundle di 100GB. Lo storage aggiuntivo viene poi allocato automaticamente da Seeweb in base all'effettivo utilizzo delle risorse. Il processo è completamente automatizzato mentre la fatturazione è mensile e basata sul consumo delle risorse realmente utilizzate. Questo permette all'utente di pagare esclusivamente per ciò di cui ha usufruito. Senza costi nascosti.

Conclusioni: Seeweb, GPU serverless e storage dinamico ad alte prestazioni

L'approccio integrato di Seeweb, basato sull'orchestrazione dei container con Kubernetes, GPU serverless e storage dinamico, consente di affrontare in modo efficiente le sfide più complesse dell'intelligenza artificiale e del machine learning.

Le aziende che devono gestire flussi di lavoro molto complessi possono contare su una piattaforma cloud-native ad alte prestazioni, flessibile, scalabile e conforme alle normative europee sul trattamento dei dati. Un servizio in grado di supportare l'intero ciclo di vita delle applicazioni. Dal training dei modelli generativi all'inferenza, fino alla gestione intelligente dei dati e al deploy.

Seeweb garantisce compatibilità, velocità di provisioning e semplicità in tutte le fasi dei processi di business. Si tratta quindi di una soluzione ideale per quelle realtà che vogliono creare innovazione senza doversi preoccupare delle complessità infrastrutturali, ottimizzando gli investimenti e accelerando lo sviluppo di piattaforme e applicazioni.

In collaborazione con Seeweb