Ultimamente, diversi gruppi hacker sponsorizzati dallo stato stanno sperimentando l'assistente AI Gemini di Google. L’obiettivo è quello di usare il chatbot di Big G per aumentare la produttività e condurre ricerche su potenziali infrastrutture per attacchi o per la ricognizione di obiettivi. Il Threat Intelligence Group (GTIG) di Big G ha scoperto che alcuni gruppi di hacker legati ai governi (ATP) stanno usando l'intelligenza artificiale di Gemini, principalmente per migliorare la loro produttività. Gli hacker stanno cercando di sfruttare gli strumenti basati sull’AI per i loro attacchi, con risultati variabili. Tuttavia, questi possono almeno ridurre il tempo necessario per preparare un attacco. Big G ha rilevato attività sospette legate a gruppi APT in più di 20 paesi. Tuttavia, i gruppi più attivi sono risultati essere quelli provenienti dall’Iran e dalla Cina.
Tra i casi più comuni vi erano assistenza con attività di codifica per lo sviluppo di strumenti e script. Vi è poi la ricerca di vulnerabilità divulgate pubblicamente, controllo delle tecnologie (spiegazioni, traduzione), ricerca di dettagli sulle organizzazioni target e ricerca di metodi per eludere il rilevamento, aumentare i privilegi o eseguire ricognizioni interne in una rete compromessa.
Google: hacker hanno provato jailbreak pubblici contro Gemini
Google ha dichiarato che gruppi di hacker APT provenienti da Iran, Cina, Corea del Nord e Russia hanno sperimentato l’uso di Gemini per esplorarne il potenziale. In particolare, hanno cercato di capire se l’AI potesse aiutarli a individuare vulnerabilità di sicurezza, evitare di essere rilevati e pianificare le loro attività dopo aver violato un sistema. L’azienda di Mountain View ha anche osservato alcuni casi in cui gli hacker hanno cercato di aggirare le protezioni di Gemini utilizzando jailbreak pubblici. Inoltre, hanno provato a riformulare le loro richieste per eludere le misure di sicurezza della piattaforma. Tuttavia, questi tentativi non hanno avuto successo. Nell’ottobre del 2024, OpenAI ha fatto una rivelazione simile a quella di Big G. L'ultimo report di Google giunge quindi come una conferma dell'uso improprio di strumenti AI da parte di hacker di tutti i livelli.
I tentativi di jailbreak e le violazioni della sicurezza sono un problema costante per i principali prodotti di intelligenza artificiale. Tuttavia, il mercato dell’AI si sta riempiendo sempre più di modelli che non hanno adeguate difese contro l’uso improprio. Purtroppo, alcuni di questi modelli, con restrizioni facilmente eludibili, stanno diventando sempre più popolari. La società di sicurezza informatica KELA ha recentemente pubblicato i dettagli sulle misure di sicurezza lassiste per DeepSeek R1 e Qwen 2.5 di Alibaba. Questi sono vulnerabili ad attacchi di iniezione rapida che potrebbero semplificare l'uso dannoso. Infine, i ricercatori di Unit 42 hanno anche dimostrato tecniche di jailbreaking efficaci contro DeepSeek R1 e V3, dimostrando che i modelli sono facili da abusare.