Cursor: il bot del supporto clienti ha avuto un'allucinazione

Alcuni utenti di Cursor AI, popolare editor con cui è possibile generare e correggere codice tramite prompt, si sarebbero trovati improvvisamente disconnessi dopo aver tentato di utilizzare l'applicazione su più dispositivi contemporaneamente. Dopo aver chiesto dei chiarimenti in merito avrebbero ricevuto una risposta via email che indicava il blocco delle sessioni multiple come comportamento previsto dalle policy del servizio. Tale risposta sarebbe stata generata da un bot configurato per l'assistenza clienti e, cosa abbastanza paradossale per una piattaforma di AI, del tutto inventata.

L'allucinazione del bot di Cursor

Come confermato in un articolo di The Register, a confermare l'incidente sarebbe stato Michael Truell, co-fondatore di Anysphere a cui fa capo Cursor. In una sua dichiarazione su Reddit il dirigente avrebbe infatti chiarito che non esiste alcuna policy che impedisca l'uso simultaneo del servizio su più terminali. Si sarebbe trattato quindi di una risposta errata da parte del chatbot AI utilizzato per la customer care.

Alla base di tale "allucinazione" vi sarebbe stato un aggiornamento implementato per migliorare la sicurezza delle sessioni. L'errore potrebbe essere stato causato da un problema tecnico legato alla gestione delle connessioni lente.

Dato l'accaduto, la compagnia avrebbe promesso maggiore trasparenza in fase di supporto. Le risposte prodotte dalle AI nei messaggi saranno etichettate chiaramente come tali. Inoltre, il cliente a cui si deve la segnalazione del problema sarebbe stato rimborsato e il bug emerso già risolto.

Etichettare le risposte delle AI non basta

Questo episodio, comunque non particolarmente grave, ricorda che il problema delle cosiddette "allucinazioni" potrebbe essere sempre dietro l'angolo quando si parla di AI. Rientrano in questa definizione tutte le risposte plausibili ma completamente inventate che vengono generate da un modello.

A tal proposito Marcus Merrell, Senior Director of Technology Strategy presso i Sauce Labs, avrebbe sottolineato che il problema delle allucinazioni non è unicamente l'invenzione di informazioni. Vi sarebbe anche una mancanza di coerenza. Questo perché a seconda di chi pone la domanda un bot potrebbe generare risposte diverse con esiti contraddittori e confusionari

Stando così le cose, risposte non testate potrebbero influire negativamente sulla fiducia degli utenti. Etichettare un output come "generato da AI" non sarebbe quindi sufficiente a garantirne l'affidabilità.