BBC: riassunti AI dei chatbot presentano gravi errori

Un recente studio condotto dalla BBC ha mostrato che i chatbot AI hanno difficoltà con inesattezze fattuali e distorsioni quando riassumono le notizie. Lo studio, che ha esaminato se ChatGPT di OpenAI, Google Gemini, Microsoft Copilot e Perplexity possono riassumere accuratamente le notizie, ha scoperto che più della metà di tutto l'output generato dall'AI presentava "problemi significativi di qualche tipo". Come parte dello studio, la BBC ha chiesto a ChatGPT, Copilot, Gemini e Perplexity di fornire riassunti di 100 articoli di notizie pubblicate dalla redazione, mentre i giornalisti esaminavano le loro risposte. Oltre a trovare problemi importanti nel 51% delle risposte, la BBC ha scoperto che il 19% delle risposte che citano la BBC includevano affermazioni, numeri e date errati. Nel frattempo, il 13% delle citazioni dalla BBC era "alterato rispetto alla fonte originale o non presente nell'articolo citato".

BBC: risposte di Gemini le più soggette a errori

Lo studio ha evidenziato alcuni esempi. Ad esempio, Gemini che afferma erroneamente che il National Health Service (NHS) del Regno Unito "consiglia alle persone di non iniziare a svapare e raccomanda che i fumatori che vogliono smettere di usare altri metodi". Tuttavia, l'NHS in realtà raccomanda di svapare per smettere di fumare. Inoltre, nel dice mbre 2024, ChatGPT ha affermato che Ismail Haniyeh faceva parte della leadership di Hamas anche se è stato assassinato nel luglio 2024. Nel complesso, lo studio ha scoperto che le risposte di Gemini "hanno sollevato la maggior parte delle preoccupazioni", poiché il 46 percento è stato "segnalato come avente problemi significativi di accuratezza".

L'anno scorso, la BBC ha criticato i riassunti delle notizie basati sull'intelligenza artificiale di Apple per aver riscritto in modo impreciso uno dei suoi titoli. Apple ha risposto sospendendo i riassunti per le app di notizie e intrattenimento. Inoltre, ha reso i riassunti delle notifiche AI ​​più distinti dalle notifiche standard. In risposta allo studio, Deborah Turness, CEO di BBC News and Current Affairs, ha invitato le aziende tecnologiche ad affrontare i problemi di inesattezza. Come ricorda Turness: "Viviamo in tempi difficili, e quanto tempo ci vorrà prima che un titolo distorto dall'intelligenza artificiale causi danni significativi nel mondo reale? Vorremmo che altre aziende tecnologiche ascoltassero le nostre preoccupazioni, proprio come ha fatto Apple. È tempo per noi di lavorare insieme: l'industria dell'informazione, le aziende tecnologiche e, naturalmente, anche il governo ha un ruolo importante da svolgere qui".