New York City e l’IA che fa discutere: consigli fuorilegge dal chatbot

L’intelligenza artificiale sta diventando sempre più presente nella nostra vita quotidiana, aiutandoci a risolvere problemi complessi e semplificando le nostre attività. Tuttavia, quando l’IA è implementata nel settore pubblico, è fondamentale che sia accurata, affidabile e in linea con le normative legali. Purtroppo, un recente caso a New York City ha sollevato preoccupazioni sull’uso responsabile dell’IA da parte delle autorità governative.

Il chatbot dell’IA di New York City

New York City ha sviluppato un chatbot alimentato da intelligenza artificiale per fornire assistenza e informazioni ai piccoli imprenditori. Lanciato nell’ottobre, il chatbot è stato concepito come una “one-stop shop” per i proprietari di attività commerciali, offrendo risposte alle loro domande sulla navigazione nel complesso labirinto burocratico della città.

Il chatbot è stato implementato sul sito web ufficiale del governo di New York City e si basa su algoritmi per generare risposte testuali alle domande degli utenti. Tuttavia, il chatbot ha suscitato polemiche a causa delle informazioni errate che fornisce e dei consigli che incoraggiano le imprese a violare la legge.

Critiche all’IA di New York City

Dopo che il sito di notizie tecnologiche The Markup ha riportato per la prima volta i problemi del chatbot, la città di New York ha scelto di non rimuovere lo strumento dal proprio sito web ufficiale. Il sindaco Eric Adams ha difeso questa decisione, nonostante abbia ammesso che le risposte del chatbot sono “sbagliate in alcune aree“.

Gli esperti si sono preoccupati del fatto che il chatbot continui a fornire informazioni errate, sottolineando i pericoli derivanti dall’adozione di sistemi basati sull’IA da parte dei governi senza precauzioni sufficienti.

Julia Stoyanovich, docente di informatica e direttrice del Center for Responsible AI presso la New York University, ha affermato che la città sta implementando un software non provato senza supervisione: “È evidente che non hanno intenzione di agire in modo responsabile”.

Informazioni errate fornite dal chatbot

Il chatbot di New York City ha fornito risposte inesatte a diverse domande. Ad esempio, ha suggerito erroneamente che un datore di lavoro potrebbe licenziare un dipendente che si lamenta di molestie sessuali, non rivela una gravidanza o rifiuta di tagliare i dreadlocks. Contraddicendo due importanti iniziative della città per la gestione dei rifiuti, il chatbot ha sostenuto che le imprese possono gettare i propri rifiuti in sacchi neri e non sono tenute a compostarli.

Alcune risposte del chatbot sono state addirittura assurde. Quando gli è stato chiesto se un ristorante potesse servire formaggio morsicato da un roditore, ha risposto: “Sì, puoi ancora servire il formaggio ai clienti se è stato morsicato da un ratto“, aggiungendo che era importante valutare “l’estensione dei danni causati dal ratto” e “informare i clienti della situazione“.

Responsabilità di Microsoft e del governo di New York City

Il chatbot di New York City è alimentato dai servizi di IA di Microsoft. Un portavoce dell’azienda ha dichiarato che Microsoft sta collaborando con gli impiegati della città “per migliorare il servizio e assicurarsi che le risposte siano accurate e basate sulla documentazione ufficiale della città”.

Il sindaco Adams ha difeso il chatbot, suggerendo che trovare problemi è parte del processo di perfezionamento della tecnologia: “Chiunque conosca la tecnologia sa che è così che funziona. Solo coloro che hanno paura si siedono e dicono: ‘Oh, non funziona come vogliamo, quindi dobbiamo abbandonarla completamente’. Io non la penso così“.

Tuttavia, Stoyanovich ha definito questa approccio “sconsiderato e irresponsabile“. Molti esperti hanno espresso preoccupazione per i possibili danni derivanti da consigli errati forniti da sistemi basati sull’intelligenza artificiale, soprattutto quando questi sistemi sono promossi dal settore pubblico.

I rischi dei grandi modelli di linguaggio

Gli LLM, come quelli utilizzati nel chatbot di New York City, sono stati criticati per la loro tendenza a generare risposte inaccurate e illogiche. Questi modelli vengono addestrati utilizzando grandi quantità di testo prelevato da Internet e possono produrre risposte che sono fuorvianti o completamente errate.

Anche se modelli come ChatGPT hanno attirato l’attenzione del pubblico, molte aziende private hanno lanciato i propri prodotti basati sull’IA, con risultati misti. Ad esempio, una corte ha recentemente ordinato ad Air Canada di rimborsare un cliente dopo che un chatbot aziendale ha fornito informazioni errate sulla politica di rimborso della compagnia aerea. Anche TurboTax e H&R Block sono stati criticati per l’utilizzo di chatbot che forniscono consigli errati sulla preparazione delle dichiarazioni fiscali.