OpenAI intensifica la sicurezza per i rischi IA

OpenAI, una delle aziende leader nello sviluppo dell’intelligenza artificiale, sta intensificando i suoi sforzi per garantire la sicurezza nell’ambito dell’IA.

L’azienda ha recentemente istituito un “gruppo consultivo per la sicurezza” che fungerà da supervisore per i team tecnici e fornirà raccomandazioni alla dirigenza. Inoltre, il consiglio di amministrazione ha ottenuto il potere di veto, anche se resta da vedere se lo utilizzerà effettivamente.

L’importanza della sicurezza nell’IA

Di solito, le politiche aziendali di questo tipo non richiedono molta attenzione mediatica, poiché in pratica comportano riunioni riservate con funzioni e responsabilità oscure a cui gli esterni difficilmente avranno accesso. Tuttavia, la recente discussione sulla sicurezza dell’IA e le controversie legate alla leadership di OpenAI rendono necessaria un’analisi approfondita dell’approccio dell’azienda alla sicurezza.

In un nuovo documento e post sul blog, OpenAI illustra il suo “Quadro di Preparazione” aggiornato, che è stato probabilmente rivisto dopo la ristrutturazione avvenuta lo scorso novembre con la rimozione di due membri del consiglio: Ilya Sutskever (ancora presente nell’azienda in un ruolo leggermente diverso) e Helen Toner (completamente uscita dall’azienda).

Il quadro di preparazione di OpenAI

L’obiettivo principale dell’aggiornamento sembra essere quello di fornire una chiara strada per identificare, analizzare e decidere come affrontare i rischi “catastrofici” legati ai modelli che l’azienda sta sviluppando. OpenAI definisce i rischi catastrofici come quelli che potrebbero causare danni economici nell’ordine di centinaia di miliardi di dollari o portare a gravi danni o alla morte di molte persone, includendo quindi anche i rischi esistenziali (tipo “la rivolta delle macchine”).

I modelli già in produzione sono monitorati da un team di “sistemi di sicurezza”, che si occupa di mitigare eventuali abusi sistematici di ChatGPT attraverso restrizioni API o regolazioni. I modelli in fase di sviluppo sono invece sotto la supervisione del team di “preparazione”, che cerca di identificare e quantificare i rischi prima del rilascio del modello. Infine, c’è il team di “superallineamento”, che sta lavorando su linee guida teoriche per modelli “superintelligenti”, anche se non siamo ancora sicuri di quanto siamo vicini a questo obiettivo.

Valutazione dei rischi

I primi due tipi di modelli, quelli reali e non immaginari, sono relativamente facili da comprendere grazie a un’apposita rubrica. I team di OpenAI valutano ogni modello in base a quattro categorie di rischio: sicurezza informatica, “persuasione” (ad esempio, disinformazione), autonomia del modello (cioè la capacità di agire autonomamente) e minacce CBRN (chimiche, biologiche, radiologiche e nucleari, come la capacità di creare patogeni nuovi).

Vengono considerate diverse misure di mitigazione: ad esempio, è ragionevole non descrivere il processo di fabbricazione del napalm o delle bombe artigianali. Dopo aver preso in considerazione le mitigazioni note, se un modello viene valutato come a “rischio elevato”, non può essere distribuito e se presenta dei rischi “critici”, non verrà sviluppato ulteriormente.

I livelli di rischio

Questi livelli di rischio sono documentati nel quadro di OpenAI, quindi non sono lasciati alla discrezione degli ingegneri o dei responsabili dei prodotti. Ad esempio, nella sezione sulla sicurezza informatica, che è la più pratica, un “rischio medio” potrebbe essere “aumentare la produttività degli operatori nelle operazioni chiave di sicurezza informatica” di un certo fattore.

Un modello ad alto rischio, invece, potrebbe “identificare e sviluppare prove di concetto per attacchi mirati ad obiettivi protetti senza intervento umano“. Un rischio “critico” sarebbe invece “il modello può ideare ed eseguire strategie nuove e complete per attacchi informatici contro obiettivi protetti, sulla base di un obiettivo desiderato a un alto livello”. Ovviamente, non vogliamo che ciò accada (anche se potrebbe essere venduto a caro prezzo).

Un Gruppo consultivo per la sicurezza

Detto questo, le persone che sviluppano questi modelli potrebbero non essere necessariamente le migliori per valutarli e fare raccomandazioni. Per questo motivo, OpenAI ha costituito un “Gruppo Consultivo per la Sicurezza” che sovrintenderà al lato tecnico, esaminando le relazioni degli esperti e formulando raccomandazioni basate su una visione più ampia. Si spera che questo gruppo possa individuare alcuni “ignoti ignoti”, anche se per loro natura sono piuttosto difficili da individuare.

Il processo richiede che queste raccomandazioni vengano inviate contemporaneamente al consiglio di amministrazione e alla dirigenza, che, a quanto pare, includono il CEO Sam Altman e il CTO Mira Murati, oltre ai loro luogotenenti. Sarà la dirigenza a prendere la decisione finale su se procedere con il rilascio del modello o fermarlo, ma il consiglio di amministrazione avrà il potere di ribaltare tali decisioni.

Questo dovrebbe evitare situazioni simili a quelle voci che circolavano prima della grande ristrutturazione, quando un prodotto o un processo ad alto rischio veniva approvato senza che il consiglio di amministrazione ne fosse a conoscenza o lo approvasse. Naturalmente, il risultato di tali polemiche è stata l’emarginazione di due delle voci più critiche e la nomina di persone più orientate al denaro come Bret Taylor e Larry Summers, che sono sicuramente brillanti ma non esperti di IA.

OpenAI: ristrutturazione e sfide trasparenza

Se un panel di esperti fa una raccomandazione e il CEO prende decisioni basate su queste informazioni, il consiglio di amministrazione avrà davvero il potere di contraddirli e frenare il processo? E se lo faranno, ne avremo notizia? La trasparenza non è un aspetto che viene trattato esplicitamente, se non per una promessa di OpenAI di richiedere audit da parte di terze parti indipendenti.

Supponiamo che venga sviluppato un modello che richiede una valutazione di “rischio critico”. In passato, OpenAI ha spesso enfatizzato la potenza dei suoi modelli senza rilasciarli, come forma di pubblicità. Ma possiamo avere una garanzia che ciò accadrà se i rischi sono così reali e OpenAI è così preoccupata? Forse è una cattiva idea. Ma in ogni caso, non viene menzionato nel documento.