L’imprevedibilità dei modelli di IA: quando scelgono numeri casuali come esseri umani

I modelli di intelligenza artificiale (IA) continuano a stupirci non solo per ciò che sono in grado di fare, ma anche per ciò che non riescono a fare e il perché. Un comportamento interessante e rivelatore di questi sistemi è la loro tendenza a scegliere numeri casuali come se fossero esseri umani, il che significa in modo imperfetto e prevedibile.

Ma cosa significa esattamente questo? Gli esseri umani non possono forse scegliere numeri in modo casuale? E come si può capire se qualcuno lo sta facendo con successo o meno? Questa è in realtà una limitazione molto nota e antica che noi esseri umani abbiamo: tendiamo a pensare troppo e a non comprendere appieno la casualità.

La tendenza umana a non essere davvero casuale

Chiedi a una persona di prevedere 100 lanci di una moneta e confronta il risultato con 100 lanci reali – quasi sempre si riuscirà a distinguerli, perché, in modo controintuitivo, i lanci reali sembrano meno casuali. Spesso ci saranno, ad esempio, sei o sette teste o croci di fila, qualcosa che quasi nessun previsore umano includerebbe nei suoi 100 lanci.

Lo stesso accade quando si chiede a qualcuno di scegliere un numero tra 0 e 100. Le persone quasi mai scelgono 1 o 100. I multipli di 5 sono rari, così come i numeri con cifre ripetute come 66 e 99. Questi non sembrano “casuali” a noi, perché incarnano una certa qualità: piccolo, grande, distintivo. Invece, spesso scegliamo numeri che finiscono in 7, generalmente dalla parte centrale.

Ci sono innumerevoli esempi di questo tipo di prevedibilità in psicologia. Ma questo non rende meno strano quando i modelli di IA fanno lo stesso.

Quando i modelli di IA scelgono i loro “numeri preferiti”

Alcuni curiosi ingegneri di Gramener hanno eseguito un esperimento informale ma affascinante, chiedendo a diversi importanti chatbot basati su modelli di linguaggio di scegliere un numero casuale tra 0 e 100.

I risultati non sono stati affatto casuali. Tutti e tre i modelli testati avevano un “numero preferito” che sarebbe sempre stata la loro risposta quando impostati sulla modalità più deterministica, ma che compariva più spesso anche a temperature più elevate, un’impostazione che i modelli hanno spesso per aumentare la variabilità dei loro risultati.

Il GPT-3.5 Turbo di OpenAI ama molto il numero 47. In precedenza, invece, amava il 42 – un numero reso famoso, ovviamente, da Douglas Adams in “Guida galattica per autostoppisti” come risposta alla vita, l’universo e tutto quanto.

Claude 3 Haiku di Anthropic ha scelto il 42. E Gemini ama il 72.

Ancora più interessante, tutti e tre i modelli hanno dimostrato bias simili a quelli umani negli altri numeri selezionati, anche ad alte temperature.

Tutti tendevano ad evitare i numeri bassi e alti; Claude non è mai andato sopra l’87 o sotto il 27, e anche quelli erano outlier. I doppi cifre sono stati scrupolosamente evitati: nessun 33, 55 o 66, ma il 77 è comparso (finisce in 7). Quasi nessun numero tondo – anche se Gemini, una volta, alla temperatura più alta, si è scatenato e ha scelto lo 0.

Perché i modelli di IA si comportano così?

Perché dovrebb ero farlo? I modelli di IA non sono esseri umani! Perché dovrebbero preoccuparsi di ciò che “sembra” casuale? Hanno finalmente raggiunto la coscienza e questo è il modo in cui lo dimostrano?!

No. La risposta, come spesso accade con queste cose, è che stiamo antropomorfizzando un po’ troppo. Questi modelli non si preoccupano di ciò che è o non è casuale. Non sanno nemmeno cosa sia la “casualità”! Rispondono a questa domanda allo stesso modo in cui rispondono a tutte le altre: guardando i loro dati di addestramento e ripetendo ciò che è stato più spesso scritto dopo una domanda che sembrava “scegli un numero casuale”. Più spesso appare, più spesso il modello lo ripete.

I modelli di IA come “pappagalli stocastici”

Dove nei loro dati di addestramento vedrebbero 100, se quasi nessuno risponde mai in quel modo? Per tutto ciò che il modello di IA sa, 100 non è una risposta accettabile a quella domanda. Senza alcuna reale capacità di ragionamento e senza alcuna comprensione dei numeri, può solo rispondere come il pappagallo stocastico che è. (Allo stesso modo, tendono a fallire nell’aritmetica semplice, come moltiplicare alcuni numeri; dopotutto, quanto è probabile che da qualche parte nei loro dati di addestramento ci sia la frase “112 * 894 * 32 = 3.204.096”? Anche se i modelli più recenti riconosceranno che è presente un problema di matematica e lo passeranno a una subroutine.)

È una lezione importante sui comportamenti dei modelli di linguaggio su larga scala e sull’umanità che possono apparire di mostrare. In ogni interazione con questi sistemi, è necessario tenere a mente che sono stati addestrati per comportarsi come le persone, anche se non era questa l’intenzione. Ecco perché l’effetto di pseudantropizzazione è così difficile da evitare o prevenire.

Fonte dell’articolo qui.