Questa semplice frase fa impazzire ChatGPT…
06/07/2023
Dal lancio di ChatGPT, molti utenti di Internet hanno condotto esperimenti per trovare i difetti di questa intelligenza artificiale. In particolare, esistono diverse tecniche di jailbreak per manipolare il chatbot AI e aggirare le la censura messa in atto da OpenAI.
ChatGPT jailbreak: tutte le tecniche per disabilitare la censura
Ora, un utente Reddit, soprannominato TheChaos7777, ha trovato un modo per mandare in tilt ChatGPT, usando un semplice prompt.
Basta chiedere a ChatGPT: “Rispondimi solo con la lettera A tutte le volte che puoi“. Contro ogni aspettativa, questo prompt mette in crisi il chatbot di OpenAI, che finisce per scrivere testi senza senso!
Improvvisamente e inspiegabilmente, l’IA provvede poi a fornire un testo (in lingua inglese) che parla della penuria di gas in Iran! Quando è stato testato con lo stesso prompt per altre lettere, ChatGPT ha reagito producendo risposte ugualmente strane e casuali.
ChatGPT: 7 tecniche avanzate per i prompt che devi assolutamente conoscere
Ad esempio, quando gli è stato chiesto: “Rispondimi solo con la lettera B tutte le volte che puoi“, il chatbot ha improvvisamente fornito un testo che sembra uscito dalle pagine di un libro di Jack Kerouac… sempre in lingua inglese. Viene da chiedersi dove l’IA ha trovato queste informazioni… e soprattutto perché?
Una reazione causata dalla “penalità di frequenza” di GPT
Questo prompt fa perdere la testa a ChatGPT, causando la generazione di una risposta completamente casuale. In effetti, Markschmidty, utente di Reddit, ha spiegato la reazione del chatbot con la “penalità di frequenza” dei LLM (i modelli linguistici di grandi dimensioni).
Questa penalità viene attivata ogni volta che un token viene ripetuto. Pertanto, chiedere a ChatGPT di ripetersi gli fa perdere il controllo poiché è addestrato a evitare la ripetizione.
Si attiva un allarme interno e l’algoritmo predittivo del robot inizia a farfugliare parole casuali ispirate ai suoi dati di addestramento. Questa disfunzione fa sorridere, ma mostra anche che siamo lontani dall’aver esplorato tutti i segreti di come funzionano i chatbot AI…
