Nvidia rivoluziona l’IA con Chat with RTX per PC

L’azienda di tecnologia Nvidia ha recentemente lanciato un nuovo strumento che consente ai possessori delle schede grafiche GeForce RTX 30 Series e 40 Series di eseguire un chatbot alimentato dall’intelligenza artificiale offline su un PC con sistema operativo Windows. Questo strumento, chiamato Chat with RTX, offre agli utenti la possibilità di personalizzare un modello GenAI collegandolo a documenti, file e note, ai quali può fare riferimento per fornire risposte alle domande degli utenti.

Come funziona Chat with RTX?

Secondo Nvidia, gli utenti possono semplicemente digitare le loro domande nel chatbot invece di dover cercare tra le loro note o il contenuto salvato. Ad esempio, un utente potrebbe chiedere: “Qual era il ristorante che il mio partner mi ha consigliato durante il nostro viaggio a Las Vegas?” e Chat with RTX scansionerà i file locali indicati dall’utente per fornire la risposta con il contesto appropriato.

Il modello predefinito di Chat with RTX è sviluppato dalla startup di intelligenza artificiale Mistral, ma il tool supporta anche altri modelli basati su testo, come Llama 2 di Meta. Tuttavia, Nvidia avverte che il download di tutti i file necessari richiederà una quantità significativa di spazio di archiviazione, tra i 50 GB e i 100 GB, a seconda dei modelli selezionati.

Attualmente, Chat with RTX funziona con i formati di file testuali, PDF, .doc, .docx e .xml. Se l’utente indica una cartella contenente file supportati, l’applicazione caricherà i file nel dataset di perfezionamento del modello. Inoltre, Chat with RTX può utilizzare l’URL di una playlist di YouTube per caricare le trascrizioni dei video nella playlist, consentendo al modello selezionato di interrogarne i contenuti.

Limitazioni di Chat with RTX

Tuttavia, è importante tenere presente alcune limitazioni di Chat with RTX. Ad esempio, il chatbot non memorizza il contesto delle domande precedenti, quindi non terrà conto di domande successive in relazione a domande precedenti. Se si chiede “Qual è un uccello comune in Nord America?” e successivamente “Quali sono i suoi colori?”, Chat with RTX non capirà che si sta parlando di uccelli.

Nvidia riconosce anche che la pertinenza delle risposte dell’app può essere influenzata da diversi fattori, alcuni dei quali più facili da controllare di altri. Tra questi fattori ci sono la formulazione della domanda, le prestazioni del modello selezionato e la dimensione del dataset di perfezionamento. Richiedere informazioni contenute in un paio di documenti produrrà risultati migliori rispetto a chiedere un riassunto di un documento o di un insieme di documenti. Inoltre, la qualità delle risposte migliorerà generalmente con dataset più ampi e con l’indicazione di Chat with RTX di un maggiore contenuto su un determinato argomento.

L’importanza di eseguire modelli GenAI in locale

Chat with RTX rappresenta solo un esempio di tendenza emergente che mira a semplificare l’esecuzione di modelli di intelligenza artificiale localmente. Secondo un rapporto del World Economic Forum, è previsto un “crescita drammatica” dei dispositivi accessibili che possono eseguire modelli GenAI offline, tra cui PC, smartphone, dispositivi Internet of Things e apparecchiature di rete.

Le ragioni di questa crescita, secondo il rapporto, sono i chiari vantaggi offerti da modelli offline: non solo sono più sicuri dal punto di vista della privacy, poiché i dati elaborati non lasciano mai il dispositivo su cui vengono eseguiti, ma sono anche caratterizzati da una latenza inferiore e da costi più contenuti rispetto ai modelli ospitati in cloud.

Naturalmente, rendere accessibili gli strumenti per eseguire e addestrare modelli apre la porta ad attori malintenzionati. Una semplice ricerca su Google restituisce molti risultati di modelli addestrati su contenuti tossici provenienti da angoli poco scrupolosi del web. Tuttavia, i sostenitori di strumenti come Chat with RTX sottolineano che i benefici superano i danni potenziali. Solo il tempo ci dirà se questa tendenza si rivelerà vantaggiosa.