Cos’è Llama 2 e come si usa
28/08/2023
Da GPT-4 di OpenAI al PalM 2 di Google, i modelli linguistici di grandi dimensioni dominano i titoli dei giornali tecnologici. Ogni nuovo modello promette di essere migliore e più potente del precedente, talvolta superando la concorrenza esistente.
Tuttavia, il numero di modelli esistenti non ha rallentato la nascita di nuovi modelli. Ora la società madre di Facebook, Meta, ha rilasciato Llama 2, un nuovo potente modello di linguaggio. Ma cosa c’è di unico in Llama 2? In cosa si differenzia da GPT-4, PaLM 2 e Claude 2 e perché dovrebbe interessarti?
Cos’è Llama 2?
Llama 2, un modello linguistico di grandi dimensioni, è il prodotto di un’insolita alleanza tra Meta e Microsoft, due giganti tecnologici concorrenti all’avanguardia nella ricerca sull’intelligenza artificiale. È il successore del modello linguistico Llama 1 di Meta, rilasciato nel primo trimestre del 2023.
Si può dire che è l’equivalente di Meta di PaLM 2 di Google, GPT-4 di OpenAI e Claude 2 di Anthropic. È stato addestrato su un vasto set di dati Internet disponibili pubblicamente, con il vantaggio di un set di dati più recente e più diversificato rispetto a quello utilizzato per addestrare Llama 1. Llama 2 è stato addestrato con il 40% di dati in più rispetto al suo predecessore e ha una lunghezza del contesto doppia (4k).
Se in passato hai avuto modo di interagire con Llama 1 ma non sei rimasto molto colpito dai suoi risultati, Llama 2 supera il suo predecessore e potrebbe fare al caso tuo. Ma come se la cava con la concorrenza?
Come si posiziona rispetto alla concorrenza?
Dipende dalla concorrenza con cui si confronta. Innanzitutto, il modello linguistico di Meta è un progetto open-source. Ciò significa che Meta pubblica l’intero modello, in modo che chiunque possa utilizzarlo per costruire nuovi modelli o applicazioni.
Se si confronta Llama 2 con altri importanti modelli linguistici open-source come Falcon o MBT, si scopre che li supera in diverse metriche. Si può affermare con certezza che il modello linguistico di Meta è uno dei più potenti modelli linguistici open-source di grandi dimensioni presenti oggi sul mercato. Ma come si colloca rispetto a giganti come GPT di OpenAI e la linea di modelli di intelligenza artificiale PalM di Google?
ChatGPT, Bard e Llama 2 a confronto
Abbiamo valutato ChatGPT, Bard e Llama 2 in base alle loro prestazioni nei test di creatività, ragionamento matematico, giudizio pratico e abilità di codifica.
A giudicare dai risultati del confronto, in termini di creatività, ChatGPT è nettamente migliore del modello linguistico di Meta, ma Llama 2 sembra migliore di Google. Quando abbiamo confrontato le capacità di codifica di Llama 2 con ChatGPT e Bard, il modello linguistico di Meta si è dimostrato molto promettente.
Abbiamo chiesto a tutti e tre i chatbot AI di generare un’applicazione funzionale per l’elenco delle cose da fare, di scrivere un semplice gioco di Tetris e di creare un sistema di autenticazione sicuro per un sito web. Mentre ChatGPT ha svolto quasi perfettamente tutti e tre i compiti, Bard e Llama 2 si sono comportati in modo simile: entrambi sono stati in grado di fornire un codice funzionale per un elenco di cose da fare e un sistema di autenticazione, ma hanno fallito con il gioco del Tetris.
Anche per quanto riguarda le abilità matematiche, il modello linguistico di Meta si è dimostrato promettente rispetto a Bard, ma è stato di gran lunga superato da ChatGPT nei problemi matematici di algebra e logica che abbiamo utilizzato per il nostro test. È interessante notare che Llama 2 ha risolto molti dei problemi matematici che ChatGPT e Bard non sono riusciti a risolvere nelle loro prime iterazioni. È possibile affermare che il modello linguistico di Meta è inferiore a ChatGPT per quanto riguarda le competenze matematiche, ma è molto promettente.
Le intelligenze artificiali e il buon senso
Il senso comune è un’area in cui molti chatbot stanno ancora lottando, anche quelli affermati come ChatGPT. Abbiamo chiesto a ChatGPT, Bard e Llama 2 di risolvere una serie di problemi di buon senso e di ragionamento logico. Ancora una volta, ChatGPT ha superato significativamente sia Bard che Llama 2. La competizione era tra Bard e Llama 2, e Bard ha avuto un vantaggio marginale su Llama 2 nel nostro test.
È chiaro che Llama 2 non è ancora pronto. Tuttavia, a sua difesa, Llama 2 è relativamente nuovo, è per lo più un “modello fondativo” e non una “messa a punto”. I modelli fondazionali sono modelli linguistici di grandi dimensioni costruiti tenendo conto di possibili adattamenti futuri. Non sono adattati a un dominio specifico, ma sono costruiti per affrontare un’ampia gamma di compiti, anche se a volte con capacità limitate.
D’altra parte, un modello perfezionato è un modello fondamentale messo a punto per aumentarne l’efficienza in un dominio specifico. È come prendere un modello fondamentale come GPT e metterlo a punto in ChatGPT, in modo che il pubblico possa usarlo nelle applicazioni di chat.
Come utilizzare Llama 2
Il modo più semplice per utilizzare Llama 2 è attraverso la piattaforma Poe AI di Quora o un’istanza cloud-hosted di Hugging Face. È anche possibile anche scaricare una copia ed eseguirlo localmente.
Accesso a Llama su Poe AI
Per accedere a Llama sulla piattaforma Poe AI di Quora:
- Visita poe.com e registrati per un account gratuito.
- Accedi al tuo account per visualizzare l’interfaccia di selezione del modello di intelligenza artificiale.
- Fare clic sull’icona More appena sopra il campo di immissione per visualizzare i modelli di IA disponibili.
- Scegliere uno dei modelli di Llama 2 disponibili e avviare la richiesta.
Accesso a Llama su Hugging Face
Per accedere a Llama su Hugging Face, aprire il link ai modelli Llama 2 corrispondenti qui sotto:
I modelli Llama di cui sopra e quelli sulla piattaforma Poe sono stati messi a punto per le applicazioni di conversazione, quindi è il modello Llama-2 che più si avvicina a ChatGPT. Non sei sicuro di quale versione provare? Ti consigliamo la terza opzione, la chat Llama-2 con parametri 70B. Puoi comunque cimentarti con tutti e tre i modelli per vedere quale funziona meglio per le tue esigenze specifiche.
Anche se consigliamo di iniziare con il modello più grande per sfruttare al massimo la potenza di calcolo remota quando si usa HuggingFace o Poe, per coloro che intendono eseguire il modello linguistico di Meta localmente, consigliamo di iniziare con il modello a 7B parametri, in quanto ha i requisiti hardware più bassi.
Requisiti hardware per eseguire Llama 2 in locale
Per ottenere prestazioni ottimali con il modello 7B, consigliamo una scheda grafica con almeno 10 GB di VRAM, anche se è stato riferito che funziona con 8 GB di RAM. Per l’esecuzione in locale, la scelta logica successiva è il modello con parametri 13B. Per questo, è possibile scegliere GPU consumer di fascia alta come RTX 3090 o RTX 4090 per godere delle loro capacità. Tuttavia, è sempre possibile configurare una macchina Windows di medio livello o un MacBook per eseguire questo modello.
Se si vuole andare al massimo, si può optare per il modello più grande. Tuttavia, per ottenere prestazioni ottimali è necessario un hardware di livello enterprise. Per “enterprise-grade” si intende un hardware dell’ordine di un NVIDIA A100 con 80 GB di memoria. Il modello di parametro 70B richiede un hardware eccezionalmente potente e specializzato per un’esecuzione reattiva. Ancora una volta, è importante chiarire che è possibile eseguire questo modello su una macchina meno potente. Tuttavia, il tempo di risposta potrebbe essere terribilmente lento, arrivando a diversi minuti per ogni richiesta. Considerate attentamente i requisiti di GPU e memoria prima di scegliere il modello più adatto alle vostre esigenze. Oppure, utilizzare l’istanza HuggingFace.
Se si dispone dell’hardware e delle capacità tecniche necessarie per eseguire il modello Llama 2 localmente sulla propria macchina, è possibile richiedere l’accesso al modello utilizzando il modulo di richiesta di accesso a Llama di Meta. Dopo aver fornito il nome, l’e-mail, la sede e il nome della tua organizzazione, Meta esaminerà la richiesta, dopodiché l’accesso verrà negato o concesso entro una finestra che va da pochi minuti a due giorni.
