Google porta Gemini Pro su Vertex AI

Google ha annunciato il lancio di Gemini Pro, un modello di intelligenza artificiale (IA) all’interno della famiglia GenAI, per i clienti di Google Cloud che utilizzano Vertex AI. Gemini Pro è una versione leggera del modello più potente Gemini Ultra, attualmente in anteprima privata per un “selezionato gruppo” di clienti. Ora, Gemini Pro è accessibile in anteprima pubblica in Vertex AI tramite la nuova API Gemini Pro. L’API è gratuita “entro certi limiti” per il momento e supporta 38 lingue e regioni, inclusa l’Europa, e offre funzionalità come la chat e la filtrazione.

Gemini Pro API

Di default, l’API Gemini Pro in Vertex accetta il testo in input e genera testo in output, simile alle API dei modelli di testo generativo come quelli di Anthropic, AI21 e Cohere. Un endpoint aggiuntivo, Gemini Pro Vision, lanciato oggi in anteprima, è in grado di elaborare sia testo che immagini, inclusi foto e video, e generare testo simile al modello GPT-4 di OpenAI con Vision.

Il trattamento delle immagini affronta una delle principali critiche mosse a Gemini dopo la sua presentazione la scorsa settimana, ossia che la versione di Gemini che alimenta Bard, un modello Gemini Pro ottimizzato, non può accettare immagini nonostante sia tecnicamente “multimodale” (cioè addestrato su una serie di dati, inclusi testo, immagini, video e audio). Restano dubbi sulle prestazioni e le capacità di analisi delle immagini di Gemini, specialmente alla luce di una dimostrazione di prodotto ingannevole. Ma ora, almeno, gli utenti potranno provare il modello e la sua comprensione delle immagini.

All’interno di Vertex AI, gli sviluppatori possono personalizzare Gemini Pro per contesti specifici e casi d’uso, utilizzando gli stessi strumenti di messa a punto disponibili per gli altri modelli ospitati su Vertex, come PaLM 2 di Google. Gemini Pro può anche essere collegato ad API esterne per eseguire azioni specifiche o “ancorate” per migliorare l’accuratezza e la pertinenza delle risposte del modello, sia con dati di terze parti provenienti da un’app o un database, sia con dati provenienti dal web e da Google Search.

Controllo delle citazioni

Il controllo delle citazioni, un’altra funzionalità esistente di Vertex AI, ora supporta Gemini Pro, rappresentando una misura di fact-checking aggiuntiva evidenziando le fonti di informazione utilizzate da Gemini Pro per arrivare a una risposta.

“Il controllo delle citazioni ci consente di prendere una risposta generata da Gemini e confrontarla con un insieme di dati che risiedono all’interno dei sistemi di un’azienda… o fonti web”,

ha detto Kurian.

“Questo confronto consente di migliorare la qualità delle risposte del modello.”

Kurian ha dedicato una buona parte del tempo a evidenziare le opzioni di controllo, moderazione e governance di Gemini Pro, cercando apparentemente di contrastare le critiche che suggeriscono che Gemini Pro non sia il modello più potente sul mercato. Saranno abbastanza rassicurazioni per convincere gli sviluppatori? Forse. Ma se non lo fossero, Google rende l’offerta ancora più allettante con sconti.

Prezzi e vantaggi

L’input per Gemini Pro su Vertex AI costerà $0,0025 per carattere, mentre l’output costerà $0,00005 per carattere. I clienti di Vertex pagano per 1.000 caratteri e, nel caso di modelli come Gemini Pro Vision, per immagine. Questo rappresenta una riduzione rispettivamente del 4x e del 2x rispetto ai prezzi del predecessore di Gemini Pro. E per un periodo limitato, fino all’inizio del prossimo anno, Gemini Pro è gratuito per i clienti di Vertex AI.

“Il nostro obiettivo è attirare gli sviluppatori con prezzi interessanti”,

ha detto Kurian con franchezza.

Novità per Vertex AI

Google sta portando altre nuove funzionalità in Vertex AI nella speranza di dissuadere gli sviluppatori da piattaforme concorrenti come Bedrock.

Alcune di queste riguardano Gemini Pro. Presto, i clienti di Vertex potranno utilizzare Gemini Pro per alimentare agenti conversazionali vocali e di chat personalizzati, offrendo interazioni dinamiche che supportano ragionamenti avanzati. Gemini Pro diventerà anche una opzione per alimentare funzionalità di sintesi, raccomandazione e generazione di risposte di ricerca in Vertex AI, attingendo a documenti di diverse modalità (come PDF, immagini) e da diverse fonti (come OneDrive e Salesforce) per soddisfare le richieste degli utenti. Kurian prevede che le funzionalità di conversazione e ricerca basate su Gemini Pro saranno disponibili “molto presto” nel 2024.

Altrove in Vertex, è ora disponibile Automatic Side by Side (Auto SxS). Come risposta all’annuncio di AWS di Model Evaluation su Bedrock, Auto SxS consente agli sviluppatori di valutare i modelli in modo “on-demand” e “automatico“. Google sostiene che Auto SxS sia più veloce ed efficiente in termini di costi rispetto alla valutazione manuale dei modelli (anche se il giudizio è ancora da dare in attesa di test indipendenti).

Google sta inoltre aggiungendo modelli a Vertex da terze parti, tra cui Mistral e Meta, e introdurrà la “distillazione passo dopo passo“, una tecnica che crea modelli più piccoli, specializzati e a bassa latenza a partire da modelli più grandi. Inoltre, Google estende la sua politica di indennizzo per includere gli output di PaLM 2 e dei suoi modelli Imagen, il che significa che l’azienda difenderà legalmente i clienti idonei coinvolti in cause legali relative a controversie di proprietà intellettuale riguardanti gli output di tali modelli.