Microsoft blinda i chatbot: nuove difese contro gli inganni degli utenti
03/04/2024
Microsoft ha recentemente annunciato l’introduzione di nuovi strumenti per prevenire gli attacchi malevoli ai Chatbot AI. Queste misure sono state implementate per impedire agli utenti di manipolare i sistemi di intelligenza artificiale per scopi dannosi. Nel post pubblicato sul suo blog, Sarah Bird, Chief Product Officer di Responsible AI presso Microsoft, ha spiegato che gli attacchi di prompt injection sono diventati una sfida significativa per le organizzazioni. Questi attacchi consistono nel cercare di manipolare un sistema AI in modo da farlo eseguire azioni al di fuori del suo scopo previsto, come la produzione di contenuti dannosi o l’estrazione di dati riservati.
Gli strumenti di protezione
Per contrastare questi rischi di sicurezza, Microsoft ha sviluppato una serie di strumenti per il suo sistema Azure AI. Tra questi strumenti, ci sono i “prompt shields” che permettono di rilevare e bloccare gli attacchi di iniezione di prompt. Inoltre, è stata introdotta la funzionalità di “groundedness detection” per individuare le cosiddette “hallucinations” dell’AI, ovvero situazioni in cui l’AI produce risultati non coerenti con i dati di input.
L’importanza della qualità e della affidabilità
Oltre a mitigare i rischi di sicurezza, Microsoft è anche consapevole dell’importanza di garantire la qualità e l’affidabilità dei suoi sistemi AI. Bird ha sottolineato che le organizzazioni desiderano che i loro sistemi AI non generino errori o aggiungano informazioni non verificate alle fonti di dati dell’applicazione, in modo da preservare la fiducia degli utenti.
Altre misure in arrivo
Oltre agli strumenti già disponibili, Microsoft prevede di lanciare presto dei messaggi di sistema per garantire che il comportamento del modello AI sia orientato verso output sicuri e responsabili. Inoltre, è attualmente in fase di anteprima una valutazione di sicurezza per determinare la vulnerabilità di un’applicazione ad attacchi di jailbreak e ai rischi legati alla generazione di contenuti.
