L’uso dell’intelligenza artificiale per migliorare la moderazione dei contenuti su Xbox

Con l’enorme crescita degli utenti e dei contenuti generati dagli utenti su Xbox, la moderazione dei contenuti rappresenta una sfida sempre più complessa. Per far fronte a questo problema, Microsoft ha deciso di sfruttare l’intelligenza artificiale (IA) per accelerare gli sforzi di moderazione su Xbox. L’obiettivo è quello di consentire ai sistemi di IA di individuare automaticamente i contenuti inappropriati, segnalando poi tali contenuti per una revisione umana. Questo approccio permette di aumentare la scala di moderazione, migliorare le capacità dei moderatori umani e ridurre l’esposizione ai contenuti sensibili.

L’utilizzo di Community Sift per la moderazione dei contenuti su Xbox

Microsoft ha adottato Community Sift, uno strumento di moderazione creato da TwoHat, una sussidiaria di Microsoft, per alimentare molti dei suoi sistemi di sicurezza su Xbox. Secondo il rapporto di trasparenza più recente di Microsoft, il sistema Community Sift ha filtrato “oltre 36 milioni” di segnalazioni di giocatori in 22 lingue nel corso di quest’anno. Il sistema valuta queste segnalazioni per individuare quelle che richiedono un’ulteriore attenzione da parte di un moderatore umano.

Nonostante l’implementazione di questo nuovo sistema di filtraggio, il numero totale di azioni di moderazione “reattive” (ovvero quelle effettuate in risposta a una segnalazione di un giocatore) da parte di Microsoft non sembra essere diminuito negli ultimi mesi. Le azioni di moderazione effettuate nel primo semestre del 2023 sono state leggermente inferiori rispetto a quelle del primo semestre del 2022. Tuttavia, il numero di segnalazioni dei giocatori è diminuito, passando da 33,08 milioni all’inizio del 2022 a 27,31 milioni all’inizio del 2023. Da notare che entrambi i numeri sono molto inferiori ai 52,05 milioni di segnalazioni di giocatori emesse nel primo semestre del 2021.

Il sistema Bletchley per la moderazione delle immagini

Per migliorare la moderazione delle immagini su Xbox, Microsoft ha introdotto il sistema Bletchley, che utilizza il modello di intelligenza artificiale Turing Bletchley v3. Questo modello “visione-linguaggio” analizza automaticamente tutte le immagini generate dagli utenti sulla piattaforma Xbox, compresi i Gamerpic personalizzati e le altre immagini dei profili. Il sistema Bletchley utilizza la sua conoscenza per comprendere le sottili sfumature riguardo a quali immagini siano accettabili in base agli standard della community su Xbox. Qualsiasi contenuto sospetto viene quindi inviato in coda per una moderazione umana.

Secondo Microsoft, il sistema Bletchley ha contribuito al blocco di 4,7 milioni di immagini nel primo semestre del 2023, registrando un aumento del 39% rispetto ai sei mesi precedenti. Questo aumento è attribuito agli investimenti di Microsoft nell’intelligenza artificiale.

L’aumento degli account “inautentici” e le relative azioni di moderazione

Tra le azioni di moderazione effettuate da Microsoft, quelle contro gli account “inautentici” sono quelle che hanno registrato la maggiore crescita. Questi account includono quelli utilizzati da giocatori che commettono frodi, inviano spam o creano account falsi per inflazionare il numero di amici o follower. Nel primo semestre del 2023, Microsoft ha effettuato 16,3 milioni di azioni di moderazione contro questi account, registrando un aumento del 276% rispetto ai 4,33 milioni di azioni di moderazione effettuate nel primo semestre del 2022. La stragrande maggioranza di queste azioni (il 99,5%) viene intrapresa prima che un giocatore abbia la possibilità di segnalarle e spesso prima che possano aggiungere contenuti dannosi alla piattaforma.

L’impatto della definizione di “contenuto volgare” sulla moderazione su Xbox

Nel rapporto di trasparenza, Microsoft sottolinea anche l’impatto della decisione presa nel 2022 di modificare la definizione di “contenuto volgare” sulla piattaforma Xbox. La nuova definizione include gesti offensivi, contenuti sessualizzati e humor scurrile. Tale decisione ha portato a un aumento significativo delle azioni di moderazione contro il contenuto volgare.

Nel primo semestre del 2022, sono state effettuate 328.000 azioni di moderazione contro il contenuto volgare, registrando un aumento del 236% rispetto ai circa 98.000 casi dei sei mesi precedenti (che a loro volta rappresentavano un aumento del 450% rispetto ai sei mesi precedenti).

Nonostante questo aumento, l’enforcement del contenuto volgare si posiziona ancora dietro a quello di semplice oscenità (886.000 azioni di moderazione), molestie o bullismo (853.000), contenuto sessuale per adulti (695.000) e spam (361.000) nella lista dei tipi di violazioni su Xbox.

Revisione delle sospensioni e nuove regole di moderazione

Secondo il rapporto di trasparenza, solo circa il 4,1% delle oltre 280.000 richieste di revisione di sospensioni è stato accolto nel primo semestre del 2023. Questo dato rappresenta un leggero calo rispetto al 6% delle 151.000 richieste accolte nel primo semestre del 2022. Dopo il periodo coperto da questo rapporto, Microsoft ha introdotto un nuovo sistema di penalità standardizzato basato su un sistema a otto livelli. Sarà interessante vedere se il prossimo rapporto di trasparenza mostrerà qualche cambiamento nel comportamento dei giocatori o nell’azione di moderazione con l’entrata in vigore delle nuove regole.

In conclusione, Microsoft sta sfruttando l’intelligenza artificiale per migliorare la moderazione dei contenuti su Xbox. L’uso di strumenti come Community Sift e il sistema Bletchley consente di individuare e rimuovere automaticamente i contenuti inappropriati. Riducendo la necessità di segnalazioni dei giocatori e migliorando l’esperienza di gioco per tutti gli utenti. Tuttavia, la sfida della moderazione dei contenuti su una piattaforma così ampia e popolare come Xbox richiede un costante sviluppo e adattamento delle strategie di moderazione per affrontare le nuove sfide e garantire un ambiente di gioco sicuro e piacevole.