L’intelligenza artificiale di Google migliora le prestazioni della selezione intelligente del testo utilizzando l’apprendimento federato
Deloitte in associazione con MachineHack presenta la sfida di apprendimento automatico: un hackathon online esclusivo per gli scienziati dei dati
Google AI ha recentemente annunciato di aver migliorato le prestazioni di Smart Text Selection utilizzando l’apprendimento federato per addestrare il modello di rete neurale sulle interazioni degli utenti in modo responsabile preservando la privacy degli utenti. Il lavoro fa parte del nuovo ambiente sicuro Private Compute Core di Android , che ha consentito a Google di migliorare la precisione di selezione del modello fino al 20% su alcuni tipi di entità.
Smart Text Selection, lanciato nel 2017 come parte di Android O , è una delle funzionalità più utilizzate di Android, che aiuta gli utenti a selezionare, copiare e utilizzare il testo in modo facile e veloce prevedendo la parola o il set di parole desiderati attorno al tocco di un utente e automaticamente ampliando opportunamente la selezione. Attraverso questa funzione, le selezioni vengono espanse automaticamente. Per le selezioni con tipi di classificazione definiti, ad esempio indirizzi e numeri di telefono, agli utenti viene offerta un’app per aprire la selezione, risparmiando agli utenti ancora più tempo.
Registrati per questa sessione>>
Con questo nuovo lancio, il modello non utilizza più i dati proxy per la previsione dell’intervallo, ma viene invece addestrato sul dispositivo su interazioni reali utilizzando l’apprendimento federato. Si tratta di un approccio di addestramento per i modelli di apprendimento automatico in cui un server centrale coordina l’ addestramento del modello suddiviso tra molti dispositivi mentre i dati non elaborati utilizzati rimangono sul dispositivo locale.
Un processo di formazione di apprendimento federato standard funziona come segue: Il server inizia inizializzando il modello. Quindi, inizia un processo iterativo in cui:
I dispositivi vengono campionati.
I dispositivi selezionati migliorano il modello utilizzando i loro dati locali.
Quindi inviare indietro solo il modello migliorato, non i dati utilizzati per l’addestramento.
Il server quindi calcola la media degli aggiornamenti ricevuti per creare il modello che viene inviato nell’iterazione successiva.
Per la selezione intelligente del testo, ogni volta che un utente tocca per selezionare il testo e corregge il suggerimento del modello, Android ottiene un feedback preciso sull’intervallo di selezione che il modello avrebbe dovuto prevedere. Al fine di preservare la privacy dell’utente, le selezioni vengono conservate temporaneamente sul dispositivo, senza essere visibili lato server, e vengono quindi utilizzate per migliorare il modello applicando tecniche di apprendimento federato. Questa tecnica ha il vantaggio di addestrare il modello sullo stesso tipo di dati che vede durante l’inferenza.
Utilizzando questo nuovo approccio federato, Google ha notevolmente migliorato i modelli di selezione intelligente del testo, con il grado a seconda della lingua utilizzata. I miglioramenti tipici variavano tra il 5% e il 7% per l’accuratezza della selezione di più parole, senza alcun calo delle prestazioni di una singola parola. La precisione nella selezione corretta degli indirizzi (il tipo più complesso di entità supportate) è aumentata tra l’8% e il 20%, sempre a seconda della lingua utilizzata. Questi miglioramenti portano a milioni di selezioni aggiuntive espanse automaticamente per gli utenti ogni giorno.
Uno dei vantaggi di questo approccio di apprendimento federato è che consente la privacy dell’utente perché i dati non elaborati non sono esposti a un server. Al contrario, il server riceve solo i pesi del modello aggiornati. Google afferma che questo approccio richiede l’uso dell’apprendimento federato poiché funziona senza raccogliere dati utente sul server. Utilizza anche molti approcci alla privacy all’avanguardia, come il nuovo Private Compute Core di Android, Secure Aggregation e il metodo Secret Sharer.
