Google DeepMind ha introdotto un nuovo metodo di formazione che migliora le prestazioni e riduce i costi dei modelli multimodali di intelligenza artificiale (AI) per l’elaborazione di immagini e testi. In questo modo, hanno affermato, sono riusciti a ridurre di 13 volte il tempo di formazione per determinati compiti e hanno richiesto 10 volte meno potenza di calcolo.
Tom’s Hardware ha riferito che i ricercatori di Google DeepMind hanno pubblicato nell’archivio i risultati della ricerca su “ZEST”, che aumenta significativamente l’efficienza dell’addestramento del modello AI per l’elaborazione di immagini e testi .
In generale, la qualità dei dati è un fattore chiave nel determinare le prestazioni del modello. Se riesci ad allenarti con un set di dati ben curato, puoi ottenere prestazioni elevate con molti meno dati.
Inoltre, i modelli di intelligenza artificiale multimodale imparano a connettere immagini e testo massimizzando la mappatura delle coppie immagine-testo e riducendo al minimo la mappatura delle coppie non correlate.
In precedenza, i dati di addestramento venivano selezionati in modo casuale o in base alla pertinenza individuale. D’altra parte, Zest ha introdotto un metodo di selezione “batch” che include dati di alta qualità, anziché selezionare i dati individualmente. Un batch si riferisce a un’unità di dati che divide l’intero set di dati di addestramento in una dimensione specifica.
Per raggiungere questo obiettivo, Zest crea piccoli modelli preaddestrati da fonti di alta qualità, che poi valutano e classificano la qualità dei dati per l’intero batch. In altre parole, la disposizione più appropriata viene selezionata attraverso un piccolo modello Zest e viene addestrato un modello AI multimodale.
I ricercatori hanno sottolineato che il processo di creazione di un modello Zest pre-addestrato con un set di dati piccolo e di alta qualità è molto importante. La spiegazione è che la qualità di questo modello determina le prestazioni complessive.
Il modello Zest, addestrato su questo piccolo set di dati attentamente curato, filtra quindi i dati più grandi per selezionare dati di alta qualità.
“La capacità di guidare il processo di selezione dei dati con una distribuzione di set di dati piccoli e ben curati è al centro del metodo Zest”, hanno affermato i ricercatori di DeepMind “Questo metodo riduce il tempo di addestramento dei modelli all’avanguardia 13 volte e riduce la potenza di calcolo richiesta del 90%. “Si può fare”, ha affermato.
Tuttavia, questo metodo dipende completamente dalla qualità dei dati di addestramento. Questo metodo non è valido a meno che non si disponga di un set di dati della massima qualità per pre-addestrare il modello Zest attraverso la cura umana.
Pertanto, il metodo Zest è molto difficile da seguire per gli sviluppatori di intelligenza artificiale dilettanti perché richiede competenze esperte per curare il massimo livello di dati.