Proprio come l’apprendimento per rinforzo, anche l’apprendimento autosupervisionato o non supervisionato è stato testimone di vari nuovi modelli nel 2022. Eccone alcuni
Mentre i ricercatori continuano a dibattere sull’apprendimento auto-supervisionato e sull’apprendimento per rinforzo , è chiaro che entrambi i campi stanno facendo notevoli progressi, dal momento che il 2022 ha visto enormi innovazioni in entrambi questi campi.
Yann LeCun , il guru dell’apprendimento auto-supervisionato, ha affermato: “L’apprendimento per rinforzo è come una ciliegina sulla torta, l’apprendimento supervisionato è la ciliegina sulla torta e l’apprendimento auto-supervisionato è la torta”.
Dai un’occhiata a questo elenco dei primi 10 modelli autocontrollati nel 2022.
Meta AI ha rilasciato l’ algoritmo data2vec a gennaio per i modelli di computer vision relativi a voce, visione e testo. Inizialmente pubblicato come concorso per compiti di PNL, data2vec non utilizza l’apprendimento contrastante né si basa sulla ricostruzione dell’esempio di input. Il team ha affermato che data2vec viene addestrato fornendo una vista parziale dei dati di input e prevedendo le rappresentazioni del modello.
ConvNext
Conosciuto anche come modello ConvNet per gli anni 2020, ConvNext è stato proposto dal team Meta AI a marzo. È costruito interamente dai moduli ConvNet ed è quindi accurato, semplice nel design e scalabile.
VICreg
La regolarizzazione della varianza-invarianza-covarianza (VICReg) combina il termine di varianza e un meccanismo di decorrelazione basato sulla riduzione della ridondanza insieme alla regolarizzazione della covarianza per evitare il problema del collasso dell’encoder che emette vettori costanti.
STEGO
Computer Science and AI Lab del MIT con Microsoft e la Cornell University hanno sviluppato il trasformatore autosupervisionato con ottimizzazione dei grafici basata sull’energia ( STEGO ) che scopre e localizza categorie semanticamente significative senza alcuna annotazione nei corpora dell’immagine. Utilizza un metodo di segmentazione semantica attraverso il quale etichetta ogni pixel in un’immagine.
CoBERT
Per l’apprendimento autonomo della rappresentazione vocale, i ricercatori dell’Università cinese di Hong Kong hanno proposto il codice BERT. A differenza di altri approcci di autodistillazione, il loro modello prevede le rappresentazioni da una modalità diversa. Il modello converte il parlato in una sequenza di codici discreti per l’apprendimento della rappresentazione.
FedX
Un framework di apprendimento federato non supervisionato proposto da Microsoft, con distillazione della conoscenza incrociata, FedX apprende la rappresentazione imparziale da dati locali eterogenei e decentralizzati impiegando la distillazione della conoscenza bilaterale e l’apprendimento contrastante. Inoltre, è un’architettura adattabile che può essere utilizzata come modulo aggiuntivo per vari algoritmi autocontrollati esistenti in impostazioni federate.
TriBYOL
L’Università di Hokkaido in Giappone ha proposto TriBYOL per l’apprendimento della rappresentazione autocontrollato per lotti di piccole dimensioni. Con questo metodo, i ricercatori non hanno bisogno di risorse computazionali pesanti che richiedono grandi dimensioni di batch per imparare una buona rappresentazione. Questa è una rete tripletta combinata con una perdita di visualizzazione tripla, migliorando così l’efficienza e superando diversi algoritmi autocontrollati su diversi set di dati.
ColloSSL
I ricercatori dei Nokia Bell Labs hanno collaborato con la Georgia Tech e l’Università di Cambridge per sviluppare ColloSSL, una struttura collaborativa e autocontrollata per il riconoscimento dell’attività umana. I set di dati di sensori senza etichetta acquisiti contemporaneamente da più dispositivi possono essere visti come trasformazioni naturali l’uno per l’altro e quindi generare un segnale per l’apprendimento della rappresentazione. Il documento presenta tre approcci: selezione del dispositivo, campionamento contrastante e perdita contrastiva multi-view.
LoRot
La Sungkyunkwan University ha proposto un semplice compito ausiliario di auto-supervisione che prevede la rotazione localizzabile (LoRot) con tre proprietà per assistere gli obiettivi supervisionati. In primo luogo, per guidare il modello nell’apprendimento di funzionalità avanzate. In secondo luogo, nessuna alterazione significativa nella distribuzione della formazione mentre si trasforma in auto-supervisione. E terzo, compiti leggeri e generici di elevata applicabilità sugli artt.
TS2Vec
Microsoft e la Peking University hanno presentato un framework universale per apprendere le rappresentazioni di serie temporali a un livello semantico arbitrario, TS2Vec. Il modello esegue l’apprendimento contrastante nella tecnica gerarchica su viste di contesto aumentate, consentendo una solida rappresentazione contestuale per i singoli timestamp. Il risultato ha mostrato un miglioramento significativo rispetto alla rappresentazione di serie temporali di apprendimento non supervisionato all’avanguardia.
