L’apprendimento contrastivo può essere applicato sia alle impostazioni supervisionate che auto-supervisionate.
Grazie all’applicazione dell’apprendimento contrastivo, l’apprendimento della rappresentazione auto-supervisionato è notevolmente progredito negli ultimi anni. È emersa come una tecnica diffusa tra ricercatori e sviluppatori per eseguire varie attività di immagine e video. La tecnica di apprendimento contrastivo insegna a un modello a mettere insieme le rappresentazioni di un’immagine target (nota anche come “ancora”) e un’immagine corrispondente (positiva) in immagini (negative). Si applica sia alle impostazioni supervisionate che a quelle auto-supervisionate.
Ad esempio, l’apprendimento supervisionato (utilizza dati etichettati) genera positivi da esempi esistenti della stessa classe, fornendo una maggiore variabilità nella pre-formazione ottenuta semplicemente aumentando l’ancora. D’altra parte, nell’apprendimento auto-supervisionato (senza dati etichettati), il positivo è spesso un aumento dell’ancora e i negativi vengono scelti per essere gli altri campioni del minibatch di addestramento.
Registrati per questa sessione gratuita>>
A causa del campionamento casuale nell’apprendimento auto-supervisionato , i falsi negativi possono causare un degrado della qualità della rappresentazione. Negli ultimi tempi sono stati proposti diversi metodi ottimali per affrontare questo problema e i ricercatori di tutto il mondo stanno ora cercando modi per sviluppare nuovi framework, librerie e strumenti per accelerare la comprensione di video e immagini.
Ecco alcuni dei migliori framework per l’apprendimento contrastivo.
SimCLR
Sviluppato da Google, SimCLR è un framework open source per l’avanzamento di modelli auto-supervisionati e semi-supervisionati per l’analisi delle immagini. Questo metodo non solo semplifica, ma migliora anche i precedenti approcci all’apprendimento della rappresentazione auto-supervisionato sulle immagini. Ad esempio, fa avanzare in modo significativo la SOTA sull’apprendimento auto-supervisionato e semi-supervisionato. Inoltre, raggiunge un nuovo record per la classificazione delle immagini con una quantità limitata di dati etichettati per classe, ovvero l’85,8% di precisione top-5 utilizzando l’1% delle immagini etichettate sul set di dati ImageNet .
La semplicità di questo approccio è che può essere facilmente incorporato nelle pipeline di apprendimento supervisionato esistenti. Google ha rilasciato l’ultima versione, SimCLRv2, introdotta nel documento di ricerca “I grandi modelli auto-supervisionati sono forti studenti semi-supervisionati “. L’algoritmo di apprendimento semi-supervisionato proposto in questo studio può essere riassunto in tre fasi:
Pre-addestramento senza supervisione di un grande modello ResNet utilizzando SimCLRv2
Messa a punto supervisionata su alcuni esempi etichettati
Distillazione con esempi non etichettati per raffinare e trasferire la conoscenza specifica del compito
Il codice sorgente dell’architettura SimCLRv2 è disponibile su GitHub .
Lightly
Lightly è un framework di visione artificiale per l’apprendimento auto-supervisionato. Con questo, puoi addestrare modelli di deep learning utilizzando l’auto-supervisione. In altre parole, non sono necessarie etichette per addestrare un modello. Il framework è stato creato per aiutarti a comprendere e lavorare con grandi set di dati senza etichetta. Basato su PyTorch, Lightly è completamente compatibile con altri framework come Fast.ai.
Nell’ultimo aggiornamento, Lightly ha integrato il supporto per l’apprendimento attivo in combinazione con la piattaforma Lightly. Con l’aiuto di questo, ora puoi creare incorporamenti dei tuoi dati non etichettati e combinarli con le previsioni del modello per selezionare il campione più prezioso per l’etichettatura.
OWOD
Sviluppato da ricercatori dell’IIT Hyderabad; Università di AI, Emirati Arabi Uniti; Università Nazionale Australiana, Australis; e Linkoping University, Svezia, il team ha introdotto un solido protocollo di valutazione e ha fornito una nuova soluzione, chiamata ORE: Open World Object Detector ( OWOD ), basata sul raggruppamento contrastivo e sull’identificazione sconosciuta basata sull’energia.
Nel loro esperimento, i ricercatori hanno analizzato l’efficacia di ORW nel raggiungimento degli obiettivi del mondo aperto. Di conseguenza, hanno scoperto che l’identificazione e la caratterizzazione di istanze sconosciute li ha aiutati a ridurre la confusione in un’impostazione di rilevamento di oggetti incrementale. Hanno ottenuto prestazioni SOTA senza alcuno sforzo metodologico aggiuntivo.
TensorFlow Similarity
TensorFlow Similarity è una libreria TensorFlow per l’apprendimento per similarità. Viene anche chiamato apprendimento metrico e apprendimento contrastivo. La piattaforma offre un algoritmo SOTA per l’apprendimento metrico e tutti i componenti necessari per ricercare, addestrare, valutare e servire modelli basati sulla somiglianza.
TensorFlow Similarity è attualmente in una fase di beta testing e supporta la formazione supervisionata. Nei prossimi mesi, mira a supportare sia l’apprendimento semi-supervisionato che quello auto-supervisionato.
solo-learn
solo-learn è una libreria di metodi auto-supervisionati per l’apprendimento non supervisionato della rappresentazione visiva alimentato da PyTorch Lightning. La biblioteca mira a fornire metodi SOTA auto-supervisionati in un ambiente comparabile, implementando allo stesso tempo trucchi di formazione. Inoltre, poiché la libreria è autonoma, è possibile utilizzare i modelli al di fuori del solo-learn.
CURL
CURL , o rappresentazioni contrastive non supervisionate per l’apprendimento del rinforzo, estrae le caratteristiche di alto livello dai pixel grezzi utilizzando l’apprendimento contrastivo ed esegue il controllo fuori politica sulle caratteristiche estratte. Ha superato i metodi dei pixel precedenti – basati su modello e senza modello – su attività complesse in DeepMind Control Suite e Atari Games, mostrando guadagni di prestazioni 1,9x e 1,2x nell’ambiente 100K e nei benchmark dei passaggi di interazione.
CURL è il primo algoritmo basato su immagini che corrisponde quasi all’efficienza del campione dei metodi che utilizzano funzionalità basate sullo stato su DeepMind Control Suite. Il codice open source è disponibile su GitHub .
ContrastiveSeg
Ispirato dall’apprendimento della rappresentazione contrastiva non supervisionata, ContrastiveSeg offre una struttura contrastiva pixel-wise per la segmentazione semantica in un ambiente completamente supervisionato. Impone che gli incorporamenti di pixel appartenenti alla stessa classe semantica siano più simili degli incorporamenti di altre classi. Inoltre, solleva un paradigma di apprendimento metrico pixel-wise per la segmentazione semantica esplorando le strutture dei pixel etichettati. ContrastiveSeg può essere facilmente integrato nel framework di segmentazione esistente senza costi aggiuntivi durante i test.
Controlla il codice sorgente di ContrastiveSeg su GitHub .
SalesForce PCL
Sviluppato da SalesForce Research, l’apprendimento contrastivo prototipico (PCL) è un metodo di apprendimento della rappresentazione non supervisionato che collega l’apprendimento contrastivo con il clustering. Non solo apprende le funzionalità di basso livello per il compito di discriminazione delle istanze, ma codifica anche le strutture semantiche scoperte dal raggruppamento nello spazio di inclusione appreso.
PCL ha superato i metodi di apprendimento contrastivo per istanze SOTA su più benchmark con un miglioramento sostanziale nell’apprendimento del trasferimento a bassa risorsa. Controlla il codice e i modelli pre-addestrati su GitHub .
