Tutto quello che devi sapere su Graph Contrastive Learning
Il Graph Contrastive Learning mira ad apprendere la rappresentazione del grafico con l’aiuto dell’apprendimento contrastivo.
L’apprendimento auto-supervisionato di dati strutturati in grafi ha recentemente suscitato interesse nell’apprendimento di rappresentazioni generalizzabili, trasferibili e solide da grafi senza etichetta. Una tecnica Graph Contrastive Learning (GCL) genera prima numerose visualizzazioni di grafici mediante aumenti stocastici dell’input e quindi apprende le rappresentazioni confrontando campioni positivi con quelli negativi. In questo articolo, discuteremo l’aspetto teorico del Graph Contrastive Learning. Di seguito gli argomenti da trattare.
Sommario
Che cos’è l’apprendimento con contrasto grafico (GCL)?
Quando usare GCL?
Apprendimento autocontrollato
Come funziona?
Vantaggi e svantaggi di GCL
Applicazione di GCL
Iniziamo con un’introduzione a Graph Contrastive Learning e scopriamo perché non ha bisogno di annotazioni umane.
Che cos’è l’apprendimento con contrasto grafico?
Graph Contrastive Learning (GCL), come suggerisce il nome, contrasta i campioni di grafici e spinge quelli appartenenti alla stessa distribuzione l’uno verso l’altro nello spazio incorporato. D’altra parte, quelli appartenenti a distribuzioni diverse sono premuti l’uno contro l’altro.
La spina dorsale di questo metodo è l’ apprendimento contrastante . Impiega compiti proxy per guidare l’apprendimento delle rappresentazioni. L’attività proxy è progettata per prevedere qualsiasi parte dell’input da qualsiasi altra parte osservata.
L’apprendimento contrastivo è l’apprendimento auto-supervisionato in cui i punti dati senza etichetta sono affiancati per formare un modello di quali punti sono simili e quali sono diversi.
Quindi, un pattern contrastante generale che caratterizza lo spazio progettuale di interesse in quattro dimensioni
Funzioni di aumento dei dati,
Modalità contrastanti
Obiettivi contrastanti
Strategie minerarie negative
Stai cercando un repository completo di librerie Python utilizzate nella scienza dei dati, dai un’occhiata qui .
Quando usare GCL?
Poiché GCL mira ad apprendere la rappresentazione grafica con l’aiuto dell’apprendimento contrastivo. Viene utilizzato dove è necessario comprendere i nodi a bassa dimensione che incorporano informazioni sia strutturali che attributive.
Ad esempio, stiamo sviluppando un software di intelligenza artificiale per persone sorde come lingua dei segni e disponiamo di dati relativi alla rappresentazione grafica dei gesti delle mani. Ora ogni nodo della rappresentazione deve essere appreso per comprendere la lingua dei segni e rispondere nei segni.
Questi nodi sono chiamati a bassa dimensione perché hanno meno caratteristiche che devono essere apprese rispetto alle osservazioni. Quindi, per apprendere le informazioni strutturali e attributive di ciascuna rappresentazione grafica utilizzeremo GCL come modello di pre-training e per il modello target, possiamo utilizzare NN.
Poiché Graph Contrastive Learning utilizza Contrastive Learning, che è una tecnica auto-supervisionata, comprendiamo le basi dell’apprendimento auto-supervisionato.
Apprendimento autocontrollato
Il sistema impara ad anticipare una parte del suo input da altre parti del suo input nell’apprendimento auto-supervisionato. In altre parole, una parte dell’ingresso viene utilizzata come segnale di supervisione per un predittore che viene alimentato con il resto dei dati. Le reti neurali possono apprendere in due fasi quando si utilizza l’apprendimento auto-supervisionato:
I problemi con etichette errate possono essere gestiti per inizializzare il peso delle reti.
Il vero compito del processo può essere completato tramite l’apprendimento supervisionato o non supervisionato.
Perché l’apprendimento auto-supervisionato viene utilizzato in GCL?
A causa di tre punti principali, viene utilizzato l’apprendimento auto-supervisionato invece dell’apprendimento supervisionato.
Scalabilità: per prevedere il risultato di dati sconosciuti, l’approccio di apprendimento supervisionato richiede dati etichettati. Tuttavia, la creazione di modelli che generano buone previsioni potrebbe richiedere un vasto set di dati. L’etichettatura manuale dei dati richiede tempo ed è spesso poco pratica. È qui che l’apprendimento auto-supervisionato torna utile poiché automatizza il processo anche quando si tratta di enormi volumi di dati.
Funzionalità migliorate: l’apprendimento auto-supervisionato offre un’ampia gamma di applicazioni nella visione artificiale, tra cui colorazione, rotazione 3D, completamento della profondità e riempimento del contesto. Un’altra area in cui eccelle l’apprendimento auto-supervisionato è il riconoscimento vocale.
Intervento umano: le etichette vengono generate automaticamente dall’apprendimento auto-supervisionato senza la necessità dell’interazione umana.
Approfondiamo il concetto di Contrastive Learning e come viene utilizzato nel dominio dei grafi.
Come funziona?
L’obiettivo di GCL è creare diversi campioni del grafico di input e addestrare l’algoritmo per apprendere gli attributi a bassa dimensione della rappresentazione grafica che verranno quindi classificati in sottoinsiemi positivi e negativi.
Formulazione matematica
Un grafico di input con due proprietà primarie: l’insieme di nodi e l’insieme di archi. Durante l’addestramento, non vengono fornite informazioni sulla classe di nodi o grafici nel contesto dell’apprendimento della rappresentazione senza supervisione. Il nostro obiettivo è addestrare un codificatore GNN che prenda in input le caratteristiche e la struttura del grafico e crei incorporamenti di nodi a bassa dimensione.
Possiamo anche generare una rappresentazione a livello di grafico del grafo di input che aggrega incorporamenti a livello di nodo per attività orientate al grafo. Queste rappresentazioni possono essere impiegate in attività successive come la categorizzazione di nodi/grafi e la scoperta della comunità.
Gli aumenti stocastici vengono applicati ad ogni ciclo di addestramento per produrre diverse prospettive del grafico dal grafico di input. Analizzeremo due funzioni di aumento per costruire due viste del grafico con tutte le potenziali funzioni di trasformazione. Utilizziamo quindi un codificatore GNN comune per ottenere le rappresentazioni dei nodi per le due viste. Se lo si desidera, è possibile utilizzare una funzione di lettura per acquisire rappresentazioni del grafico per ciascuna vista del grafico.
La modalità contrastante definisce un insieme positivo e un insieme negativo per ogni nodo che incorpora “V” come istanza di ancoraggio. L’insieme positivo in un puro contesto di apprendimento non supervisionato consiste nell’incorporamento nelle due viste di grafi aumentate corrispondenti allo stesso nodo o grafo. Va notato che quando viene utilizzata la supervisione dell’etichetta, il set positivo può essere aumentato da campioni della stessa classe.
Inoltre, possiamo utilizzare algoritmi di mining negativi per migliorare il set di campioni negativi tenendo conto della relativa somiglianza dei campioni negativi. Infine, valutiamo questi accoppiamenti positivi e negativi definiti utilizzando un obiettivo contrastante.
Quindi, l’intero processo potrebbe essere suddiviso in quattro parti principali.
L’obiettivo dell’aumento dei dati è produrre campioni positivi congruenti che preservano l’identità da una determinata rete. La maggior parte del lavoro su GCL comporta approcci di aumento a due livelli come la trasformazione strutturale e la trasformazione delle caratteristiche.
Nel caso di un’ancora, le modalità contrastanti determinano gli insiemi positivi e negativi a varie granularità del grafico. Tre forme di lavoro contrastanti sono regolarmente utilizzate nel lavoro tradizionale.L’obiettivo di Local-Local CL è quello di contrastare le rappresentazioni a livello di nodo nei due punti di vista. L’ancora per l’incorporamento di un nodo è “V” e il campione positivo è la sua controparte congruente nell’altra prospettiva “U”; gli incorporamenti diversi da “U” vengono naturalmente scelti come negativi.
Global-Global CL garantisce che gli incorporamenti a livello di nodo e grafico siano compatibili. Ad esempio, se un’inclusione globale è l’istanza di ancoraggio, il campione positivo è costituito da tutti i suoi incorporamenti di nodi nella rete. Se la funzione di lettura è sufficientemente espressiva, lo schema globale-locale può essere utilizzato come surrogato del CL locale-locale.
Global-Local CL garantisce che gli incorporamenti del grafico delle due viste aumentate dallo stesso grafico siano coerenti. Il campione positivo per un grafico che incorpora “S1” è l’incorporamento “S2” dell’altra vista avanzata. Altri incorporamenti di grafici nel lotto sono considerati campioni negativi in questa situazione.
Lo spazio della modalità contrastante è determinato dalle attività successive. Per i set di dati dei nodi, sono appropriati solo CL locale-locale e globale-locale, ma i set di dati del grafico possono utilizzare tutte e tre le modalità. Per una migliore comprensione, fare riferimento all’illustrazione visiva precedente.
Per addestrare l’encoder, vengono impiegati obiettivi contrastanti per massimizzare l’accordo tra i campioni positivi e la disparità tra i negativi.
A parte l’istanza dell’ancora, gli incorporamenti di nodi o grafici sono distinti dall’ancora e quindi contemplano i negativi. Di conseguenza, è logico concludere che sono necessarie dimensioni di lotto/campionamento maggiori affinché l’ apprendimento del contrasto (CL) abbia successo per includere più negativi per fornire segnali di allenamento più utili. Questa viene definita strategia mineraria negativa .
Vantaggi e svantaggi di GCL
Diamo un’occhiata ai vantaggi e agli svantaggi di Graph Contrastive Learning.
Benefici
È un apprendimento autocontrollato, quindi non sono necessarie annotazioni umane.
Massimizzando le informazioni reciproche, GCL viene utilizzato per generare più viste dello stesso grafico.
Non dipende dalla qualità dei dati. Può funzionare con dati di bassa qualità.
Svantaggi
A causa dell’aumento dei dati, si verifica una perdita di informazioni.
Elevata probabilità di attacco contraddittorio a causa della natura discreta di archi e nodi nei grafici.
Overfitting speculativo dello studente.
Applicazione di GCL
Nella disciplina della botanica, GCL aiuta nella comprensione della struttura molecolare di vari campioni, che possono quindi essere ulteriormente classificati.
Grafico contrasto L’apprendimento aiuta nell’aggiunta di più colori a una determinata immagine.
La previsione sensibile al contesto è aiutata da GCL. Aiuta nel completamento del contesto se mancano alcuni elementi.
GCL potrebbe essere utilizzato come modello di pre-allenamento di un target. Si parla di trasmissione della conoscenza. Perché può funzionare con meno quantità di dati.
GCL viene utilizzato per determinare la connessione tra più patch in un’immagine.
Sentenze conclusive
Graph Contrasting Learning è un apprendimento auto-supervisionato che aumenta i dati e, in base all’aumento, apprende diversi attributi sui dati a livello radice. In questo articolo, abbiamo discusso la funzionalità di GCL che aiuta a capire i suoi processi indietro e dove implementare questo tipo di discente.
