Nel calcolo neurocomposizionale, le reti neurali sfruttano il Principio di composizionalità e il Principio di continuità.
L’officina di Dartmouth nel 1956 segnò la nascita dell’intelligenza artificiale come campo. Nell’ultimo decennio, il campo ha acquisito slancio grazie al deep learning. I recenti progressi nell’IA sono dovuti ai progressi dell’ingegneria tecnica che hanno portato a enormi miglioramenti nella quantità di risorse computazionali e dati di formazione. Tuttavia, i ricercatori Microsoft hanno dimostrato che gli ultimi progressi nell’intelligenza artificiale non sono dovuti solo a salti quantitativi nella potenza di calcolo, ma anche a cambiamenti qualitativi nel modo in cui viene distribuita la potenza di calcolo. I cambiamenti qualitativi hanno portato a un nuovo tipo di informatica che i ricercatori Microsoft chiamano informatica neurocompositiva.
Calcolo neurocomposizionale
Il documento di Microsoft, ” Neurocompositional computing: From the Central Paradox of Cognition to a new generation of AI systems “, discute come il neurocompositional computing può affrontare le sfide dell’IA come la mancanza di trasparenza e la debolezza nell’apprendimento delle conoscenze generali. I nuovi sistemi possono apprendere in modo più solido e comprensibile rispetto alle reti di deep learning standard.
Nel calcolo neurocomposizionale , le reti neurali sfruttano il Principio di composizionalità e il Principio di continuità. Il Principio di composizionalità afferma che le codifiche di informazioni complesse sono strutture che sono sistematicamente composte da codifiche strutturate più semplici. Un articolo di Stanford del 2014 intitolato “Bringing machine learning e semantica compositiva insieme”, ha affermato che questi concetti sono profondamente uniti attorno ai concetti di generalizzazione, significato e complessità strutturale. Le teorie semantiche basate sull’apprendimento uniscono due mondi. La composizionalità caratterizza la natura ricorsiva della capacità linguistica richiesta per generalizzaread una capacità creativa. L’apprendimento descrive in dettaglio le condizioni in cui tale capacità può essere acquisita dai dati. Il principio di composizionalità indirizza i ricercatori su strutture modello specifiche, mentre ML fornisce loro metodi per la formazione.
Il Principio di Continuità afferma che la codifica e l’elaborazione delle informazioni sono formalizzate con numeri reali che variano continuamente. Gli ultimi studi mostrano che la composizionalità potrebbe essere realizzata attraverso i metodi tradizionali del calcolo simbolico e attraverso nuove forme di calcolo neurale continuo. Un seminario di Stanford del 2020 sulla composizionalità e la visione artificiale ha dettagliato in che modo i recenti lavori sugli approcci alla visione artificiale hanno dimostrato che i concetti possono essere appresi solo da pochi esempi utilizzando una rappresentazione compositiva. Compositivitàconsente alle proposizioni simboliche di esprimere la struttura gerarchica ad albero delle frasi nel linguaggio naturale. Le attuali reti neurali mostrano una forma funzionale unica di composizionalità che potrebbe essere in grado di modellare il carattere compositivo della cognizione anche se i costituenti vengono alterati quando composti in un’espressione complessa.
Il calcolo neurale codifica le informazioni nei vettori di attivazione numerica, formando uno spazio vettoriale. Il vettore di attivazione codifica l’output dei risultati della diffusione dell’attivazione che codifica un input tra più strati di neuroni attraverso connessioni di diversa forza o peso, afferma il documento . In una rete neurale generale, i valori di questi pesi vengono impostati addestrando il modello su esempi di coppie input/output corrette. Ciò consente al modello di convergere verso pesi di connessione che producono l’output corretto quando viene fornito un input.
Il calcolo neurale segue anche il principio di continuità. Qui, la conoscenza delle informazioni codificate in un vettore si generalizza automaticamente a informazioni simili codificate nei vettori vicini. Ne risulta una generalizzazione basata sulla somiglianza. La continuità consente al deep learning di migliorare e modificare l’inferenza statistica di un modello degli output dagli input nel suo set di addestramento.
L’IA moderna è neurocompositiva?
Le tecniche prevalenti nel 20° secolo, simboliche e neurali non neurocomposizionali, violano uno dei due principi. L’intelligenza umana rispetta entrambi.
Tuttavia, le reti neurali convoluzionali (CNN) e i trasformatori hanno molto potenziale per una svolta. L’elaborazione CNN si basa sul principio di composizionalità utilizzando la struttura spaziale. Ad ogni livello, l’analisi dell’intera immagine deriva dal comporre insieme analisi di patch più grandi dell’analisi del livello precedente delle sue patch più piccole. Sia le CNN che i Transformer traggono gran parte del loro potere dalla loro struttura compositiva aggiuntiva di struttura spaziale e un tipo di struttura a grafo.
Le architetture CNN e Transformer rientrano nel calcolo neurocomposizionale 1G. Il lavoro di Microsoft mira a incorporare il Principio di composizionalità instillando capacità di rete per la costruzione e l’elaborazione esplicita di codifiche vettoriali di attivazione generali, astratte e strutturate in modo compositivo, pur rimanendo all’interno dei perimetri del calcolo neurale in allineamento con il Principio di continuità. Questo è il calcolo neurocomposizionale 2G.
