Quando una domanda viene presentata a un algoritmo di intelligenza artificiale (AI), deve essere convertita in un formato comprensibile per l’algoritmo. Questo è spesso chiamato ” incorporare un problema”, per usare la forma verbale della parola. Gli scienziati usano anche la parola come sostantivo e parlano di un “incorporamento”.
Nella maggior parte dei casi, gli incorporamenti sono raccolte di numeri. Sono spesso disposti in un vettore per semplificare la loro rappresentazione. A volte vengono presentati come una matrice quadrata o rettangolare per consentire un lavoro matematico.
Gli incorporamenti sono costruiti da dati grezzi che possono essere informazioni numeriche audio, video o testuali. Praticamente tutti i dati di un esperimento o di un sensore possono essere convertiti in un incorporamento in qualche forma.
In alcuni casi, è un processo ovvio. Numeri come temperature o tempi possono essere copiati praticamente alla lettera. Possono anche essere arrotondati, convertiti in un diverso insieme di unità (diciamo Celsius da Fahrenheit), normalizzati o ripuliti da semplici errori.
In altri casi, è un misto di arte e conoscenza. Gli algoritmi prendono le informazioni grezze e cercano caratteristiche e modelli salienti che potrebbero aiutare a rispondere alla domanda in questione per l’IA. Ad esempio, un’auto a guida autonoma può cercare schemi ottagonali per identificare i segnali di stop. Allo stesso modo, un algoritmo di testo può cercare parole che generalmente hanno una connotazione arrabbiata in modo da poter valutare il sentimento di un’affermazione.
Qual è la struttura di un incorporamento AI?
L’algoritmo di incorporamento trasforma questi file grezzi in raccolte di numeri più semplici. Questo formato numerico per il problema è solitamente una semplificazione deliberata dei diversi elementi del problema. È progettato in modo che i dettagli possano essere descritti con un insieme di numeri molto più piccolo. Alcuni scienziati affermano che il processo di incorporamento passa da un formato grezzo sparso di informazioni a un formato di incorporamento denso di informazioni.
Questo vettore più breve non deve essere confuso con i file di dati grezzi più grandi, che in definitiva sono tutti solo raccolte di numeri. Tutti i dati sono numerici in qualche modo perché i computer sono pieni di porte logiche che possono prendere decisioni solo in base al numero.
Gli incorporamenti sono spesso alcuni numeri importanti: un succinto incapsulamento dei componenti importanti nei dati. L’analisi di un problema sportivo, ad esempio, può ridurre ogni voce di un giocatore all’altezza, al peso, alla velocità di scatto e al salto verticale. Uno studio sul cibo può ridurre ogni potenziale voce di menu alla sua composizione di proteine, grassi e carboidrati.
La decisione di cosa includere o escludere in un incorporamento è sia un’arte che una scienza. In molti casi, questa struttura è un modo per gli esseri umani di aggiungere la loro conoscenza dell’area problematica e tralasciare le informazioni estranee mentre guidano l’IA al cuore della questione. Ad esempio, un embedding può essere strutturato in modo che uno studio sugli atleti possa escludere il colore dei loro occhi o il numero di tatuaggi.
In alcuni casi, gli scienziati iniziano deliberatamente con quante più informazioni possibili e poi lasciano che l’algoritmo cerchi i dettagli più salienti. A volte la guida umana finisce per escludere dettagli utili senza riconoscere il pregiudizio implicito che ciò provoca.
In che modo gli incorporamenti sono distorti?
Gli algoritmi di intelligenza artificiale sono validi solo quanto i loro incorporamenti nel loro set di addestramento e i loro incorporamenti sono buoni solo quanto i dati al loro interno. Se c’è una distorsione nei dati grezzi raccolti, gli incorporamenti costruiti da essi, almeno, rifletteranno tale distorsione.
Ad esempio, se un set di dati viene raccolto da una città, conterrà solo informazioni sulle persone in quella città e porterà con sé tutte le idiosincrasie della popolazione. Se gli incorporamenti costruiti da questi dati vengono utilizzati solo su questa città, i pregiudizi si adatteranno alle persone. Ma se i dati vengono utilizzati per adattarsi a un modello utilizzato per molte altre città, i pregiudizi potrebbero essere molto diversi.
A volte i pregiudizi possono insinuarsi nel modello attraverso il processo di creazione di un incorporamento. Gli algoritmi riducono la quantità di informazioni e la semplificano. Se questo elimina qualche elemento cruciale, il pregiudizio aumenterà.
Esistono alcuni algoritmi progettati per ridurre i pregiudizi noti. Ad esempio, un set di dati può essere raccolto in modo imperfetto e può sovrarappresentare, ad esempio, il numero di donne o uomini nella popolazione generale. Forse solo alcuni hanno risposto a una richiesta di informazioni o forse i dati sono stati raccolti solo in un luogo di parte. La versione incorporata può escludere casualmente alcuni dei set sovrarappresentati per ripristinare un equilibrio generale.
C’è qualcosa che si può fare contro i pregiudizi?
In aggiunta a questo, ci sono alcuni algoritmi progettati per aggiungere equilibrio a un set di dati. Questi algoritmi utilizzano tecniche statistiche e intelligenza artificiale per identificare i modi in cui esistono correlazioni pericolose o distorte nel set di dati. Gli algoritmi possono quindi eliminare o ridimensionare i dati e rimuovere alcune distorsioni.
Uno scienziato esperto può anche progettare gli incorporamenti per indirizzare la risposta migliore. Gli esseri umani che creano gli algoritmi di incorporamento possono scegliere e scegliere approcci in grado di ridurre al minimo il potenziale di bias. Possono omettere alcuni elementi di dati o ridurne al minimo gli effetti.
Tuttavia, ci sono dei limiti a ciò che possono fare per i set di dati imperfetti. In alcuni casi, il bias è un segnale dominante nel flusso di dati.
Quali sono le strutture più comuni per gli incastri?
Gli incorporamenti sono progettati per essere rappresentazioni ad alta densità di informazioni del set di dati studiato. Il formato più comune è un vettore di numeri in virgola mobile. I valori sono scalati, a volte logaritmicamente, in modo che ogni elemento del vettore abbia un intervallo di valori simile. Alcuni scelgono valori compresi tra zero e uno.
Un obiettivo è garantire che le distanze tra i vettori rappresentino la differenza tra gli elementi sottostanti. Ciò può richiedere un processo decisionale astuto. Alcuni elementi di dati potrebbero essere eliminati. Altri possono essere ridimensionati o combinati.
Sebbene ci siano alcuni elementi di dati come temperature o pesi che sono naturalmente numeri a virgola mobile su scala assoluta, molti elementi di dati non si adattano direttamente a questo. Alcuni parametri sono valori booleani, ad esempio se una persona possiede un’auto. Altri sono tratti da un insieme di valori standard, ad esempio il modello, la marca e l’anno modello di un’auto.
Una vera sfida è convertire il testo non strutturato in vettori incorporati. Un algoritmo comune consiste nel cercare la presenza o l’assenza di parole non comuni. Cioè, parole che non sono verbi di base, pronomi o altre parole colla usate in ogni frase. Alcuni degli algoritmi più complessi includono Word2vec, Latent Semantic Analysis (LSA), Latent Dirichlet Allocation (LDA) e – Biterm Topic Model (BTM).
Ci sono standard per gli incorporamenti?
Man mano che l’IA è diventata più comune e popolare, gli scienziati hanno creato e condiviso alcuni algoritmi di incorporamento standard. Queste versioni, spesso protette da licenze open source, sono spesso sviluppate da ricercatori universitari che le condividono per accrescere la conoscenza.
Altri algoritmi provengono direttamente dalle aziende. Stanno effettivamente vendendo non solo i loro algoritmi di apprendimento AI, ma anche gli algoritmi di incorporamento per la pre-elaborazione dei dati.
Alcuni standard più noti sono:
Object2vec – Da SageMaker di Amazon. Questo algoritmo trova le parti più salienti di qualsiasi oggetto dati e le conserva. È progettato per essere altamente personalizzabile, in modo che lo scienziato possa concentrarsi sui campi di dati importanti.
Word2vec : Google ha creato Word2vec analizzando la lingua e trovando un algoritmo che converte le parole in incorporamenti vettoriali analizzando il contesto e creando incorporamenti che catturano i modelli semantici e sintattici. È addestrato in modo che le parole con significati simili finiscano con incorporamenti vettoriali simili.
I ricercatori di GloVe – Stanford hanno creato questo algoritmo che prova analizzando i dati sull’uso delle parole in tutto il mondo. Il nome è l’abbreviazione di vettori globali.
Inception : questo modello utilizza una rete neurale convoluzionale per analizzare direttamente le immagini e quindi produrre incorporamenti in base al contenuto. I suoi principali autori provenivano da Google e da diverse importanti università.
In che modo i leader di mercato creano incorporamenti per i loro algoritmi di intelligenza artificiale?
Tutte le principali società informatiche hanno forti investimenti nell’intelligenza artificiale e anche negli strumenti necessari per supportare gli algoritmi. La pre-elaborazione dei dati e la creazione di incorporamenti personalizzati è un passaggio fondamentale.
SageMaker di Amazon, ad esempio, offre una potente routine, Object2Vec , che converte i file di dati in incorporamenti in modo personalizzabile. L’algoritmo impara anche mentre avanza, adattandosi al set di dati per produrre un insieme coerente di vettori di incorporamento. Supportano anche diversi algoritmi focalizzati su dati non strutturati come BlazingText per estrarre utili vettori di incorporamento da file di testo di grandi dimensioni.
Il progetto TensorFlow di Google supporta un codificatore di frasi universali per fornire un meccanismo standard per convertire il testo in incorporamenti. I loro modelli di immagine sono anche pre-addestrati per gestire alcuni oggetti e funzionalità standard presenti nelle immagini. Alcuni li usano come base per l’addestramento personalizzato sui loro particolari set di oggetti nel loro set di immagini.
Il team di ricerca sull’intelligenza artificiale di Microsoft offre un ampio supporto per una serie di modelli di incorporamento universali per il testo. Il loro modello Multitask, Deep Neural Network , ad esempio, mira a creare modelli forti che siano coerenti anche quando si lavora con il linguaggio utilizzato in domini diversi. Il loro modello DeBERT utilizza più di 1,5 miliardi di parametri per catturare molte delle complessità del linguaggio naturale. Le versioni precedenti sono anche integrate con lo strumento AutomatedML per un utilizzo più semplice.
IBM supporta una varietà di algoritmi di incorporamento, inclusi molti standard. Il loro algoritmo Quantum Embedding è stato ispirato da parti della teoria usata per descrivere le particelle subatomiche. È progettato per preservare i concetti logici e la struttura durante il processo. Il loro approccio MAX-Word utilizza l’algoritmo Swivel per preelaborare il testo come parte della formazione per il loro progetto Watson.
In che modo le startup prendono di mira gli incorporamenti di intelligenza artificiale?
Le startup tendono a concentrarsi su aree ristrette del processo in modo che possano fare la differenza. Alcuni lavorano sull’ottimizzazione dell’algoritmo di incorporamento stesso e altri si concentrano su domini o aree applicate particolari.
Un’area di grande interesse è la creazione di buoni motori di ricerca e database per l’archiviazione degli incorporamenti in modo che sia facile trovare le corrispondenze più vicine. Aziende come Pinecone.io , Milvus , Zilliz ed Elastic stanno creando motori di ricerca specializzati nella ricerca vettoriale in modo che possano essere applicati ai vettori prodotti dagli algoritmi di incorporamento. Semplificano inoltre il processo di incorporamento, spesso utilizzando librerie open source comuni e algoritmi di incorporamento per l’elaborazione del linguaggio naturale.
Intent AI vuole sbloccare la potenza delle connessioni di rete scoperte nei dati di marketing proprietari. I loro algoritmi di incorporamento aiutano gli esperti di marketing ad applicare l’IA per ottimizzare il processo di abbinamento tra acquirenti e venditori.
H20.ai crea uno strumento automatizzato per aiutare le aziende ad applicare l’IA ai loro prodotti. Lo strumento contiene una pipeline di creazione del modello con algoritmi di incorporamento predefiniti come inizio. Gli scienziati possono anche acquistare e vendere le funzionalità del modello utilizzate nella creazione di incorporamento tramite il loro negozio di funzionalità .
La piattaforma Rosette di Basis Technology offre un modello statistico pre-addestrato per identificare e contrassegnare le entità in linguaggio naturale. Integra questo modello con un indicizzatore e un software di traduzione per fornire una soluzione pan-lingua.
C’è qualcosa che non può essere incorporato?
Il processo di conversione dei dati negli input numerici per un algoritmo AI è generalmente riduttivo. Cioè, riduce la quantità di complessità e dettagli. Quando ciò distrugge parte del valore necessario nei dati, l’intero processo di addestramento può fallire o almeno non riuscire a catturare tutte le variazioni avanzate.
In alcuni casi, il processo di incorporamento può portare con sé tutta la distorsione. Il classico esempio di fallimento dell’allenamento dell’IA è quando all’algoritmo viene chiesto di fare una distinzione tra le foto di due diversi tipi di oggetti. Se una serie di foto viene scattata in una giornata di sole e l’altra in una giornata nuvolosa, le sottili differenze nell’ombreggiatura e nella colorazione possono essere rilevate dall’algoritmo di addestramento dell’IA. Se il processo di incorporamento supera queste differenze, l’intero esperimento produrrà un modello di intelligenza artificiale che ha imparato a concentrarsi sull’illuminazione anziché sull’oggetto.
Ci saranno anche alcuni set di dati veramente complessi che non possono essere ridotti a una forma più semplice e gestibile. In questi casi, è necessario distribuire algoritmi diversi che non utilizzano incorporamenti.
