Incertezza, probabilità, set di dati infiniti, mancanza di causalità sono solo alcune delle numerose sfide dell’apprendimento automatico.
Mentre l’intelligenza artificiale e l’apprendimento automatico stanno risolvendo molti problemi del mondo reale, una completa comprensione di molti dei problemi “irrisolti” in questi campi è ostacolata a causa di limitazioni fondamentali che devono ancora essere risolte con finalità. Esistono vari domini nel campo dell’apprendimento automatico in cui gli sviluppatori si immergono in profondità e apportano piccoli miglioramenti incrementali. Tuttavia, le sfide per ulteriori progressi in questi campi persistono.
Una recente discussione su Reddit ha portato diversi sviluppatori del panorama AI/ML a parlare di alcuni di questi problemi “importanti” e “irrisolti” che, una volta risolti, probabilmente apriranno la strada a miglioramenti significativi in questi campi.
Previsione di incertezza
Probabilmente, l’aspetto più importante della creazione di un modello di apprendimento automatico è la raccolta di informazioni da fonti affidabili e abbondanti. I principianti nel campo dell’apprendimento automatico, che in precedenza hanno lavorato come scienziati informatici, devono affrontare la difficoltà di lavorare con informazioni imperfette o incomplete, cosa inevitabile sul campo.
“Dato che molti scienziati informatici e ingegneri del software lavorano in un ambiente relativamente pulito e sicuro, può essere sorprendente che l’apprendimento automatico faccia un uso massiccio della teoria della probabilità”, ha affermato Andyk Maulana nella sua serie di libri ” Computazione adattiva e apprendimento automatico “.
Le tre principali fonti di incertezza nell’apprendimento automatico sono:
Presenza di rumore nei dati : le osservazioni nell’apprendimento automatico sono denominate “campioni” o “istanza” che spesso consistono in variabilità e casualità che alla fine influiscono sull’output.
Copertura incompleta del dominio : modelli addestrati su osservazioni che sono per impostazione predefinita incomplete poiché consistono solo in un “campione” del più ampio set di dati irraggiungibile.
Modelli imperfetti : “Tutti i modelli sono sbagliati, ma alcuni sono utili”, ha affermato George Box . C’è sempre qualche errore in ogni modello.
Dai un’occhiata a un documento di ricerca di Francesca Tavazza sulla previsione dell’incertezza per i modelli di apprendimento automatico qui .
Tempo di convergenza e sistemi di apprendimento a risorse limitate
L’ottimizzazione del processo di formazione e quindi l’inferenza dei dati richiede una grande quantità di risorse. I problemi di ridurre il tempo di convergenza delle reti neurali e di richiedere sistemi a risorse limitate si contrastano a vicenda. Gli sviluppatori potrebbero essere in grado di creare una tecnologia rivoluzionaria nelle applicazioni ma che richiede enormi quantità di risorse come hardware, alimentazione, storage ed elettricità.
Ad esempio, i modelli linguistici richiedono grandi quantità di dati. L’obiettivo finale di raggiungere l’interazione a livello umano nei modelli richiede una formazione su vasta scala. Ciò significa un tempo di convergenza più lungo e la necessità di maggiori risorse per la formazione.
Un fattore chiave nello sviluppo di algoritmi di apprendimento automatico è il ridimensionamento della quantità di dati di input che, probabilmente, aumenta l’accuratezza di un modello. Ma per raggiungere questo obiettivo, il recente successo dei modelli di deep learning mostra l’importanza di processori e risorse più forti, risultando così in una continua destrezza tra i due problemi.
Fare clic qui per informazioni su come far convergere le reti neurali più velocemente.
Sovraccarico
I recenti generatori di testo a immagine come DALL-E o Midjourney mostrano le possibilità di come può apparire l’overfitting dei dati di input e di addestramento.
https://twitter.com/hausman_k/status/1511732395011194885?lang=it
L’overfitting , anch’esso un risultato del rumore nei dati, si verifica quando un modello di apprendimento rileva fluttuazioni casuali nei dati di addestramento e li tratta come concetti del modello risultando in errori e incidendo sulla capacità del modello di generalizzare.
Per contrastare questo problema, la maggior parte dei modelli non parametrici e non lineari include tecniche e parametri guida di input per limitare la portata dell’apprendimento del modello. Anche allora, in pratica, inserire un set di dati perfetto in un modello è un compito difficile. Due tecniche suggerite per limitare i dati di overfitting sono:
Utilizzo di tecniche di ricampionamento per misurare l’accuratezza del modello : la “convalida incrociata K-fold” è la tecnica di campionamento più popolare che consente agli sviluppatori di addestrare e testare modelli più volte con diversi sottoinsiemi di dati di addestramento.
Trattenere il set di dati di convalida : dopo aver ottimizzato l’algoritmo di apprendimento automatico sul set di dati iniziale, gli sviluppatori immettono un set di dati di convalida per raggiungere l’obiettivo finale del modello e verificare come il modello si comporterebbe su dati non visti in precedenza.
Stima della causalità invece delle correlazioni
Le inferenze causali giungono all’uomo in modo naturale. Gli algoritmi di apprendimento automatico come le reti neurali profonde sono ottimi per analizzare i modelli in enormi set di dati, ma faticano a fare inferenze causali. Ciò si verifica in campi come la visione artificiale, la robotica e le auto a guida autonoma in cui i modelli, sebbene in grado di riconoscere i modelli, non comprendono le proprietà ambientali fisiche degli oggetti, con il risultato di fare previsioni sulle situazioni e non affrontare attivamente situazioni nuove.
I ricercatori del Max Planck Institute for Intelligent Systems insieme a Google Research hanno pubblicato un articolo: Towards Causal Representation Learning , che parla delle sfide negli algoritmi di apprendimento automatico dovute alla mancanza di rappresentazione causale. Secondo i ricercatori, per contrastare l’assenza di causalità nei modelli di apprendimento automatico, gli sviluppatori cercano di aumentare la quantità di set di dati su cui vengono addestrati i modelli, ma non riescono a capire che questo alla fine porta a modelli che riconoscono i modelli e non “pensano” in modo indipendente.
Si ritiene che l’introduzione del ” bias induttivo ” nei modelli sia un passo verso la costruzione della causalità nelle macchine. Ma questo, probabilmente, può essere controproducente nella creazione di un’IA priva di pregiudizi.
Riproducibilità
Essendo AI/ML lo strumento più promettente in quasi tutti i campi, molti nuovi arrivati si sono tuffati direttamente in esso senza cogliere appieno le complessità dell’argomento. Sebbene la riproducibilità o la replicazione sia un risultato combinato dei problemi sopra menzionati, pone comunque grandi sfide per i nuovi modelli in via di sviluppo.
A causa della mancanza di risorse e della riluttanza a condurre studi approfonditi, molti degli algoritmi falliscono quando testati e implementati da altri ricercatori esperti . Le grandi aziende che offrono soluzioni hi-tech non sempre rilasciano pubblicamente i loro codici, facendo sperimentare da soli i nuovi ricercatori e proporre soluzioni per grandi problemi senza test rigorosi, quindi privi di affidabilità.
Fare clic qui per scoprire come la mancanza di riproducibilità nei modelli di apprendimento automatico stia rendendo rischioso il settore sanitario.
DI MOHIT PANDEY da analyticsindiamag.com
