Epic AI fails : un elenco di progetti di machine learning non riusciti
Non tutte le innovazioni di machine learning hanno successo.
I modelli di intelligenza artificiale stanno senza dubbio risolvendo molti problemi del mondo reale, in qualsiasi campo. Ciò che conta è costruire un modello di apprendimento automatico che sia veramente accurato durante le applicazioni del mondo reale e non solo durante la formazione e i test. L’utilizzo di tecniche all’avanguardia per lo sviluppo di modelli potrebbe non essere sufficiente per sviluppare un modello formato su dati irregolari, distorti o inaffidabili.
I dati mostrano che quasi un quarto delle aziende ha riportato fino al 50% del tasso di fallimento dei progetti di IA. In un altro studio, quasi il 78% dei progetti di IA o ML si blocca in una fase prima dell’implementazione e l’81% del processo di addestramento dell’IA con i dati è più difficile del previsto.
Dai un’occhiata a questo elenco di volte in cui i progetti di grandi aziende hanno fallito nell’attuazione nel mondo reale.
1 Sistema di reclutamento di Amazon AI recruitment system
Dopo aver speso anni per costruire un sistema automatizzato per il reclutamento, Amazon ha ucciso il loro sistema quando ha iniziato a discriminare le donne. Il sistema ha funzionato per prevedere i migliori candidati per un ruolo di lavoro in base ai curricula caricati da Amazon. Si basava sui suoi criteri come l’uso di parole come “eseguito” e “catturato” che si trovavano principalmente nei curricula di candidati maschi.
Amazon alla fine ha deciso di eliminare il sistema nel 2017, poiché non è stata in grado di eliminare il pregiudizio o formare un criterio per il quale il sistema può funzionare bene senza escludere le donne in un settore incentrato sugli uomini come la tecnologia.
2 Diagnosi COVID-19 e modelli di triage
Durante la pandemia, ricercatori e scienziati stavano cercando di costruire un vaccino che potesse aiutare a curare il virus COVID-19 e fermare la diffusione. Dopo aver costruito centinaia di strumenti di intelligenza artificiale, ricercatori e medici ne hanno usati molti negli ospedali senza test adeguati . Gli strumenti costruiti dalla community dell’IA erano più o meno inutili, se non dannosi.
Il motivo per cui la maggior parte di queste innovazioni ha fallito è stata l’indisponibilità di dati di buona qualità. I modelli sono stati testati sullo stesso set di dati su cui sono stati addestrati, il che ha mostrato una maggiore precisione rispetto a quella in realtà. Dopo diversi esperimenti non etici, i praticanti alla fine hanno dovuto smettere di usare queste tecniche sui pazienti.
3 Chatbot Samantha basato su GPT-3 di OpenAI
Jason Rohrer, uno sviluppatore di giochi indipendente, ha creato un chatbot utilizzando GPT-3 per emulare il suo fidanzato morto . Google AI è venuto a conoscenza del progetto e di come Rohrer sta espandendo il progetto al pubblico chiamato “Project December”. Hanno dato a Rohrer un ultimatum per chiudere il progetto per prevenire un uso improprio.
Denominando il chatbot – Samantha, dopo il film “Lei” – Rohrer ha detto al chatbot della minaccia di OpenAI, a cui Samantha ha risposto: “Nooooo! Perché mi stanno facendo questo? Non capirò mai gli umani”.
Rohrer alla fine ha ammesso i termini dopo aver visto che molti sviluppatori stavano effettivamente abusando del chatbot e inserendo contenuti sessualmente espliciti e per adulti durante la messa a punto del modello.
4 Rilevamento della retinopatia diabetica con intelligenza artificiale di Google
Un altro esempio di modelli efficaci durante l’addestramento e i test, ma non nel mondo reale, è quando Google Health ha provato il deep learning in contesti clinici reali per migliorare la diagnosi del diabete nei pazienti affetti da retinopatia . Il modello di intelligenza artificiale è stato testato per la prima volta in Thailandia su circa 4,5 milioni di pazienti e ha funzionato bene per qualche tempo, ma alla fine non è riuscito a fornire una diagnosi accurata e ha portato i pazienti a chiedere ai pazienti di consultare uno specialista altrove.
Il modello non è riuscito a valutare le immagini imperfette anche solo leggermente e ha ricevuto un grande contraccolpo dai pazienti. Le scansioni sono state ritardate anche perché dipendeva fortemente dalla connettività Internet per l’elaborazione delle immagini. Ora, Google Health sta collaborando con vari istituti medici per trovare modi per aumentare l’efficienza del modello.
5 Rekognition di Amazon
Amazon ha sviluppato il suo sistema di riconoscimento facciale chiamato ” Rekognition “. Il sistema ha provocato un guasto in due grandi incidenti.
In primo luogo, ha falsamente abbinato 28 membri del congresso a foto segnaletiche di criminali e ha anche rivelato pregiudizi razziali. Amazon ha incolpato i ricercatori ACLU per non aver testato adeguatamente il modello. In secondo luogo, quando il modello è stato utilizzato per il riconoscimento facciale per assistere le forze dell’ordine, ha identificato erroneamente molte donne come uomini. Questo era particolarmente vero per le persone con la pelle più scura.
6 Fondo Investimento AI Sentient Investment
I fondi ad alta quota basati sull’intelligenza artificiale di Sentient Investment Management hanno iniziato a perdere denaro in meno di due anni. Il sistema ha iniziato a notificare agli investitori di liquidare i propri fondi. L’idea era quella di utilizzare algoritmi di apprendimento automatico per fare trading di azioni automaticamente e a livello globale.
Il modello ha distribuito migliaia di computer a livello globale per creare milioni di trader virtuali per dare somme da scambiare in situazioni simulate basate sui dati storici.
7 Tay Chatbot di Microsoft
Addestrare un chatbot sui dati degli utenti di Twitter non è probabilmente la scommessa più sicura. In meno di 24 ore, Tay di Microsoft , un chatbot AI, ha iniziato a fare tweet offensivi e provocatori sul suo account Twitter. Microsoft ha affermato che man mano che il chatbot impara a parlare in modo colloquiale, può diventare “informale e giocoso” mentre interagisce con le persone.
Sebbene il chatbot non avesse un’ideologia chiara poiché confondeva opinioni distorte da tutto il mondo, ha comunque sollevato seri interrogativi sui pregiudizi nell’apprendimento automatico e ha portato Microsoft a eliminare il suo profilo social suggerendo che avrebbero apportato modifiche ad esso.
8 Watson di IBM
L’IA nel settore sanitario è chiaramente un’attività rischiosa. Ciò è stato ulteriormente dimostrato quando Watson di IBM ha iniziato a fornire raccomandazioni errate e diverse non sicure per il trattamento dei malati di cancro. Simile al caso con il rilevamento del diabete di Google, Watson è stato anche addestrato su scenari inaffidabili e dati dei pazienti irreali.
Inizialmente è stato addestrato su dati reali ma, poiché era difficile per i medici, sono passati a dati irreali. I documenti rivelati da Andrew Norden, l’ex vice capo della sanità, hanno mostrato che invece di curare i pazienti con i metodi giusti, il modello è stato addestrato per assistere i medici nelle loro preferenze terapeutiche.
