In che modo le organizzazioni sfruttano l’analisi per creare una forza lavoro esperta di dati
Nel 2006, il popolare servizio di streaming Netflix ha lanciato un concorso da 1 milione di dollari, invitando ricercatori, studenti e matematici a tentare di migliorare l’algoritmo di raccomandazione di Netflix. Le regole per la competizione erano costruire un algoritmo che battesse Cinematch, l’algoritmo di base di Netflix del 10 percento. Oggi, molte persone mettono in dubbio l’utilità di questa competizione e dei concorsi algoritmici aperti nel suo insieme.
Il Premio Netflix
L’ex direttore tecnico di Netflix Xavier Amatriain crede che nel 2006 non esistesse Kaggle e l’open source quando è stato introdotto il Premio Netflix. E l’intelligenza artificiale (AI) era a malapena rilevante come lo sono oggi. Considerando questo, il Premio Netflix deve essere sembrata una brillante opportunità per molti programmatori.
Il set di formazione consisteva di circa 100 milioni di punti dati, tra cui un utente, un film, una data e una valutazione da una a cinque stelle. I partecipanti hanno anche avuto accesso a un set di dati di convalida pubblico più piccolo noto come “probe”, che aveva circa 1,5 milioni di punti dati senza alcuna valutazione. Infine, i partecipanti avevano due serie di test che nascondevano loro le valutazioni. Quindi, per testare il proprio algoritmo, dovrebbero sottoporre le loro previsioni a un test quiz, dopo di che otterrebbero indietro l’accuratezza misurata in un Root Mean Squared Error (RSME). Tuttavia, i premi annuali di progresso e il primo premio sono stati misurati rispetto a un set di test diverso.
Dopo circa tre anni di intensa collaborazione, Pragmatic Chaos di BellKor ha vinto il primo premio di 1 milione di dollari. Il team era ibrido , composto da KorBell (un gruppo di ricercatori della società di telecomunicazioni AT&T, che ha anche vinto il primo Progress Prize nel 2007, una pietra miliare nella competizione), il team austriaco Big Chaos e il team del Quebec Pragmatic Theory. I tre gruppi si sono uniti per migliorare i loro punteggi e alla fine superare il punteggio del 10 percento richiesto.
La Progress Prize Solution di Korbell ha utilizzato un insieme di una variazione della decomposizione del valore singolare (SVD) e delle macchine Boltzmann limitate (RBM). L’SVD aveva un RMSE di 0.8914, l’RBM 0.8990 e i due in miscela lineare hanno portato l’RMSE a 0.88 (0.8572 era richiesto sul set di prova per vincere il primo premio). Il progetto vincente, che il team ibrido ha sviluppato tre anni dopo, ha raggiunto questo obiettivo con un insieme di 104 set di predittori individuali creati da più gruppi e messi insieme da una rete neurale a strato singolo. L’algoritmo vincente ha superato il benchmark di Netflix di poco più del 10%.
È stato utile?
Sì e no.
Secondo Amatriain, la soluzione del Premio Progress 2007 è stata già sostanzialmente migliorata rispetto all’algoritmo Cinematch esistente di Netflix. Pertanto, Netflix ha messo insieme un team per produrre questo algoritmo, inclusa la riscrittura del codice, rendendolo scalabile e riqualificando in modo incrementale man mano che arrivavano nuove valutazioni. Tuttavia, il primo premio (con 104 algoritmi) alla fine è stato ritenuto uno sforzo ingegneristico troppo grande per la produzione per quello che Amatriain afferma sarebbe “Un piccolo guadagno in precisione che molto probabilmente non ne valeva la pena”. Una delle ragioni principali di ciò è stato il passaggio allo streaming a scapito del DVD-by-mail, che ha reso la previsione del consumo più essenziale rispetto alla previsione delle valutazioni.
Nonostante ciò, Amatriain afferma che non sarebbe corretto concludere che l’investimento di Netflix nella competizione non valesse il milione di dollari. Per prima cosa, afferma che assumere un singolo ingegnere della Silicon Valley per tre anni sarebbe costato a Netflix molto più di 1 milione di dollari. Inoltre, Netflix ha anche permesso a molti ingegneri e ricercatori di conversare e riflettere sul suo problema e ha avviato la sua innovazione in un tempo anche prima di Kaggle e dell’apertura intorno all’IA dell’ecosistema aperto.
Dato questo punto di vista, alcune persone trovano che l’innovazione ML alimentata da team esterni in competizione per il denaro sia un po’ uno sfruttamento. Alcune persone del settore hanno continuato a chiamarlo utilizzando “Lavoro non retribuito per creare modelli che non puoi produrre”.
Nonostante ciò, le competizioni di intelligenza artificiale hanno il potenziale per sviluppare soluzioni migliori. Ad esempio, Facebook ha recentemente lanciato la sfida NetHack, chiedendo ai partecipanti di costruire e addestrare sistemi di intelligenza artificiale in grado di battere il gioco in modo affidabile o di ottenere il punteggio più alto possibile. NetHack utilizza una semplice grafica ASCII ed è scritto principalmente in C, ma è etichettato come uno dei giochi più complicati del mondo. Tali giochi, e quindi tali sfide, consentono agli sviluppatori di estrarre set di dati dall’aspetto realistico per addestrare i loro algoritmi in cui gli sviluppatori potrebbero non trovare dati reali di alta qualità. Inoltre, giochi come NetHack utilizzano Reinforcement Learning (RL), che è vitale per i sistemi di controllo del traffico e lo sviluppo di veicoli autonomi, tra le altre cose. Pertanto, a volte, tali sfide possono aiutare a portare nuove soluzioni riducendo notevolmente i costi per gli sviluppatori.
Un’altra competizione utile potrebbe essere la competizione AI incentrata sui dati di Andrew Ng , che spera possa cambiare l’approccio decennale incentrato sul modello tenuto dagli sviluppatori di machine learning. I dati sono fondamentali per l’apprendimento automatico, ma i set di dati più piccoli affrontano dati più rumorosi mentre quelli più grandi sono difficili da etichettare. Pertanto, la concorrenza di Andrew Ng potrebbe consentire agli sviluppatori di apprendere come utilizzare i propri dati per creare sistemi più efficienti in modo ottimale. Tuttavia, è essenziale sottolineare che tali concorsi non dovrebbero essere un modo per esternalizzare i problemi di un’azienda per soluzioni più economiche.
Tornando al caso di Netflix, Amatriain afferma che lui, insieme a molte altre persone, potrebbe non aver mai iniziato a lavorare a Netflix se non fosse stato per il Premio Netflix; e Netflix difficilmente avrebbe innovato al ritmo con cui opera attualmente. Tuttavia, Amatriain sostiene anche che i concorsi algoritmici non possono essere l’unica priorità di un’azienda. Inoltre, è fondamentale che le organizzazioni siano responsabili di tali concorsi per garantire ai partecipanti i giusti incentivi e beneficiare di regole eque.
