La storia dello sviluppo dell’intelligenza artificiale (AI) negli ultimi cinque anni è stata dominata dalla scala. Sono stati compiuti enormi progressi nell’elaborazione del linguaggio naturale (PNL), nella comprensione delle immagini, nel riconoscimento vocale e altro ancora adottando strategie sviluppate a metà degli anni 2010 e inserendo più potenza di calcolo e più dati dietro di esse. Ciò ha determinato un’interessante dinamica di potenza nell’uso e nella distribuzione dei sistemi di intelligenza artificiale; uno che rende l’IA molto simile alla rete elettrica.
Per la NLP, più grande è davvero meglio
L’attuale stato dell’arte della NLP è alimentato da reti neurali con miliardi di parametri addestrati su terabyte di testo. Il semplice mantenimento di queste reti in memoria richiede più GPU all’avanguardia e l’addestramento di queste reti richiede cluster di supercomputer ben oltre la portata di tutte le organizzazioni tranne che delle più grandi.
Storie vere dal Lumen Edge: in che modo le reti ad alte prestazioni stanno accelerando l’innovazione nei settori hardware, software e dei servizi
Si potrebbe, usando le stesse tecniche, addestrare una rete neurale significativamente più piccola su una quantità notevolmente inferiore di testo, ma le prestazioni sarebbero significativamente peggiori. Tanto peggio, infatti, che diventa una differenza di natura invece che solo una differenza di grado; ci sono attività come la classificazione del testo, il riepilogo e l’estrazione di entità in cui i modelli linguistici di grandi dimensioni eccellono e i modelli linguistici piccoli non funzionano meglio del caso.
Come qualcuno che ha lavorato con le reti neurali per circa un decennio, sono sinceramente sorpreso da questo sviluppo. Non è ovvio da un punto di vista tecnico che aumentare il numero di parametri in una rete neurale porterebbe a un così drastico miglioramento delle capacità. Tuttavia, eccoci nel 2022, ad addestrare reti neurali quasi identiche alle architetture pubblicate per la prima volta nel 2017, ma con ordini di grandezza in più di calcolo e risultati migliori.
Questo indica una nuova e interessante dinamica nel campo. I modelli all’avanguardia sono troppo costosi dal punto di vista computazionale per quasi tutte le aziende, per non parlare di un individuo, da creare o addirittura distribuire. Affinché un’azienda possa utilizzare tali modelli, deve utilizzarne uno creato e ospitato da qualcun altro, in modo simile al modo in cui l’elettricità viene creata e distribuita oggi.
Condivisione dell’IA come se fosse un’utilità misurata
Ogni edificio per uffici ha bisogno di elettricità, ma nessun edificio per uffici può ospitare l’infrastruttura necessaria per generare la propria energia. Invece, vengono collegati a una rete elettrica centralizzata e pagano per l’energia che usano.
Allo stesso modo, molte aziende possono trarre vantaggio dall’integrazione della PNL nelle loro operazioni, anche se poche hanno le risorse per costruire i propri modelli di IA. Questo è esattamente il motivo per cui le aziende hanno creato modelli di intelligenza artificiale di grandi dimensioni e li hanno resi disponibili tramite un’API di facile utilizzo. Offrendo alle aziende un modo per “collegarsi” alla proverbiale rete elettrica NLP, il costo della formazione di questi modelli all’avanguardia su larga scala viene ammortizzato su vari clienti, consentendo loro così di accedere a questa tecnologia all’avanguardia , senza l’infrastruttura all’avanguardia.
Per fare un esempio concreto, supponiamo che un’azienda che archivia atti legali voglia visualizzare un riepilogo di ogni documento in suo possesso. Potrebbero assumere alcuni studenti di giurisprudenza per leggere e riassumere ogni documento da soli, oppure potrebbero sfruttare una rete neurale. Le reti neurali su larga scala che lavorano in tandem con il flusso di lavoro di uno studente di giurisprudenza aumenterebbero drasticamente l’efficienza nella sintesi. Formare uno da zero, tuttavia, costerebbe ordini di grandezza più di quanto non costerebbe assumere più studenti di giurisprudenza, ma se tale azienda avesse accesso a una rete neurale all’avanguardia tramite un’API basata su rete, potrebbe semplicemente collegarsi alla “rete elettrica” dell’IA e pagare per l’utilizzo del riepilogo.
Questa analogia ha alcune implicazioni interessanti se la seguiamo al suo estremo logico. L’elettricità è un’utilità, come l’acqua e le infrastrutture di trasporto. Questi servizi sono così cruciali per il funzionamento della nostra società che in Ontario (da dove scrivo) sono mantenuti con successo dalle corporazioni della corona (di proprietà e regolate dai governi federale o provinciale). Queste società della corona sono responsabili non solo dell’infrastruttura e della distribuzione, ma anche della valutazione e della garanzia della qualità, come i test di qualità dell’acqua.
Anche la regolamentazione dell’uso dell’IA è fondamentale
Inoltre, proprio come l’elettricità, questa tecnologia può essere utilizzata in modo improprio. È stato anche dimostrato che presenta diversi limiti e potenziali usi impropri. Ci sono state molte ricerche su come questi modelli possono potenzialmente causare danni tramite l’astroturfing e la propagazione di pregiudizi. Dato il modo in cui questa tecnologia è pronta a trasformare radicalmente il modo in cui operiamo, è importante considerare il suo organo di governo e la sua regolamentazione. Diversi fornitori di queste API NLP hanno recentemente rilasciato una serie di best practice per la distribuzione di questi modelli, ma questo è ovviamente solo un primo passo, basato su questo lavoro precedente.
Andrew Ng disse che “l’IA è la nuova elettricità”. Credo che volesse dire che alimenterà un’ondata di progresso e innovazione, diventando cruciale per il funzionamento della nostra economia con lo stesso impatto di scala dell’introduzione dell’elettricità. L’affermazione è forse un po’ iperbolica, ma potrebbe essere più azzeccata di quanto pensassi inizialmente. Se l’IA è la nuova elettricità, allora dovrà essere abilitata da una nuova serie di centrali elettriche.
