Il GPT-3 non così aperto di OpenAI può influire sulla sua efficacia
Con la recente scoperta di OpenAI del modello di linguaggio pre-addestrato GPT-3, l’azienda ha rivoluzionato il concetto di macchine che scrivono codici come gli esseri umani, un passo verso l’intelligenza artificiale generale. Non solo viene utilizzato per scrivere codici, ma anche per scrivere blog, creare storie, siti Web e app. In effetti, in notizie recenti, uno studente universitario ha creato un blog completamente falso utilizzando GPT-3 , che ha creato un enorme ronzio nella comunità ML ed è stato anche di tendenza su Hacker News.
Tali notizie faranno capire che GPT-3 , che è stato addestrato su enormi 175 miliardi di parametri, è stato una pietra miliare per il campo dell’apprendimento automatico. Detto questo, essendo una società senza scopo di lucro, tradizionalmente OpenAI ha sempre rilasciato i suoi algoritmi per aziende e sviluppatori da utilizzare; tuttavia, questo non è il caso di GPT-3. In effetti, per questo sorprendente strumento di previsione del linguaggio, l’azienda ha deciso di limitare l’accesso al proprio codice. Molto di questo potrebbe essere attribuito all’immenso potenziale che GPT-3 può avere non solo benefico ma anche pericoloso per l’umanità.
OpenAI poteva già stimare la potenza di questa innovativa innovazione e quindi, nel tentativo di limitare i suoi usi pericolosi, ha deciso di mantenere il controllo in mano non condividendo il backend del modello. Questa opacità, sebbene fornisse all’azienda un’ottima padronanza del modello, ne ostacolò senza dubbio l’efficacia. Inoltre, crea anche un limite estremo per le aziende e gli sviluppatori per replicare i risultati.
Infatti, OpenAI , pur rilasciando il modello, aveva dichiarato nel post sul blog dell’azienda che l’accesso all’API poteva essere facilmente interrotto se utilizzato per “casi d’uso dannosi”.
Come la mancanza di trasparenza può influire sulle prestazioni del modello
Mentre il tentativo di avere meno apertura sugli algoritmi GPT-3 risale al ragionamento della sicurezza contro le applicazioni pericolose, in realtà contraddice la visione dell’azienda così come l’etica scientifica della condivisione della conoscenza. Al che, la società ha dichiarato che non solo l’algoritmo è troppo complicato per gli sviluppatori su cui lavorare, ma anche mantenere il controllo offre loro la possibilità di monetizzare la loro ricerca.
Di solito, affinché una scoperta scientifica abbia successo e provi la sua accuratezza, doveva essere ripetuta in vari compiti. Tuttavia, la limitazione dell’accesso al codice dietro GPT-3 ha limitato ulteriori ricerche per migliorare l’accuratezza e l’efficacia del modello. L’azienda ha condiviso una spiegazione dettagliata del modello sul suo documento: ” I modelli linguistici sono studenti con pochi spunti “, ma in termini di ricerca con GPT-3 , gli sviluppatori sono limitati ai limiti di OpenAI.
In effetti, l’azienda ha recentemente trasformato il suo status di non profit grazie alla partnership con Microsoft , che ha permesso loro di commercializzare l’API, aprendo investimenti per l’azienda per svolgere la ricerca. L’azienda ha attribuito questo cambiamento ai milioni di dollari necessari per addestrare i modelli, e quindi gli investimenti sono fondamentali per ” attualizzare le missioni “.
Molti credono anche che limitando l’accesso al codice GPT-3, l’azienda neghi enormemente il concetto di democratizzazione dell’IA , che è la necessità del momento. È un dato di fatto, molti ricercatori stanno sostenendo di rendere l’IA accessibile agli utenti per un migliore sviluppo; tuttavia, limitare l’accesso agli algoritmi GPT-3 alla fine mette a rischio la conoscenza. Questo, a sua volta, metterà il potere nelle mani di poche aziende più grandi che hanno le risorse per costruire modelli di intelligenza artificiale, rendendolo inaccessibile per le aziende più piccole e le startup che non possono costruirlo o permetterselo.
Inoltre, mentre OpenAI predica continuamente che modelli più grandi possono portare risultati migliori, GPT presenta molti difetti , come la mancanza di comprensione semantica, nessun ragionamento causale, scarsa generalizzazione oltre il set di formazione, nonché pregiudizi con i suoi giudizi. Ciò dimostra quanto affermato da Sam Altman : “l’hype è troppo” senza mostrare risultati.
Infine, con GPT-3 utilizzato per una serie di motivi e per molte attività, si discute anche se OpenAI sarebbe in grado di tenere il passo con la scala e monitorare ogni caso d’uso prima di dare accesso all’API. Pertanto, ricercatori ed esperti ritengono che mantenere l’algoritmo non accessibile sia solo un altro modo per monetizzare esclusivamente gli sviluppi.
Con tali puntatori in mano, si può facilmente stabilire che i problemi non sono le carenze ma l’inaccessibilità del codice che può ridurre gli errori. Pertanto, per migliorare la sua efficacia, l’azienda deve comprendere l’importanza dell’open-sourcing del modello affinché ricercatori e sviluppatori possano replicarne ulteriormente i risultati.
