Uno dei momenti salienti di Build, la conferenza annuale sullo sviluppo software di Microsoft, è stata la presentazione di uno strumento che utilizza il deep learning per generare codice sorgente per le applicazioni per ufficio. Lo strumento utilizza GPT-3, un enorme modello di linguaggio sviluppato da OpenAI lo scorso anno e reso disponibile a sviluppatori, ricercatori e startup selezionati in un’interfaccia di programmazione di applicazioni a pagamento.
Molti hanno pubblicizzato GPT-3 come la tecnologia di intelligenza artificiale di prossima generazione che inaugurerà una nuova generazione di applicazioni e startup. Dal rilascio di GPT-3, molti sviluppatori hanno trovato usi interessanti e innovativi per il modello di linguaggio. E diverse startup hanno dichiarato che utilizzeranno GPT-3 per costruire nuovi prodotti o potenziare quelli esistenti. Ma creare un’attività redditizia e sostenibile attorno a GPT-3 rimane una sfida.
Il primo prodotto Microsoft basato su GPT-3 fornisce importanti suggerimenti sul business dei modelli linguistici di grandi dimensioni e sul futuro della relazione sempre più profonda del gigante tecnologico con OpenAI.
Secondo il blog di Microsoft , “Per esempio, le nuove funzionalità AI-alimentati permetteranno un dipendente costruire un app di e-commerce per descrivere un obiettivo di programmazione utilizzando il linguaggio colloquiale come ‘trovare i prodotti in cui il nome che inizia con‘bambini’.’ Un bel Il modello GPT-3 sintonizzato [enfasi mia] offre quindi scelte per trasformare il comando in una formula Microsoft Power Fx, il linguaggio di programmazione open source della Power Platform.
Non ho trovato dettagli tecnici sulla versione ottimizzata di GPT-3 utilizzata da Microsoft. Ma ci sono generalmente due ragioni per mettere a punto un modello di deep learning . Nel primo caso, il modello non esegue l’attività di destinazione con la precisione desiderata, quindi è necessario perfezionarlo addestrandolo su esempi per quell’attività specifica.
Nel secondo caso, il modello può eseguire l’attività prevista, ma è inefficiente dal punto di vista computazionale. GPT-3 è un modello di deep learning molto ampio con 175 miliardi di parametri e i costi di esecuzione sono enormi. Pertanto, una versione più piccola del modello può essere ottimizzata per eseguire l’attività di generazione del codice con la stessa precisione a una frazione del costo computazionale. Un possibile compromesso sarà che il modello funzionerà male su altre attività (come rispondere alle domande). Ma nel caso di Microsoft, la sanzione sarà irrilevante.
In entrambi i casi, una versione perfezionata del modello di deep learning sembra essere in contrasto con l’idea originale discussa nel documento GPT-3 , giustamente intitolato “I modelli linguistici sono studenti di pochi colpi”.
Ecco una citazione dall’abstract dell’articolo: “Qui mostriamo che l’aumento dei modelli linguistici migliora notevolmente le prestazioni indipendenti dai compiti, a volte anche raggiungendo la competitività con i precedenti approcci di messa a punto all’avanguardia”. Ciò significa sostanzialmente che, se crei un modello linguistico sufficientemente grande , sarai in grado di eseguire molte attività senza la necessità di riconfigurare o modificare la tua rete neurale.
Quindi, qual è il punto del modello di apprendimento automatico a pochi colpi che deve essere messo a punto per nuove attività? È qui che i mondi della ricerca scientifica e dell’IA applicata si scontrano.
Ricerca accademica vs IA commerciale
C’è una linea chiara tra la ricerca accademica e lo sviluppo di prodotti commerciali . Nella ricerca accademica sull’IA, l’obiettivo è spingere i confini della scienza. Questo è esattamente ciò che ha fatto GPT-3. I ricercatori di OpenAI hanno dimostrato che con parametri e dati di addestramento sufficienti, un singolo modello di deep learning potrebbe svolgere diverse attività senza la necessità di riqualificazione. E hanno testato il modello su diversi popolari benchmark di elaborazione del linguaggio naturale.
Ma nello sviluppo di prodotti commerciali, non stai correndo contro benchmark come GLUE e SQuAD. Devi risolvere un problema specifico, risolverlo dieci volte meglio degli operatori storici ed essere in grado di eseguirlo su larga scala e in modo conveniente.
Pertanto, se si dispone di un modello di deep learning ampio e costoso in grado di eseguire dieci attività diverse con una precisione del 90%, è un grande risultato scientifico. Ma quando ci sono già dieci reti neurali più leggere che eseguono ciascuna di queste attività con una precisione del 99% e una frazione del prezzo, allora il tuo modello tuttofare non sarà in grado di competere in un mercato orientato al profitto.
Ecco un’interessante citazione dal blog di Microsoft che conferma le sfide dell’applicazione di GPT-3 a problemi aziendali reali: “Questa scoperta delle vaste capacità di GPT-3 ha esploso i confini di ciò che è possibile nell’apprendimento del linguaggio naturale”, ha affermato Eric Boyd, vicepresidente aziendale di Microsoft per IA di Azure. Ma c’erano ancora domande aperte sul fatto che un modello così ampio e complesso potesse essere implementato in modo conveniente su larga scala per soddisfare le esigenze aziendali del mondo reale [il corsivo è mio]”.
E a queste domande è stata data risposta con l’ottimizzazione del modello per quel compito specifico. Dal momento che Microsoft voleva risolvere un problema molto specifico, il modello GPT-3 completo sarebbe stato eccessivo e avrebbe sprecato risorse costose.
Pertanto, il semplice GPT-3 alla vaniglia è più un risultato scientifico che una piattaforma affidabile per lo sviluppo del prodotto. Ma con le risorse e la configurazione giuste, può diventare uno strumento prezioso per la differenziazione sul mercato, come sta facendo Microsoft.
Il vantaggio di Microsoft
In un mondo ideale, OpenAI avrebbe rilasciato i propri prodotti e generato entrate per finanziare la propria ricerca. Ma la verità è che sviluppare un prodotto redditizio è molto più difficile che rilasciare un servizio API a pagamento, anche se il CEO della tua azienda è Sam Altman, l’ex presidente di Y Combinator e una leggenda dello sviluppo del prodotto.
Ed è per questo che OpenAI ha arruolato l’aiuto di Microsoft, una decisione che avrà implicazioni a lungo termine per il laboratorio di ricerca sull’intelligenza artificiale. Nel luglio 2019, Microsoft ha effettuato un investimento di 1 miliardo di dollari in OpenAI, con alcuni vincoli.
Dal post sul blog di OpenAI che dichiarava l’investimento di Microsoft: “OpenAI sta producendo una sequenza di tecnologie AI sempre più potenti, che richiedono molto capitale per la potenza di calcolo. Il modo più ovvio per coprire i costi è costruire un prodotto, ma ciò significherebbe cambiare il nostro focus [ enfasi mia ]. Invece, intendiamo concedere in licenza alcune delle nostre tecnologie pre-AGI, con Microsoft che diventa il nostro partner preferito per la loro commercializzazione”.
Da solo, OpenAI avrebbe difficoltà a trovare un modo per entrare in un mercato esistente o creare un nuovo mercato per GPT-3.
D’altra parte, Microsoft ha già i pezzi necessari per abbreviare il percorso di OpenAI verso la redditività. Microsoft possiede Azure, la seconda infrastruttura cloud più grande, ed è in una posizione adatta per sovvenzionare i costi di formazione e di esecuzione dei modelli di deep learning di OpenAI.
Ma la cosa più importante, ed è per questo che penso che OpenAI abbia scelto Microsoft su Amazon, è la portata di Microsoft in diversi settori . Migliaia di organizzazioni e milioni di utenti utilizzano le applicazioni a pagamento di Microsoft come Office, Teams, Dynamics e Power Apps. Queste applicazioni forniscono piattaforme perfette per integrare GPT-3.
Il vantaggio di mercato di Microsoft è pienamente evidente nella sua prima applicazione per GPT-3. È un caso d’uso molto semplice rivolto a un pubblico non tecnico. Non dovrebbe fare una logica di programmazione complicata. Converte semplicemente le query in linguaggio naturale in formule di dati in Power Fx.
Questa banale applicazione è irrilevante per gli sviluppatori più esperti, che troveranno molto più facile digitare direttamente le loro domande piuttosto che descriverle in prosa. Ma Microsoft ha molti clienti nei settori non tecnologici e le sue Power Apps sono progettate per gli utenti che non hanno alcuna esperienza di programmazione o stanno imparando a programmare. Per loro, GPT-3 può fare un’enorme differenza e aiutare a ridurre la barriera allo sviluppo di applicazioni semplici che risolvono i problemi aziendali.
Microsoft ha un altro fattore che lavora a suo vantaggio. Ha assicurato l’accesso esclusivo al codice e all’architettura di GPT-3. Mentre altre aziende possono interagire con GPT-3 solo tramite l’API a pagamento, Microsoft può personalizzarlo e integrarlo direttamente nelle sue applicazioni per renderlo efficiente e scalabile.
Rendendo l’API GPT-3 disponibile per startup e sviluppatori, OpenAI ha creato un ambiente per scoprire tutti i tipi di applicazioni con modelli linguistici di grandi dimensioni. Nel frattempo, Microsoft era seduta, osservando tutti i diversi esperimenti con crescente interesse.
L’API GPT-3 serviva fondamentalmente come progetto di ricerca sui prodotti per Microsoft. Qualunque sia il caso d’uso che un’azienda trova per GPT-3, Microsoft sarà in grado di farlo più velocemente, in modo più economico e con una maggiore precisione grazie al suo accesso esclusivo al modello linguistico. Questo dà a Microsoft un vantaggio unico per dominare la maggior parte dei mercati che prendono forma intorno a GPT-3. Ed è per questo che penso che la maggior parte delle aziende che stanno costruendo prodotti sulla base dell’API GPT-3 siano destinate a fallire.
Il Fondo Startup OpenAI
E ora, Microsoft e OpenAI stanno portando la loro partnership al livello successivo. Alla Build Conference, Altman ha dichiarato un fondo da 100 milioni di dollari, l’ OpenAI Startup Fund , attraverso il quale investirà in società di intelligenza artificiale in fase iniziale.
“Abbiamo in programma di fare grandi scommesse anticipate su un numero relativamente piccolo di aziende, probabilmente non più di 10”, ha detto Altman in un video preregistrato riprodotto alla conferenza.
In che tipo di società investirà il fondo? “Stiamo cercando startup in campi in cui l’intelligenza artificiale può avere il più profondo impatto positivo, come l’assistenza sanitaria, i cambiamenti climatici e l’istruzione”, ha affermato Altman, a cui ha aggiunto: “Siamo anche entusiasti dei mercati in cui l’intelligenza artificiale può guidare grandi salti di produttività come l’assistenza personale e la ricerca semantica”. La prima parte sembra essere in linea con la missione di OpenAI di utilizzare l’IA per il miglioramento dell’umanità. Ma la seconda parte sembra essere il tipo di applicazioni redditizie che Microsoft sta esplorando.
Sempre dalla pagina del fondo : “Il fondo è gestito da OpenAI, con investimenti di Microsoft e di altri partner OpenAI. Oltre al capitale, le aziende del Fondo OpenAI Startup avranno accesso anticipato ai futuri sistemi OpenAI, supporto dal nostro team e crediti su Azure.
Quindi, in pratica, sembra che OpenAI stia diventando un proxy di marketing per il cloud Azure di Microsoft e aiuterà a individuare le startup AI che potrebbero qualificarsi per l’ acquisizione da parte di Microsoft in futuro. Ciò approfondirà la partnership di OpenAI con Microsoft e assicurerà che il laboratorio continui a ricevere finanziamenti dal gigante della tecnologia. Ma porterà anche OpenAI un passo avanti verso il diventare un’entità commerciale e infine una sussidiaria di Microsoft. In che modo ciò influenzerà l’obiettivo a lungo termine del laboratorio di ricerca della ricerca scientifica sull’intelligenza artificiale generale rimane una questione aperta.
