Modelli di base: il cambio di paradigma dell’IA del 2022
Il 2022 ha visto un’incredibile crescita dei modelli di base – modelli di intelligenza artificiale addestrati su vasta scala – una rivoluzione iniziata con BERT di Google nel 2018, che ha preso piede con GPT-3 di OpenAI nel 2020 ed è entrata nello zeitgeist con il testo DALL-E dell’azienda- generatore di immagini all’inizio del 2021.
Il ritmo è solo accelerato quest’anno e si è spostato saldamente nel mainstream , grazie alle sbalorditive possibilità di conversione da testo a immagine di DALL-E 2, Imagen e Midjourney di Google, nonché le opzioni per le applicazioni di visione artificiale di Microsoft Firenze e le opzioni multimodali di Gato di Deep Mind .
L’impatto in evoluzione dell’analisi dei grafici_
Quella velocità di sviluppo turbo, così come le preoccupazioni etiche sul pregiudizio dei modelli che l’accompagnano, è il motivo per cui un anno fa , l’Istituto di intelligenza artificiale incentrato sull’uomo di Stanford ha fondato il Center for Research on Foundation Models (CRFM) e ha pubblicato ” On the Opportunities and Risks of Foundation Models ” — un rapporto che ha dato un nome a questa potente trasformazione.
“Abbiamo coniato il termine ‘modelli di base’ perché sentivamo che doveva esserci un nome per coprire l’importanza di questo insieme di tecnologie”, ha affermato Percy Liang, professore associato di informatica alla Stanford University e direttore del CRFM.
Da allora, il progresso dei modelli di fondazione “ci ha reso più fiduciosi che questa fosse una buona mossa”, ha aggiunto. Tuttavia, ha anche portato a un crescente bisogno di trasparenza, che secondo lui è stato difficile da trovare.
“C’è confusione su cosa siano effettivamente questi modelli e cosa stiano facendo”, ha spiegato Liang, aggiungendo che il ritmo di sviluppo del modello è stato così veloce che molti dei modelli di base sono già commercializzati o sono alla base di sistemi puntuali che il pubblico è non a conoscenza, come la ricerca.
“Stiamo cercando di comprendere l’ecosistema, di documentare e confrontare tutto ciò che sta accadendo”, ha affermato.
I modelli di fondazione mancano di trasparenza
Il CRFM definisce un modello di base come un modello formato su dati ampi e che può essere adattato a un’ampia gamma di attività a valle.
“Si tratta di un unico modello come un pezzo di infrastruttura che è molto versatile”, ha affermato Liang, in netto contrasto con la precedente generazione di modelli che costruivano modelli su misura per diverse applicazioni.
“Si tratta di un cambio di paradigma nel modo in cui vengono create le applicazioni”, ha spiegato. “Puoi creare tutti i tipi di applicazioni interessanti che erano semplicemente impossibili, o almeno ci sono voluti mesi per costruire un enorme team di ingegneri”.
I modelli di fondazione come DALL-E e GPT-3 offrono nuove opportunità creative e nuovi modi di interagire con i sistemi, ha affermato Rishi Bommasani, Ph.D. studente nel dipartimento di informatica a Stanford la cui ricerca si concentra sui modelli di base.
“Una delle cose che stiamo vedendo, nel linguaggio, nella visione e nel codice, è che questi sistemi possono abbassare la barriera all’ingresso”, ha aggiunto. “Ora possiamo specificare le cose in linguaggio naturale e quindi consentire a una classe di persone molto più ampia”.
È eccitante da vedere, ha detto, “Ma implica anche pensare a nuovi tipi di rischi”.
Le versioni dei modelli della Fondazione sono controverse
La sfida, secondo Liang e Bommasani, è che non ci sono informazioni sufficienti per valutare l’impatto sociale o esplorare soluzioni ai rischi dei modelli di fondazione, inclusi set di dati distorti che portano a risultati razzisti o sessisti.
“Stiamo cercando di mappare l’ecosistema, ad esempio quali set di dati sono stati utilizzati, come vengono addestrati i modelli, come vengono utilizzati i modelli”, ha affermato Liang. “Stiamo parlando con le varie aziende e stiamo cercando di raccogliere informazioni leggendo tra le righe”.
Il CRFM sta anche tentando di consentire alle aziende di condividere i dettagli sui loro modelli di fondazione, proteggendo comunque gli interessi aziendali e la PI proprietaria.
“Penso che le persone sarebbero felici di condividere, ma c’è il timore che la condivisione eccessiva possa portare ad alcune conseguenze”, ha detto. “È anche che se tutti condividessero potrebbe effettivamente andare bene, ma nessuno [vuole] essere il primo a condividere”.
Questo rende difficile procedere.
“Anche cose di base come se questi modelli possono essere rilasciati è un argomento caldo di contesa”, ha detto. “Questo è qualcosa che vorrei che la comunità discutesse un po’ di più e ottenesse un po’ più di consenso su come proteggersi dai rischi di uso improprio, pur mantenendo l’accesso aperto e la trasparenza in modo che questi modelli possano essere studiati da persone nel mondo accademico”.
L’opportunità di un decennio per le imprese
“I modelli di base riducono i requisiti di etichettatura dei dati ovunque da un fattore di circa 10 volte, 200 volte, a seconda del caso d’uso”, ha detto a VentureBeat Dakshi Agrawal, membro IBM e CTO di IBM AI. “In sostanza, è l’opportunità di un decennio per le imprese”.
Alcuni casi d’uso aziendali richiedono una precisione maggiore di quella che l’IA tradizionale è stata in grado di gestire, come ad esempio clausole molto sfumate nei contratti.
“I modelli di base forniscono quel salto di precisione che consente questi casi d’uso aggiuntivi”, ha affermato.
I modelli di base sono nati nell’elaborazione del linguaggio naturale (NLP) e hanno trasformato quello spazio in aree come l’analisi dell’assistenza clienti, ha aggiunto. Anche l’industria 4.0 ha un numero enorme di casi d’uso, ha spiegato. Le stesse scoperte dell’IA nel linguaggio stanno accadendo in chimica, ad esempio, poiché i modelli di base imparano il linguaggio della chimica dai dati (atomi, molecole e proprietà) e alimentano una moltitudine di attività.
“Ci sono così tante altre aree in cui le aziende vorrebbero utilizzare il modello di base, ma non ci siamo ancora”, ha affermato, offrendo come esempi la sintesi dei dati ad alta fedeltà e un’assistenza conversazionale più naturale, ma “forse saremo presenti in un anno o giù di lì. O forse due”.
Agrawal sottolinea che le industrie regolamentate sono riluttanti a utilizzare gli attuali modelli di linguaggio pubblico di grandi dimensioni, quindi è essenziale che i dati di input siano controllati e affidabili, mentre l’output dovrebbe essere controllato in modo da non produrre contenuti distorti o dannosi. Inoltre, l’output dovrebbe essere coerente con l’input e i fatti: allucinazioni o errori di interpretazione non possono essere tollerati.
Per il CEO che ha già iniziato il suo viaggio nell’intelligenza artificiale, “li incoraggerei a sperimentare modelli di base”, ha affermato.
La maggior parte dei progetti di intelligenza artificiale, ha spiegato, si blocca nell’aumento del time to value. “Vorrei esortarli a provare modelli di base per vedere quel tempo per valutare le differenze inventariali e quanto poco tempo sottrae all’attività quotidiana”.
Se un’organizzazione non ha iniziato il proprio viaggio nell’intelligenza artificiale o è in una fase molto precoce, “Direi che puoi semplicemente scavalcare”, ha detto. “Prova questo modo a bassissimo attrito per iniziare con l’IA.”
Il futuro dei modelli di fondazione
Andando avanti, Agrawal pensa che il costo dei modelli di fondazione e l’energia utilizzata diminuiranno drasticamente, in parte grazie all’hardware e al software specificamente mirati alla loro formazione sfruttando la tecnologia in modo più efficace.
“Mi aspetto che l’energia diminuisca esponenzialmente per un determinato caso d’uso nei prossimi anni”, ha affermato.
Nel complesso, Liang ha affermato che i modelli di fondazione avranno un impatto “trasformativo”, ma richiede un approccio equilibrato e obiettivo.
“Non possiamo lasciare che il clamore ci faccia perdere la testa”, ha detto. “La speranza è che in un anno saremo almeno in un posto decisamente migliore in termini di capacità di prendere decisioni informate o intraprendere azioni informate”.
Modelli di base: il cambio di paradigma dell’IA del 2022
Il 2022 ha visto un’incredibile crescita dei modelli di base – modelli di intelligenza artificiale addestrati su vasta scala – una rivoluzione iniziata con BERT di Google nel 2018, che ha preso piede con GPT-3 di OpenAI nel 2020 ed è entrata nello zeitgeist con il testo DALL-E dell’azienda- generatore di immagini all’inizio del 2021.
Il ritmo è solo accelerato quest’anno e si è spostato saldamente nel mainstream , grazie alle sbalorditive possibilità di conversione da testo a immagine di DALL-E 2, Imagen e Midjourney di Google, nonché le opzioni per le applicazioni di visione artificiale di Microsoft Firenze e le opzioni multimodali di Gato di Deep Mind .
L’impatto in evoluzione dell’analisi dei grafici_
Quella velocità di sviluppo turbo, così come le preoccupazioni etiche sul pregiudizio dei modelli che l’accompagnano, è il motivo per cui un anno fa , l’Istituto di intelligenza artificiale incentrato sull’uomo di Stanford ha fondato il Center for Research on Foundation Models (CRFM) e ha pubblicato ” On the Opportunities and Risks of Foundation Models ” — un rapporto che ha dato un nome a questa potente trasformazione.
“Abbiamo coniato il termine ‘modelli di base’ perché sentivamo che doveva esserci un nome per coprire l’importanza di questo insieme di tecnologie”, ha affermato Percy Liang, professore associato di informatica alla Stanford University e direttore del CRFM.
Da allora, il progresso dei modelli di fondazione “ci ha reso più fiduciosi che questa fosse una buona mossa”, ha aggiunto. Tuttavia, ha anche portato a un crescente bisogno di trasparenza, che secondo lui è stato difficile da trovare.
“C’è confusione su cosa siano effettivamente questi modelli e cosa stiano facendo”, ha spiegato Liang, aggiungendo che il ritmo di sviluppo del modello è stato così veloce che molti dei modelli di base sono già commercializzati o sono alla base di sistemi puntuali che il pubblico è non a conoscenza, come la ricerca.
“Stiamo cercando di comprendere l’ecosistema, di documentare e confrontare tutto ciò che sta accadendo”, ha affermato.
I modelli di fondazione mancano di trasparenza
Il CRFM definisce un modello di base come un modello formato su dati ampi e che può essere adattato a un’ampia gamma di attività a valle.
“Si tratta di un unico modello come un pezzo di infrastruttura che è molto versatile”, ha affermato Liang, in netto contrasto con la precedente generazione di modelli che costruivano modelli su misura per diverse applicazioni.
“Si tratta di un cambio di paradigma nel modo in cui vengono create le applicazioni”, ha spiegato. “Puoi creare tutti i tipi di applicazioni interessanti che erano semplicemente impossibili, o almeno ci sono voluti mesi per costruire un enorme team di ingegneri”.
I modelli di fondazione come DALL-E e GPT-3 offrono nuove opportunità creative e nuovi modi di interagire con i sistemi, ha affermato Rishi Bommasani, Ph.D. studente nel dipartimento di informatica a Stanford la cui ricerca si concentra sui modelli di base.
“Una delle cose che stiamo vedendo, nel linguaggio, nella visione e nel codice, è che questi sistemi possono abbassare la barriera all’ingresso”, ha aggiunto. “Ora possiamo specificare le cose in linguaggio naturale e quindi consentire a una classe di persone molto più ampia”.
È eccitante da vedere, ha detto, “Ma implica anche pensare a nuovi tipi di rischi”.
Le versioni dei modelli della Fondazione sono controverse
La sfida, secondo Liang e Bommasani, è che non ci sono informazioni sufficienti per valutare l’impatto sociale o esplorare soluzioni ai rischi dei modelli di fondazione, inclusi set di dati distorti che portano a risultati razzisti o sessisti.
“Stiamo cercando di mappare l’ecosistema, ad esempio quali set di dati sono stati utilizzati, come vengono addestrati i modelli, come vengono utilizzati i modelli”, ha affermato Liang. “Stiamo parlando con le varie aziende e stiamo cercando di raccogliere informazioni leggendo tra le righe”.
Il CRFM sta anche tentando di consentire alle aziende di condividere i dettagli sui loro modelli di fondazione, proteggendo comunque gli interessi aziendali e la PI proprietaria.
“Penso che le persone sarebbero felici di condividere, ma c’è il timore che la condivisione eccessiva possa portare ad alcune conseguenze”, ha detto. “È anche che se tutti condividessero potrebbe effettivamente andare bene, ma nessuno [vuole] essere il primo a condividere”.
Questo rende difficile procedere.
“Anche cose di base come se questi modelli possono essere rilasciati è un argomento caldo di contesa”, ha detto. “Questo è qualcosa che vorrei che la comunità discutesse un po’ di più e ottenesse un po’ più di consenso su come proteggersi dai rischi di uso improprio, pur mantenendo l’accesso aperto e la trasparenza in modo che questi modelli possano essere studiati da persone nel mondo accademico”.
L’opportunità di un decennio per le imprese
“I modelli di base riducono i requisiti di etichettatura dei dati ovunque da un fattore di circa 10 volte, 200 volte, a seconda del caso d’uso”, ha detto a VentureBeat Dakshi Agrawal, membro IBM e CTO di IBM AI. “In sostanza, è l’opportunità di un decennio per le imprese”.
Alcuni casi d’uso aziendali richiedono una precisione maggiore di quella che l’IA tradizionale è stata in grado di gestire, come ad esempio clausole molto sfumate nei contratti.
“I modelli di base forniscono quel salto di precisione che consente questi casi d’uso aggiuntivi”, ha affermato.
I modelli di base sono nati nell’elaborazione del linguaggio naturale (NLP) e hanno trasformato quello spazio in aree come l’analisi dell’assistenza clienti, ha aggiunto. Anche l’industria 4.0 ha un numero enorme di casi d’uso, ha spiegato. Le stesse scoperte dell’IA nel linguaggio stanno accadendo in chimica, ad esempio, poiché i modelli di base imparano il linguaggio della chimica dai dati (atomi, molecole e proprietà) e alimentano una moltitudine di attività.
“Ci sono così tante altre aree in cui le aziende vorrebbero utilizzare il modello di base, ma non ci siamo ancora”, ha affermato, offrendo come esempi la sintesi dei dati ad alta fedeltà e un’assistenza conversazionale più naturale, ma “forse saremo presenti in un anno o giù di lì. O forse due”.
Agrawal sottolinea che le industrie regolamentate sono riluttanti a utilizzare gli attuali modelli di linguaggio pubblico di grandi dimensioni, quindi è essenziale che i dati di input siano controllati e affidabili, mentre l’output dovrebbe essere controllato in modo da non produrre contenuti distorti o dannosi. Inoltre, l’output dovrebbe essere coerente con l’input e i fatti: allucinazioni o errori di interpretazione non possono essere tollerati.
Per il CEO che ha già iniziato il suo viaggio nell’intelligenza artificiale, “li incoraggerei a sperimentare modelli di base”, ha affermato.
La maggior parte dei progetti di intelligenza artificiale, ha spiegato, si blocca nell’aumento del time to value. “Vorrei esortarli a provare modelli di base per vedere quel tempo per valutare le differenze inventariali e quanto poco tempo sottrae all’attività quotidiana”.
Se un’organizzazione non ha iniziato il proprio viaggio nell’intelligenza artificiale o è in una fase molto precoce, “Direi che puoi semplicemente scavalcare”, ha detto. “Prova questo modo a bassissimo attrito per iniziare con l’IA.”
Il futuro dei modelli di fondazione
Andando avanti, Agrawal pensa che il costo dei modelli di fondazione e l’energia utilizzata diminuiranno drasticamente, in parte grazie all’hardware e al software specificamente mirati alla loro formazione sfruttando la tecnologia in modo più efficace.
“Mi aspetto che l’energia diminuisca esponenzialmente per un determinato caso d’uso nei prossimi anni”, ha affermato.
Nel complesso, Liang ha affermato che i modelli di fondazione avranno un impatto “trasformativo”, ma richiede un approccio equilibrato e obiettivo.
“Non possiamo lasciare che il clamore ci faccia perdere la testa”, ha detto. “La speranza è che in un anno saremo almeno in un posto decisamente migliore in termini di capacità di prendere decisioni informate o intraprendere azioni informate”.
Modelli di base: il cambio di paradigma dell’IA del 2022
Il 2022 ha visto un’incredibile crescita dei modelli di base – modelli di intelligenza artificiale addestrati su vasta scala – una rivoluzione iniziata con BERT di Google nel 2018, che ha preso piede con GPT-3 di OpenAI nel 2020 ed è entrata nello zeitgeist con il testo DALL-E dell’azienda- generatore di immagini all’inizio del 2021.
Il ritmo è solo accelerato quest’anno e si è spostato saldamente nel mainstream , grazie alle sbalorditive possibilità di conversione da testo a immagine di DALL-E 2, Imagen e Midjourney di Google, nonché le opzioni per le applicazioni di visione artificiale di Microsoft Firenze e le opzioni multimodali di Gato di Deep Mind .
L’impatto in evoluzione dell’analisi dei grafici_
Quella velocità di sviluppo turbo, così come le preoccupazioni etiche sul pregiudizio dei modelli che l’accompagnano, è il motivo per cui un anno fa , l’Istituto di intelligenza artificiale incentrato sull’uomo di Stanford ha fondato il Center for Research on Foundation Models (CRFM) e ha pubblicato ” On the Opportunities and Risks of Foundation Models ” — un rapporto che ha dato un nome a questa potente trasformazione.
“Abbiamo coniato il termine ‘modelli di base’ perché sentivamo che doveva esserci un nome per coprire l’importanza di questo insieme di tecnologie”, ha affermato Percy Liang, professore associato di informatica alla Stanford University e direttore del CRFM.
Da allora, il progresso dei modelli di fondazione “ci ha reso più fiduciosi che questa fosse una buona mossa”, ha aggiunto. Tuttavia, ha anche portato a un crescente bisogno di trasparenza, che secondo lui è stato difficile da trovare.
“C’è confusione su cosa siano effettivamente questi modelli e cosa stiano facendo”, ha spiegato Liang, aggiungendo che il ritmo di sviluppo del modello è stato così veloce che molti dei modelli di base sono già commercializzati o sono alla base di sistemi puntuali che il pubblico è non a conoscenza, come la ricerca.
“Stiamo cercando di comprendere l’ecosistema, di documentare e confrontare tutto ciò che sta accadendo”, ha affermato.
I modelli di fondazione mancano di trasparenza
Il CRFM definisce un modello di base come un modello formato su dati ampi e che può essere adattato a un’ampia gamma di attività a valle.
“Si tratta di un unico modello come un pezzo di infrastruttura che è molto versatile”, ha affermato Liang, in netto contrasto con la precedente generazione di modelli che costruivano modelli su misura per diverse applicazioni.
“Si tratta di un cambio di paradigma nel modo in cui vengono create le applicazioni”, ha spiegato. “Puoi creare tutti i tipi di applicazioni interessanti che erano semplicemente impossibili, o almeno ci sono voluti mesi per costruire un enorme team di ingegneri”.
I modelli di fondazione come DALL-E e GPT-3 offrono nuove opportunità creative e nuovi modi di interagire con i sistemi, ha affermato Rishi Bommasani, Ph.D. studente nel dipartimento di informatica a Stanford la cui ricerca si concentra sui modelli di base.
“Una delle cose che stiamo vedendo, nel linguaggio, nella visione e nel codice, è che questi sistemi possono abbassare la barriera all’ingresso”, ha aggiunto. “Ora possiamo specificare le cose in linguaggio naturale e quindi consentire a una classe di persone molto più ampia”.
È eccitante da vedere, ha detto, “Ma implica anche pensare a nuovi tipi di rischi”.
Le versioni dei modelli della Fondazione sono controverse
La sfida, secondo Liang e Bommasani, è che non ci sono informazioni sufficienti per valutare l’impatto sociale o esplorare soluzioni ai rischi dei modelli di fondazione, inclusi set di dati distorti che portano a risultati razzisti o sessisti.
“Stiamo cercando di mappare l’ecosistema, ad esempio quali set di dati sono stati utilizzati, come vengono addestrati i modelli, come vengono utilizzati i modelli”, ha affermato Liang. “Stiamo parlando con le varie aziende e stiamo cercando di raccogliere informazioni leggendo tra le righe”.
Il CRFM sta anche tentando di consentire alle aziende di condividere i dettagli sui loro modelli di fondazione, proteggendo comunque gli interessi aziendali e la PI proprietaria.
“Penso che le persone sarebbero felici di condividere, ma c’è il timore che la condivisione eccessiva possa portare ad alcune conseguenze”, ha detto. “È anche che se tutti condividessero potrebbe effettivamente andare bene, ma nessuno [vuole] essere il primo a condividere”.
Questo rende difficile procedere.
“Anche cose di base come se questi modelli possono essere rilasciati è un argomento caldo di contesa”, ha detto. “Questo è qualcosa che vorrei che la comunità discutesse un po’ di più e ottenesse un po’ più di consenso su come proteggersi dai rischi di uso improprio, pur mantenendo l’accesso aperto e la trasparenza in modo che questi modelli possano essere studiati da persone nel mondo accademico”.
L’opportunità di un decennio per le imprese
“I modelli di base riducono i requisiti di etichettatura dei dati ovunque da un fattore di circa 10 volte, 200 volte, a seconda del caso d’uso”, ha detto a VentureBeat Dakshi Agrawal, membro IBM e CTO di IBM AI. “In sostanza, è l’opportunità di un decennio per le imprese”.
Alcuni casi d’uso aziendali richiedono una precisione maggiore di quella che l’IA tradizionale è stata in grado di gestire, come ad esempio clausole molto sfumate nei contratti.
“I modelli di base forniscono quel salto di precisione che consente questi casi d’uso aggiuntivi”, ha affermato.
I modelli di base sono nati nell’elaborazione del linguaggio naturale (NLP) e hanno trasformato quello spazio in aree come l’analisi dell’assistenza clienti, ha aggiunto. Anche l’industria 4.0 ha un numero enorme di casi d’uso, ha spiegato. Le stesse scoperte dell’IA nel linguaggio stanno accadendo in chimica, ad esempio, poiché i modelli di base imparano il linguaggio della chimica dai dati (atomi, molecole e proprietà) e alimentano una moltitudine di attività.
“Ci sono così tante altre aree in cui le aziende vorrebbero utilizzare il modello di base, ma non ci siamo ancora”, ha affermato, offrendo come esempi la sintesi dei dati ad alta fedeltà e un’assistenza conversazionale più naturale, ma “forse saremo presenti in un anno o giù di lì. O forse due”.
Agrawal sottolinea che le industrie regolamentate sono riluttanti a utilizzare gli attuali modelli di linguaggio pubblico di grandi dimensioni, quindi è essenziale che i dati di input siano controllati e affidabili, mentre l’output dovrebbe essere controllato in modo da non produrre contenuti distorti o dannosi. Inoltre, l’output dovrebbe essere coerente con l’input e i fatti: allucinazioni o errori di interpretazione non possono essere tollerati.
Per il CEO che ha già iniziato il suo viaggio nell’intelligenza artificiale, “li incoraggerei a sperimentare modelli di base”, ha affermato.
La maggior parte dei progetti di intelligenza artificiale, ha spiegato, si blocca nell’aumento del time to value. “Vorrei esortarli a provare modelli di base per vedere quel tempo per valutare le differenze inventariali e quanto poco tempo sottrae all’attività quotidiana”.
Se un’organizzazione non ha iniziato il proprio viaggio nell’intelligenza artificiale o è in una fase molto precoce, “Direi che puoi semplicemente scavalcare”, ha detto. “Prova questo modo a bassissimo attrito per iniziare con l’IA.”
Il futuro dei modelli di fondazione
Andando avanti, Agrawal pensa che il costo dei modelli di fondazione e l’energia utilizzata diminuiranno drasticamente, in parte grazie all’hardware e al software specificamente mirati alla loro formazione sfruttando la tecnologia in modo più efficace.
“Mi aspetto che l’energia diminuisca esponenzialmente per un determinato caso d’uso nei prossimi anni”, ha affermato.
Nel complesso, Liang ha affermato che i modelli di fondazione avranno un impatto “trasformativo”, ma richiede un approccio equilibrato e obiettivo.
“Non possiamo lasciare che il clamore ci faccia perdere la testa”, ha detto. “La speranza è che in un anno saremo almeno in un posto decisamente migliore in termini di capacità di prendere decisioni informate o intraprendere azioni informate”.
