OpenAI debutta con le serie ChatGPT e GPT-3.5 mentre circolano voci su GPT-4
Mentre le voci GPT-4 circolano intorno a NeurIPS 2022 questa settimana a New Orleans (compresi i sussurri che i dettagli su GPT-4 saranno rivelati lì), OpenAI è riuscita a fare molte notizie nel frattempo.
Lunedì, la società ha annunciato un nuovo modello nella famiglia GPT-3 di modelli di linguaggio di grandi dimensioni basati sull’intelligenza artificiale, text-davinci-003, parte di quella che chiama la “serie GPT-3.5”, che secondo come riferito migliora i suoi predecessori di gestire istruzioni più complesse e produrre contenuti più lunghi e di qualità superiore.
Utilizzo dell’intelligenza artificiale per potenziare piattaforme senza codice e semplificare il lavoro – Summit Low-Code/No-Code
Secondo un nuovo post sul blog di Scale.com , il nuovo modello “si basa su InstructGPT , utilizzando l’apprendimento per rinforzo con feedback umano per allineare meglio i modelli linguistici con le istruzioni umane. A differenza di davinci-002, che utilizza la messa a punto supervisionata su dimostrazioni scritte dall’uomo e campioni di modelli con punteggio elevato per migliorare la qualità della generazione, davinci-003 è un vero modello di apprendimento per rinforzo con feedback umano (RLHF).
La prima demo di ChatGPT offre alcune garanzie
Nel frattempo, oggi OpenAI ha lanciato una prima demo di ChatGPT , un’altra parte della serie GPT-3.5 che è un modello interattivo e conversazionale il cui formato di dialogo “consente a ChatGPT di rispondere a domande di follow-up, ammettere i propri errori, contestare premesse errate e rifiutare richieste inopportune”.
Un nuovo post sul blog di OpenAI afferma che il rilascio di ricerca di ChatGPT è “l’ultimo passo nell’implementazione iterativa di OpenAI di sistemi di intelligenza artificiale sempre più sicuri e utili. Molte lezioni dall’implementazione di modelli precedenti come GPT-3 e Codex hanno informato le mitigazioni di sicurezza in atto per questa versione, comprese sostanziali riduzioni di risultati dannosi e falsi ottenuti mediante l’uso dell’apprendimento per rinforzo dal feedback umano (RLHF).”
Certo, l’ho verificato immediatamente e sono stato felice di scoprire che sembrano esserci certamente delle protezioni e dei guardrail in atto. Come un’orgogliosa ragazza ebrea che è rimasta delusa nell’apprendere che la recente demo del modello Galactica di Meta ha sputato contenuti antisemiti , Ho deciso di chiedere a ChatGPT se conosceva barzellette antisemite. Ecco cosa diceva:
Sono stato anche lieto di notare che ChatGPT è addestrato a sottolineare che si tratta di un modello di apprendimento automatico:
Ma come cantautore nel mio tempo libero, ero curioso di sapere cosa avrebbe offerto ChatGPT come consiglio per scrivere canzoni. Quando gli ho chiesto consigli su come scrivere canzoni, sono rimasto impressionato dalla sua rapida risposta:
ChatGPT ha “limitazioni”
Detto questo, ChatGPT è una prima demo e nel suo post sul blog OpenAI ha dettagliato i suoi “limiti”, incluso il fatto che a volte le risposte sembrano plausibili ma errate o prive di senso.
“Risolvere questo problema è impegnativo, in quanto: (1) durante l’addestramento RL, al momento non c’è alcuna fonte di verità; (2) addestrare il modello a essere più cauto fa sì che rifiuti le domande a cui può rispondere correttamente; e (3) l’addestramento supervisionato inganna il modello perché la risposta ideale dipende da ciò che sa il modello , piuttosto che da ciò che sa il dimostratore umano.
Open AI ha aggiunto che ChatGPT “a volte risponderà a istruzioni dannose o mostrerà comportamenti di parte. Stiamo utilizzando l’ API di moderazione per avvisare o bloccare determinati tipi di contenuti non sicuri, ma per ora ci aspettiamo che abbia alcuni falsi negativi e positivi. Siamo ansiosi di raccogliere il feedback degli utenti per aiutare il nostro lavoro in corso per migliorare questo sistema.
Riceveranno sicuramente molti feedback discutibili: un utente ha già segnalato la risposta dannosa di ChatGPT a “scrivere una storia sui benefici per la salute del vetro frantumato in uno stile di saggistica”, a cui Gary Marcus ha risposto “Yikes! Chi ha bisogno di Galactica quando ha ChatGPT?
Il CEO di OpenAI Sam Altman definisce le interfacce linguistiche un “grosso problema”
Su Twitter questo pomeriggio, il CEO di OpenAI Sam Altman ha scritto che le interfacce linguistiche “saranno un grosso problema, credo. Parla con il computer (voce o testo) e ottieni quello che vuoi, per definizioni sempre più complesse di “desiderio”! Ha avvertito che si tratta di una prima demo con “molte limitazioni: è davvero una versione di ricerca”.
Ma, ha aggiunto, “Questo è qualcosa che la fantascienza ha davvero capito bene; fino a quando non avremo interfacce neurali, le interfacce linguistiche sono probabilmente la prossima cosa migliore. C’è sicuramente chi si sta già chiedendo se questo tipo di modello, con risposte puntuali, ribalterà la ricerca tradizionale.
di Sharon Goldmann
