In un articolo precedente , ho parlato dei vantaggi di mercato che le aziende potrebbero trarre dallo sviluppo di applicazioni utilizzando il modello di linguaggio naturale GPT-3 di OpenAI. Qui voglio fornire un po ‘di introduzione per le aziende che danno un primo sguardo alla tecnologia.
Al momento c’è una lista d’attesa per accedere all’API GPT-3, ma ho avuto l’opportunità di giocare nel sistema. Per coloro che non l’hanno ancora provato, ecco alcune cose per cui essere preparati:
- Il contesto è tutto
L’input che fornisci a GPT-3 è un testo seme su cui vuoi addestrare il modello. Questo è il contesto che stai impostando per la risposta di GPT-3. Ma fornisci anche un “prefisso” alla sua risposta. Questo prefisso è una direzione che controlla il testo generato dal modello ed è contrassegnato da due punti alla fine. Ad esempio, puoi fornire un paragrafo come contesto e utilizzare un prefisso come “Spiega a un bambino di 5 anni:” per generare una semplice spiegazione. (Si consiglia vivamente di non aggiungere alcuno spazio dopo il prefisso). Di seguito è riportata una risposta di esempio da GPT-3.
Come puoi vedere nell’esempio sopra, il tuo prefisso non ha bisogno di seguire alcuna codifica complessa leggibile dalla macchina. È solo una semplice frase leggibile dall’uomo.
Puoi utilizzare più prefissi per descrivere un contesto più ampio o esteso, come in un esempio di chatbot. Vuoi fornire una cronologia della chat per aiutare il bot a generare risposte. Questo contesto viene utilizzato per ottimizzare l’output di GPT-3 e generare la risposta. Ad esempio, potresti rendere il chatbot disponibile e amichevole, oppure potresti renderlo assertivo e ostile. Nell’esempio seguente, ho fornito quattro prefissi GPT-3. Ho fornito un output di esempio per i primi tre e poi ho lasciato GPT-3 per continuare da lì.
Poiché l’output che ottieni dal modello dipende interamente dal contesto che fornisci, è importante costruire questi elementi con attenzione.
- Configura attentamente o rischi i tuoi token
Le configurazioni sono le impostazioni mostrate a destra negli esempi sopra. Questi sono parametri che includi con la tua chiamata API che aiutano a ottimizzare la risposta. Ad esempio, è possibile modificare la casualità delle risposte utilizzando l’impostazione di configurazione della temperatura, che ha un intervallo da 0 a 1. Se la temperatura è impostata su 0, ogni volta che si effettua una chiamata con un contesto si otterrà la stessa risposta. Se la temperatura è 1, la risposta sarà altamente randomizzata.
Un altro configurabile che puoi regolare è Response Length, che limita il testo inviato dall’API. Tieni presente che OpenAI addebita l’utilizzo della piattaforma su base token anziché su base parola. E un gettone di solito ti coprirà per quattro personaggi. Quindi, nella fase di test, assicurati di regolare la lunghezza della risposta in modo da non utilizzare subito tutti i tuoi token.
Con il percorso gratuito di 3 mesi di GPT-3 ottieni $ 18 in gettoni. Ho finito per consumare quasi il 75% del mio solo con un po ‘di sperimentazione con l’API. In realtà ci sono quattro diverse versioni del modello GPT-3 disponibili come “motori” e ognuna di esse ha un modello di prezzo diverso. Il normale costo per i token a partire da oggi è di $ 0,06 per mille token per il motore DaVinci, che è il più performante dei quattro. I motori meno user-friendly, Curie, Babbage e Ada, sono rispettivamente $ 0,006, $ 0,0012 e $ 0,0008 per mille token.
- MLaaS sarà più grande di SaaS
GPT-3 è probabilmente l’esempio più famoso di un’API avanzata per l’elaborazione del linguaggio naturale, ma è probabile che diventerà uno dei tanti man mano che l’ecosistema della PNL maturerà. L’apprendimento automatico come servizio (MLaaS) è un potente modello di business perché puoi spendere tempo e denaro per pre-addestrare un modello da solo (per il contesto, GPT-3 costa OpenAI quasi $ 12 milioni per la formazione ), oppure puoi acquistare un modello pre-addestrato per pochi centesimi sul dollaro.
Nel caso di GPT-3, ogni chiamata effettuata all’API viene instradata a un’istanza condivisa del modello GPT-3 in esecuzione nel cloud di OpenAI. Come accennato in precedenza, il motore DaVinci funziona al meglio, ma dovresti sperimentare da solo con ciascun motore per casi d’uso specifici.
DaVinci è indulgente se il contesto di input contiene errori di ortografia o spazi aggiuntivi / mancanti e fornisce una risposta molto leggibile. Puoi sentire che è stato addestrato su un corpus più ampio ed è resistente agli errori. I motori più economici richiederanno che tu faccia più lavoro per inquadrare il contesto e di solito avranno bisogno di una messa a punto per ottenere esattamente il tipo di risposta previsto. Di seguito è riportato un esempio di classificazione delle società con il nome FedExt scritto in modo errato nel contesto. DaVinci è in grado di ottenere la risposta giusta mentre Ada sbaglia.
Ancora una volta, quando cerchiamo un esempio specifico di interazione farmacologica, DaVinci arriva al punto e risponde alla domanda molto meglio di Ada o Babbage:
- I modelli verranno costruiti uno sopra l’altro come bambole russe
GPT-3 è un modello di linguaggio senza stato, il che significa che non ricorda le tue richieste precedenti né impara da esse. Si basa esclusivamente sulla sua formazione originale (che praticamente costituisce tutto il testo su Internet) e sul contesto e sulla configurazione che gli fornisci.
Questo è il principale ostacolo per le imprese in adozione. Puoi generare alcune demo molto interessanti, ma affinché GPT-3 sia un serio contendente per casi d’uso del mondo reale in ambito bancario, sanitario, industriale, ecc., Avremo bisogno di addestrare modelli che sono specifici del dominio. Ad esempio, si desidera un modello addestrato sui documenti della politica interna della propria azienda, sulle cartelle cliniche dei pazienti o sui manuali dei macchinari.
Pertanto, le applicazioni costruite direttamente su GPT-3 potrebbero non essere effettivamente utilizzate dalle aziende. Uno schema di monetizzazione più redditizio potrebbe essere quello di ospitare modelli simili a GPT-3 come API specializzata per problemi specifici come la scoperta di farmaci, la raccomandazione di polizze assicurative, il riepilogo dei rapporti finanziari, la pianificazione della manutenzione dei macchinari, ecc.
L’utilizzo finale sarebbe quello di sfruttare un’applicazione costruita su un modello costruito sopra un altro modello. Un modello specializzato costruito da un’impresa sui suoi dati proprietari dovrà anche essere in grado di adattarsi in base alle nuove conoscenze ottenute dai documenti aziendali per rimanere pertinente. In futuro, vedremo più modelli di linguaggio di dominio con una capacità di apprendimento attivo. E molto probabilmente alla fine vedremo anche un modello di business di apprendimento attivo da GPT-3, in cui le organizzazioni saranno in grado di addestrare un’istanza in modo incrementale sui propri dati personalizzati. Tuttavia, questo avrà un prezzo significativo poiché richiederà a OpenAI di ospitare un’istanza unica per quel cliente.
