Un modello di intelligenza artificiale (AI) con prestazioni simili a “ChatGPT” è stato sviluppato per soli $ 600 negli Stati Uniti.
New Atlas ha riferito che i ricercatori del Basic Model Research Center della Stanford University hanno sviluppato “Alpaca 7B”, che raggiunge prestazioni simili a ChatGPT con $ 600 e 52.000 dati di addestramento.
In base a ciò, il team di ricerca ha avviato lo sviluppo basato sulla versione più piccola con 7 miliardi di parametri tra il modello di linguaggio “Lama” recentemente rilasciato da Meta. In primo luogo, sono state selezionate 175 coppie umane di comando e risposta (dati seme) dal modello basato su GPT-3.5 di OpenAI, “Da Vinci-003”, e sulla base di questo sono stati creati campioni di conversazione dello stesso stile e formato.
Automatizzando questo processo tramite un’API fornita da OpenAI, il team di ricerca ha ottenuto 52.000 dati di esempio che possono essere utilizzati per il post-addestramento di un modello linguistico chiamato “Alpaca 7B” in breve tempo. Il costo finora è stato inferiore a $ 500.
Il team ha quindi messo a punto il modello utilizzando i dati campione. Il processo ha utilizzato tecniche open source come il framework di addestramento di Hugging Face o l’addestramento di precisione misto e parallelo di dati completamente suddivisi e ha richiesto circa 3 ore su otto computer di elaborazione cloud A100 da 80 GB. Il costo era inferiore a $ 100.
Successivamente, le prestazioni di “Alpaca 7B” sono state confrontate con GPT in vari campi come posta elettronica, scrittura sui social media e strumenti di produttività. Di conseguenza, il team di ricerca ha rivelato che Alpaca ha superato il suo avversario in 90 elementi e GPT in 89 elementi.
A questo proposito, ha affermato: “Siamo rimasti molto sorpresi dal fatto che questo risultato sia venuto fuori nonostante le dimensioni ridotte del modello e i piccoli dati di addestramento”. “Quando abbiamo testato Alpaca in modo interattivo, spesso si è comportato in modo simile a ChatGPT”, ha affermato. Tuttavia, è stato riconosciuto che esistono limiti di prestazioni in termini di dimensioni e varietà.
In particolare, è stato sostenuto che il modello avrebbe potuto essere realizzato in modo più economico se il processo di sviluppo fosse stato ottimizzato.
Insieme a questo, il codice sorgente e i dati di addestramento del modello sono stati rilasciati su GitHub. Il team di ricerca ha chiesto feedback agli utenti, affermando che non potevano mettere a punto il modello per filtrare gli effetti collaterali. Una versione demo è stata rilasciata sul sito Web, ma è stata presto interrotta a causa di problemi di sicurezza e aumento dei costi di hosting.
GPT-3, introdotto da OpenAI nel 2020, è costato 10 milioni di dollari (circa 13 miliardi di won) per l’addestramento. Sam Altman, CEO di OpenAI, una volta ha affermato che i costi operativi degli LLM sono “straordinariamente costosi”, quindi gli LLM sono stati visti come appannaggio delle grandi aziende.
Pertanto, New Atlas ha citato lo sviluppo di Alpaca 7B come esempio che mostrava la possibilità che chiunque potesse creare un modello linguistico a basso costo e con pochi dati di addestramento. Inoltre, ha sottolineato che è in aumento anche il rischio di uso improprio e abuso del modello linguistico.