Il mese scorso, Microsoft ha lanciato Orca, un modello con 13 miliardi di parametri, che è stato pubblicizzato come open source e come un’alternativa più piccola a GPT-4. Orca impara a imitare i processi di ragionamento dei grandi modelli linguistici. Questo modello più piccolo apprende dai segnali ricchi di GPT-4, inclusi i passaggi di spiegazione e i processi di pensiero passo-passo, con l’assistenza dell’insegnante ChatGPT.
Inizialmente, il team aveva pubblicato solo un’anteprima del modello, citando le restrizioni della politica di rilascio di LLaMA. Tuttavia, con l’introduzione della licenza commerciale LLaMA 2, recentemente rilasciata in collaborazione con Meta, ci si aspetta che modelli più piccoli e potenti siano disponibili presto.
La gamma di LLaMA 2 varia da 7 a 70 miliardi di parametri. Meta afferma che questi modelli hanno dimostrato prestazioni superiori rispetto ai modelli di chat open source precedenti, come LLaMA, Alpaca e Vicuna, in molti dei benchmark testati.
Microsoft offre LLaMA 2 nel catalogo Azure AI, consentendo alle persone di accedervi tramite strumenti cloud come il filtro dei contenuti. Inoltre, il modello può essere eseguito su PC Windows.
Orca, sviluppato da Microsoft, è un modello con 13 miliardi di parametri che supera i modelli open source convenzionali come LLaMA, Alpaca e Vicuna.
Gli autori del documento sottolineano che i modelli precedenti erano privi di una valutazione rigorosa, il che ha portato a una sopravvalutazione delle loro capacità. Al contrario, Orca è stato appositamente progettato per imitare il processo di ragionamento dei modelli più grandi attraverso l’apprendimento progressivo.
Per raggiungere questo obiettivo, Orca è stato addestrato per imitare i processi di pensiero passo dopo passo di GPT-4, un modello molto più grande. È stato assistito dagli insegnanti di GPT-3.5 attraverso tracce di spiegazioni. Ciò ha permesso ad Orca di apprendere in modo più efficiente e di produrre spiegazioni più dettagliate. Gli autori hanno utilizzato messaggi di sistema e complesse attività dalla raccolta FLAN per migliorare le prestazioni del modello.
I risultati dei vari benchmark dimostrano le straordinarie capacità di Orca. Nei complessi benchmark di ragionamento zero-shot, come il Big Bench Hard, Orca supera di oltre il 100% i modelli precedenti e supera GPT-4 in specifici compiti di ragionamento. Nella generazione open-ended, Orca raggiunge il 95% della qualità di ChatGPT e l’85% della qualità di GPT-4.
Il modello mostra anche risultati promettenti negli esami accademici e professionali come SAT, LSAT, GRE e GMAT. Nel benchmark Big Bench Hard, che include 23 delle attività più difficili per i modelli linguistici, Orca supera significativamente i modelli open source precedenti e raggiunge persino le prestazioni di ChatGPT.
La ricerca evidenzia l’importanza di sfruttare le istruzioni di sistema e le spiegazioni dettagliate per migliorare le prestazioni del modello. La capacità di Orca di apprendere dalle risposte dettagliate e dai processi di ragionamento di GPT-4 e ChatGPT si è dimostrata cruciale per il suo successo.
Sembra che Orca abbia ora un nuovo concorrente. Di recente, Alignment Lab AI ha presentato OpenOrca-Preview1-13B, un modello più piccolo che imita il comportamento dei grandi modelli di linguaggio come GPT-4 e che è molto simile a Orca di Microsoft.
Nel tentativo di riprodurre il set di dati generato per Orca di Microsoft Research, il team ha utilizzato anche il set di dati OpenOrca per migliorare LLaMA-13B. Il team di Alignment Lab AI ha condiviso: “Ci siamo allenati su meno del 6% dei nostri dati, solo per dare un’anteprima di ciò che è possibile mentre perfezioniamo ulteriormente il nostro set di dati!”. Affermano di aver addestrato una selezione raffinata di 200.000 voci di GPT-4 da OpenOrca.
Il team ha ulteriormente filtrato le risposte di GPT-4 per rimuovere affermazioni come “Come modello di linguaggio AI…” e altre risposte che hanno dimostrato di danneggiare le capacità di ragionamento del modello. Hanno anche dichiarato che le loro pratiche di cura dei set di dati saranno disponibili nelle versioni complete del modello.
Il team ha affermato che questa versione di anteprima dimostra che anche una porzione più piccola dei dati di addestramento può produrre risultati di livello superiore in questa classe di modelli, con costi di addestramento inferiori a 200 dollari.
Con la recente partnership con Meta, Microsoft sta cercando di essere sia all’inizio che al traguardo della corsa all’IA generativa. Il loro supporto ai progetti di ricerca open source come Orca e la loro ampia collaborazione con OpenAI offrono loro tutti i vantaggi di un’arma a doppio taglio.
Meta, insieme a Microsoft, ha anche stretto una partnership con Qualcomm, con l’obiettivo di creare un intero ecosistema per rendere disponibili le implementazioni di LLaMA 2 sull’hardware dei telefoni e dei PC a partire dal prossimo anno. I modelli più piccoli come Orca possono trarne il massimo vantaggio.
Qualcomm ha dichiarato: “Ciò consentirà a clienti, partner e sviluppatori di creare casi d’uso, come assistenti virtuali intelligenti, applicazioni per la produttività, strumenti per la creazione di contenuti, intrattenimento e altro. Queste nuove esperienze AI su dispositivo, alimentate da Snapdragon, possono funzionare in aree prive di connettività o persino in modalità aereo”.