Gli studenti e i ricercatori STEM di tutto il mondo sono stati lieti di apprendere che Microsoft ha annunciato il lancio di Orca-Math, una nuova variante del modello Mistral 7B, sviluppata in collaborazione con la startup francese Mistral. Questa nuova variante si concentra sui problemi di parole matematiche, mantenendo dimensioni ridotte per consentire un addestramento ed esecuzione efficienti come inferenza. L’annuncio è stato fatto da Arindam Mitra, ricercatore senior presso Microsoft Research e leader delle attività di Orca AI, attraverso un thread su X.
Orca-Math ha dimostrato di superare la maggior parte degli altri modelli LLM (Large Language Model) con dimensioni parametriche comprese tra 7 e 70 miliardi, ad eccezione di Gemini Ultra di Google e GPT-4 di OpenAI, nel benchmark GSM8K. Questo benchmark consiste in una serie di 8.500 problemi e domande di parole matematiche progettati per essere risolvibili da studenti di scuola media. Orca-Math, nonostante abbia solo 7 miliardi di parametri, ha ottenuto risultati competitivi, avvicinandosi alle prestazioni di modelli presumibilmente più grandi.
Il team di Orca ha adottato diverse strategie per raggiungere questo risultato. Hanno creato un nuovo elenco di 200.000 problemi di parole matematiche, generati da agenti specializzati e corretti da agenti di intelligenza artificiale. Questi problemi sono stati utilizzati per addestrare la nuova variante Orca-Math. Inoltre, il team ha utilizzato un metodo chiamato Kahneman-Tversky Optimization (KTO), insieme a un’approccio più tradizionale di messa a punto supervisionata, per migliorare ulteriormente l’accuratezza delle risposte del modello.
Il set di dati sintetici di 200.000 parole matematiche generato dal team di Orca è stato reso disponibile su Hugging Face sotto una licenza permissiva del MIT, consentendo a chiunque di esplorare, costruire e innovare, anche per scopi commerciali.
Questo annuncio segue il rilascio precedente di altri modelli Orca, come Orca 13B e Orca 2, entrambi basati sull’open source Llama 2 LLM di Meta. La famiglia Orca continua a crescere e a dimostrare sempre maggiori capacità nel campo dell’intelligenza artificiale matematica.
La pubblicazione del set di dati sintetici da parte di Orca è stata accolta con entusiasmo da parte delle startup e delle aziende, che ora possono utilizzare tali risorse per sviluppare soluzioni innovative.