Gyan AI ha presentato Paramanu-Ganita, un modello linguistico matematico di 208 milioni di parametri che si distingue per le sue dimensioni relativamente ridotte rispetto ad altri modelli. Nonostante la sua modesta dimensione, supera i concorrenti in vari benchmark, dimostrando l’efficacia dello sviluppo di modelli specifici per dominio anziché l’adattamento di modelli generali.
Il team di ricerca, composto da Mitodru Niyogi, fondatore di Gyan AI, e Arnab Bhattacharya, professore presso IIT Kanpur, ha addestrato il modello su un corpus matematico unico e di alta qualità, ottenendo risultati notevoli in termini di prestazioni e efficienza. Il modello utilizza un decodificatore Auto-Regressive che si adatta particolarmente bene alla risoluzione di problemi matematici complessi.
Le implicazioni di Paramanu-Ganita sono significative, offrendo un’alternativa affidabile e efficiente ai modelli linguistici più ampi per settori che richiedono calcoli e modelli matematici. Inoltre, dimostra che modelli più piccoli e specializzati possono competere con quelli più grandi senza la necessità di risorse di calcolo massicce.
In precedenza, i ricercatori avevano sviluppato Paramanu, una serie di modelli linguistici adattati a dieci lingue indiane, dimostrando la versatilità e l’efficacia dei modelli focalizzati sul dominio.