Una recente scoperta ha messo in discussione l’idea tradizionale secondo cui l’addestramento di modelli linguistici di grandi dimensioni (LLM) richieda enormi quantità di dati. Un team di ricercatori della Shanghai Jiao Tong University ha dimostrato che, per compiti di ragionamento complessi, è possibile ottenere risultati eccellenti utilizzando solo un piccolo insieme di esempi ben selezionati.
La ricerca introduce il concetto di “less is more” (LIMO), sfidando l’assunto che grandi volumi di dati siano indispensabili per l’addestramento efficace degli LLM. Gli studiosi hanno evidenziato che, grazie alla conoscenza intrinseca acquisita dai moderni LLM durante la fase di pre-addestramento, è sufficiente un numero limitato di esempi curati per addestrare il modello a svolgere compiti di ragionamento avanzato.
Nei loro esperimenti, i ricercatori hanno creato un dataset LIMO per compiti di ragionamento matematico complesso, composto da poche centinaia di esempi. Un LLM, perfezionato su questo dataset, è stato in grado di generare catene di ragionamento articolate, raggiungendo un tasso di successo molto elevato. Ad esempio, un modello Qwen2.5-32B-Instruct, addestrato su 817 esempi selezionati secondo il principio LIMO, ha raggiunto un’accuratezza del 57,1% sul benchmark AIME e del 94,8% su MATH, superando modelli addestrati con quantità di dati centinaia di volte superiori.
Questa scoperta ha rilevanti implicazioni per le applicazioni aziendali dell’intelligenza artificiale. La possibilità di personalizzare LLM utilizzando un numero ridotto di dati di alta qualità rende l’adozione di modelli AI avanzati più accessibile anche per le aziende che non dispongono delle risorse tipiche dei grandi laboratori di ricerca. Tecniche come il retrieval-augmented generation (RAG) e l’in-context learning possono essere integrate con l’approccio LIMO, consentendo alle imprese di sviluppare modelli su misura per le proprie esigenze specifiche senza la necessità di vasti dataset.
Inoltre, l’approccio LIMO promuove una maggiore efficienza nell’addestramento dei modelli, riducendo i costi computazionali e accelerando i tempi di sviluppo. Questo rappresenta un passo significativo verso l’adozione diffusa dell’intelligenza artificiale nelle aziende, facilitando l’implementazione di soluzioni AI avanzate in diversi settori, dalla finanza alla sanità, dal marketing alla logistica.
La ricerca della Shanghai Jiao Tong University si inserisce in un filone più ampio di studi che mettono in discussione l’enfasi tradizionale sull’utilizzo di grandi quantità di dati nell’addestramento dei modelli AI. Un articolo del 2019, intitolato “Less (Data) Is More: Why Small Data Holds the Key to the Future of Artificial Intelligence”, sostiene che l’attenzione dovrebbe spostarsi verso sistemi AI orientati alla privacy e focalizzati sulla collaborazione uomo-macchina, piuttosto che sulla competizione. Questo approccio non solo valorizza l’importanza dei dati di qualità rispetto alla quantità, ma promuove anche lo sviluppo di tecnologie AI più etiche e centrate sull’uomo.