Recursive ha presentato Flint, un modello open source specializzato nella generazione e nella gestione di codice software, progettato per essere eseguito direttamente su computer personali e workstation senza richiedere necessariamente l’utilizzo di servizi cloud. Il modello è stato sviluppato in meno di quattro mesi attraverso Eureka Machine, un sistema di ricerca automatizzata che utilizza l’intelligenza artificiale per esplorare architetture, procedure di addestramento e ottimizzazioni dell’inferenza. Flint possiede complessivamente 40 miliardi di parametri, ma adotta un’architettura Mixture of Experts che ne attiva soltanto 2,5 miliardi per ogni token elaborato. Questa configurazione consente di mantenere una capacità rappresentativa distribuita su numerosi componenti specializzati, limitando al tempo stesso la quantità di calcolo necessaria per produrre ciascun risultato. I pesi del modello sono stati pubblicati su Hugging Face con licenza Apache 2.0, permettendone l’utilizzo e l’integrazione in ambienti di sviluppo locali.
Le prestazioni dichiarate da Recursive comprendono una velocità superiore a 125 token al secondo su MacBook Pro equipaggiati con Apple M4 Pro e superiore a 150 token al secondo su sistemi NVIDIA RTX Spark. L’azienda attribuisce questi risultati alla combinazione fra architettura sparsa del modello, quantizzazione a bassa precisione e kernel di calcolo ottimizzati per le differenti piattaforme hardware. Secondo le valutazioni interne, Flint può raggiungere velocità oltre cinque volte superiori rispetto a modelli densi con capacità di programmazione paragonabili e dimensioni comprese fra 25 e 40 miliardi di parametri. Recursive dichiara inoltre prestazioni fino a due volte superiori rispetto ad alcuni modelli della stessa categoria. Nei benchmark SWE-bench Pro v2, Terminal-Bench 2.1 e SWE-bench Verified, Flint ha ottenuto, secondo le misurazioni comunicate dalla società, i risultati più elevati fra i modelli Mixture of Experts con meno di 50 miliardi di parametri complessivi. Le classifiche indicate derivano da valutazioni interne e devono quindi essere distinte da verifiche comparative indipendenti.
Il processo di sviluppo rappresenta uno degli aspetti principali del progetto. Eureka Machine è stato utilizzato per formulare ipotesi sulle caratteristiche del modello, realizzare esperimenti, esaminare i risultati e selezionare le modifiche da trasferire alle iterazioni successive. La piattaforma ha contribuito all’individuazione di configurazioni capaci di ridurre il numero di parametri attivati senza compromettere eccessivamente le prestazioni, alla scelta delle procedure di addestramento e all’ottimizzazione dei sistemi di inferenza. Il processo ha compreso anche lo sviluppo di metodi di quantizzazione a bassa precisione finalizzati a ridurre l’utilizzo della memoria mantenendo una perdita di accuratezza contenuta. Per l’esecuzione locale sono stati inoltre sviluppati kernel specifici destinati alle architetture Apple Silicon e NVIDIA, così da sfruttare le caratteristiche computazionali dei differenti dispositivi.
Flint supporta una finestra di contesto massima pari a 512.000 token, anche se Recursive consiglia di limitare i compiti di programmazione a circa 256.000 token per ottenere condizioni operative più appropriate. Il modello può essere eseguito attraverso strumenti diffusi come llama.cpp, Ollama, LM Studio e vLLM. Insieme ai pesi, l’azienda ha pubblicato rec, un motore di inferenza leggero ottimizzato per i processori Apple M4 e M5 delle famiglie Pro e Max. L’esecuzione locale permette di mantenere codice e dati sulla macchina dell’utilizzatore, lavorare senza connessione Internet ed evitare i costi associati alle chiamate alle API di modelli remoti. Il comportamento operativo presenta tuttavia differenze rispetto ai modelli commerciali di grandi dimensioni: nei compiti articolati può essere necessario fornire istruzioni più dettagliate, suddividere le attività in passaggi circoscritti e controllare più frequentemente i risultati intermedi.
Recursive è stata fondata da ricercatori provenienti da Meta e OpenAI e sta sviluppando Eureka Machine con l’obiettivo di costruire un processo di miglioramento ricorsivo dell’intelligenza artificiale. Il principio consiste nell’utilizzare sistemi AI per sviluppare modelli successivi, che a loro volta possano contribuire ad aumentare le capacità della piattaforma di ricerca automatizzata. Flint rappresenta una prima applicazione concreta di questa metodologia, attraverso la quale una struttura di ricerca relativamente contenuta ha progettato, addestrato e ottimizzato un modello specializzato in un periodo inferiore a quattro mesi. La pubblicazione dei pesi e degli strumenti di inferenza consente di verificarne l’impiego su hardware personale, mentre i risultati sperimentali illustrano il contributo dell’automazione delle attività di ricerca alla realizzazione di architetture efficienti, capaci di combinare un numero elevato di parametri complessivi con costi di esecuzione contenuti.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)