Emerge l’annuncio strategico di Motif Technologies, un’azienda specializzata in AI, che ha rilasciato la sua ultima creazione, il modello linguistico su larga scala (LLM) “Motif 12.7B”, come open source sulla piattaforma Hugging Face. Questo gesto non è solo un contributo alla comunità globale, ma un chiaro segnale della capacità di innovazione che Motif è riuscita a coltivare, distinguendosi come un attore di primo piano nel settore.
Il modello Motif 12.7B vanta 12,7 miliardi di parametri ed è il risultato di un rigoroso processo di sviluppo “da zero”, che ha coperto ogni fase, dalla concettualizzazione del modello all’addestramento dei dati. Questa capacità di sviluppo end-to-end posiziona Motif come una delle pochissime aziende in Corea ad aver sviluppato internamente sia LLM che modelli multimodali (LMM), in seguito al rilascio del suo modello di generazione di immagini ‘Motif-Image-6B’ lo scorso luglio.
L’uscita di Motif 12.7B è particolarmente impressionante se si considera la velocità con cui è stato completato: sole sette settimane. Questo risultato è la testimonianza di un’eccezionale competenza nell’utilizzo efficiente dei cluster GPU e di un know-how di sviluppo LLM di altissimo livello, un aspetto che risponde direttamente alle sfide emergenti nel settore AI nazionale relative alla gestione efficiente delle infrastrutture di calcolo e alla garanzia di personale ad alte prestazioni. Il nuovo modello non è solo un miglioramento del suo predecessore, il ‘Motif 2.6B’, ma rappresenta un salto quantico in termini di capacità di inferenza ed efficienza di apprendimento.
La vera innovazione dietro le prestazioni rivoluzionarie di Motif 12.7B risiede in due tecnologie proprietarie sviluppate internamente, che il CEO Lim Jeong-hwan ha descritto come una riprogettazione rispettivamente del “cervello” e dell'”efficienza energetica” dell’LLM: la “Grouped Differential Attention (GDA)” e l'”Algoritmo di Parallelizzazione Muon Optimizer”.
Il meccanismo GDA affronta i limiti strutturali dell’esistente Differential Attention (DA). Mentre l’attenzione differenziale è efficace nel filtrare il rumore e migliorare la stabilità del modello, soffre di inefficienza computazionale a causa della sua esigenza di assegnare le “teste computazionali” in modo simmetrico per l’elaborazione dei segnali (informazioni rilevanti) e del rumore. Motif ha superato questo ostacolo allocando strategicamente e asimmetricamente le teste computazionali. Questo approccio ha permesso di ottenere le massime prestazioni ed espressività con la stessa quantità di calcolo, un risultato cruciale che ha migliorato l’inferenza e, contemporaneamente, ha contribuito ad alleviare il fastidioso fenomeno dell’allucinazione nell’AI.
Parallelamente, l’Algoritmo di Parallelizzazione Muon Optimizer risolve un problema endemico negli ambienti distribuiti multi-nodo, ovvero i colli di bottiglia causati dalla comunicazione e dalla sincronizzazione tra nodi, che riducono l’efficienza di apprendimento degli LLM. Questo algoritmo permette la sovrapposizione della pianificazione delle attività di elaborazione e comunicazione della GPU, eliminando di fatto la latenza di comunicazione e massimizzando l’utilizzo della GPU, con un drastico incremento dell’efficienza di apprendimento.
Un ulteriore elemento di differenziazione risiede nella capacità del modello di raggiungere elevate capacità di ragionamento logico e risoluzione dei problemi senza ricorrere al costoso e complesso processo di Apprendimento per Rinforzo (RL). Motif ha progettato il modello per eseguire autonomamente il ragionamento logico attraverso metodi di apprendimento supervisionato basato sull’inferenza (SFT).
Il modello è stato inoltre implementato con la capacità di valutare le caratteristiche della domanda dell’utente e decidere in modo autonomo se utilizzare il metodo “Pensa” o “Non pensare”. Questo calcolo ottimale per la situazione permette al modello di eseguire solo la quantità di calcolo necessaria per fornire la risposta, migliorando ulteriormente l’efficienza.
I risultati del benchmark sono una chiara dimostrazione della superiorità tecnologica di Motif. Nonostante i suoi 12,7 miliardi di parametri siano significativamente inferiori rispetto ad alcuni concorrenti, Motif 12.7B ha superato il modello Alibaba QOne 2.5 (72B), che vanta 72 miliardi di parametri, in attività cruciali per la valutazione delle capacità di ragionamento come ‘AIME25’, ‘GPQA-Diamond’ e ‘ZebraLogic’.
Anche nel confronto con un modello della stessa classe, come Gemma 3 12B di Google, Motif 12.7B ha ottenuto un punteggio migliore nell’indice di valutazione delle capacità di ragionamento.
Il CEO Lim Jeong-hwan ha riassunto l’importanza di questo rilascio affermando che “Motif 12.7B, completato con [GDA e Muon Optimizer], sarà un esempio che dimostra l’evoluzione strutturale dei modelli di intelligenza artificiale oltre il semplice miglioramento delle prestazioni e, allo stesso tempo, sarà una risposta modello per le aziende che desiderano un LLM conveniente e ad alte prestazioni”. Con questa tecnologia open source, Motif Technologies non solo rafforza la sua posizione, ma offre al mercato una soluzione che bilancia in modo innovativo la potenza del calcolo con l’efficienza dei costi.