MOREH, azienda specializzata in soluzioni infrastrutturali per l’intelligenza artificiale (AI), ha annunciato il rilascio di ‘Llama-3-Motif-102B’, un modello linguistico di grandi dimensioni (LLM) con 102 miliardi di parametri, progettato per eccellere nella comprensione e generazione della lingua coreana. Questo modello, reso disponibile come open source sulla piattaforma Hugging Face, rappresenta un significativo avanzamento nella tecnologia AI focalizzata sul coreano.
Basato sul modello ‘Llama 3.0 70B’, ‘Llama-3-Motif-102B’ amplia notevolmente il numero di parametri, passando da 70 a 102 miliardi, con l’obiettivo di migliorare le prestazioni nella lingua coreana. Sebbene non siano disponibili confronti ufficiali con altri modelli nazionali, si ritiene che questo sia uno dei più grandi modelli linguistici coreani attualmente esistenti. Per esempio, si stima che ‘HyperCLOVA X’ di Naver abbia tra 70 e 80 miliardi di parametri.
Il modello ‘Motif’ è disponibile in due versioni: una pre-addestrata e una specializzata nell’esecuzione di istruzioni. Secondo Lim Jeong-hwan, direttore AI di MOREH, lo sviluppo del modello ha seguito tre fasi principali: massimizzare le prestazioni all’interno dello spettro coperto dai modelli esistenti, superare le capacità dei modelli precedenti e creare un LLM coreano completamente nuovo.
MOREH ha già ottenuto riconoscimenti nel campo degli LLM. All’inizio dell’anno, l’azienda ha presentato ‘MoMo-70B’, un modello inglese che ha raggiunto il primo posto nella ‘Open LLM Leaderboard’ di Hugging Face con un punteggio di 77,29, risultato ottenuto in soli tre mesi di sviluppo.
Per quanto riguarda le prestazioni in coreano, ‘Motif’ ha ottenuto un punteggio di 64,74 nel benchmark ‘KMMLU’, superando il modello base ‘Llama 3 70B’ che aveva ottenuto 54,5 punti. Questo risultato posiziona ‘Motif’ al di sopra di modelli come ‘GPT-4o’ di OpenAI (64,11 punti) e ‘Qwen-2’ di Alibaba (64,1 punti), nonché di modelli sviluppati da LG AI Research, Naver e Upstage.
Il miglioramento delle prestazioni è attribuito all’addestramento su un vasto corpus di 187 miliardi di token in coreano, che include non solo testi web, ma anche documenti specializzati come brevetti e rapporti di ricerca. MOREH ha sviluppato internamente l’infrastruttura e le tecniche necessarie per l’addestramento efficiente degli LLM, utilizzando la piattaforma ‘MoAI’ che consente un’elaborazione parallela avanzata.
Inoltre, l’azienda sta collaborando con il produttore di semiconduttori Tenstorrent per sviluppare soluzioni AI che superino le limitazioni delle GPU NVIDIA e del software proprietario CUDA. Questa partnership mira a creare soluzioni per data center AI che supportino sia l’inferenza che l’addestramento dei modelli fondamentali, con un lancio commerciale previsto per la prima metà del 2025.
Guardando al futuro, MOREH intende sviluppare un LLM coreano completamente nuovo, senza basarsi su modelli esistenti, e sta pianificando la creazione di una sussidiaria dedicata a questo scopo. L’azienda prevede anche di sviluppare modelli multimodali e LLM specializzati in settori come medicina, diritto e finanza.