AMD ha presentato il suo primo Small Language Model (sLM), chiamato “AMD-135M”, per competere con Nvidia nel settore dei chip di intelligenza artificiale. Questo modello, ottimizzato per il proprio hardware, punta a evitare che Nvidia domini il mercato AI.
Il modello “AMD-135M” è stato recentemente rilasciato come open source sul sito web di AMD. Può essere scaricato e utilizzato gratuitamente sulla piattaforma AMD. Si tratta di un modello sviluppato da zero sull’acceleratore “MI250” di AMD e realizzato perfezionando “Rama 2” di Meta. Il codice di addestramento, i set di dati e i pesi sono stati rilasciati in open source per consentire agli sviluppatori di ricreare il modello e addestrare altri sLM o LLM.
Il modello è disponibile in due versioni: un modello linguistico (AMD-Llama-135M) e un modello di codifica (AMD-Llama-135M-code). Entrambi sono modelli on-device, ottimizzati per girare direttamente su hardware AMD. La versione linguistica è stata addestrata utilizzando i set di dati “Slim Pyjamas” e “Project Gutenberg”, mentre la versione di codifica ha utilizzato anche i dati “Starcoder”.
Nei test di benchmark, AMD-135M ha superato i modelli “Rama-68M” e “Rama-160M”, e ha ottenuto risultati simili a quelli di “GPT2-124M” e “OPT-125M”. Grazie a una tecnica chiamata “Decodifica speculativa”, il modello riesce a generare più token durante l’inferenza, migliorando la velocità.
AMD ha affermato che AMD-Llama-135M è circa 2,8 volte più veloce con l’acceleratore MI250, 3,88 volte più veloce con “Ryzen AI CPU 1” e 2,98 volte più veloce con “Ryzen AI NPU 2”, rispetto ai modelli simili.
Questo modello è stato pensato per funzionare sia nei data center che nei dispositivi edge, creando un flusso di lavoro end-to-end basato su GPU AMD e processori Ryzen. Può essere scaricato su Hugging Face per un utilizzo immediato.
Prima di questo lancio, AMD aveva già rilasciato un modello di generazione di immagini chiamato “Amuse 2.0” in versione beta, utilizzabile come AI on-device su PC con hardware AMD. AMD sta cercando di sviluppare sia hardware che software per espandere il proprio ecosistema AI, seguendo la stessa strategia di Nvidia.
Nel frattempo, Nvidia ha lanciato un nuovo modello multimodale di grandi dimensioni (LMM) con 72 miliardi di parametri, dichiarando la competizione con “GPT-4o” di OpenAI.