Immagine AI

SiMa.ai ha annunciato Palette 3.0, una nuova versione della propria piattaforma software destinata allo sviluppo e alla distribuzione di applicazioni di intelligenza artificiale sui processori Modalix. L’aggiornamento introduce modifiche all’architettura di esecuzione concorrente dei modelli, nuove implementazioni delle tecniche di speculative decoding e un ambiente per la consultazione dei benchmark relativi alle configurazioni hardware e software supportate. La piattaforma è destinata prevalentemente allo sviluppo di sistemi robotici, droni, telecamere industriali e dispositivi autonomi nei quali l’elaborazione dei dati visivi, l’interpretazione delle informazioni ambientali e la generazione di risposte in linguaggio naturale devono avvenire all’interno di un’infrastruttura computazionale caratterizzata da risorse energetiche e di memoria limitate. Le funzionalità introdotte sono utilizzabili sui processori Modalix già commercializzati.

Una delle principali modifiche riguarda il sistema di comunicazione tra le applicazioni e gli acceleratori hardware. Palette 3.0 permette ai processi di inoltrare le richieste direttamente ai driver del kernel del sistema operativo, eliminando un livello intermedio di gestione. Le diverse unità di elaborazione possono eseguire operazioni in parallelo, mentre il software consente di assegnare priorità alle singole richieste. In un sistema robotico dotato di telecamere, questa configurazione permette di attribuire una priorità superiore alle attività di riconoscimento degli oggetti e utilizzare le risorse disponibili per l’elaborazione delle richieste occasionali indirizzate al modello linguistico. SiMa.ai ha dimostrato l’esecuzione di un modello linguistico insieme a tre modelli vision-language sul medesimo processore, oltre a una configurazione costituita da sei container Docker impegnati in applicazioni differenti. Un’ulteriore dimostrazione ha riguardato l’elaborazione simultanea di 60 flussi video a 720p mediante YOLOv26, raggiungendo complessivamente 600 fotogrammi al secondo.

Per accelerare la generazione testuale, Palette 3.0 introduce il supporto agli algoritmi EAGLE3, DFlash e al sistema multi-token prediction di Gemma 4. Queste implementazioni utilizzano tecniche di decodifica speculativa attraverso cui vengono anticipate sequenze di token che il modello principale può successivamente verificare in modo congiunto. La riduzione del numero di operazioni sequenziali necessarie per completare la generazione permette di incrementare il throughput. Nelle misurazioni comunicate da SiMa.ai, i miglioramenti rispetto alla decodifica convenzionale risultano compresi tra 2,21 e 3,49 volte, con il valore più elevato ottenuto mediante DFlash N16 associato a Qwen3.5 9B. Un test separato, costituito da 900 richieste indirizzate a un assistente automobilistico, ha evidenziato accelerazioni comprese tra 1,35 e 2,06 volte, con la corretta generazione delle chiamate strutturate alle funzioni previste per tutte le richieste.

Le misurazioni del produttore indicano inoltre una riduzione stimata dell’energia utilizzata per ciascuna richiesta di elaborazione compresa tra il 25,9% e il 51,4%, a fronte di una potenza media sostanzialmente invariata. Il risparmio deriva dalla riduzione dei tempi di esecuzione delle operazioni e riguarda specificamente il contributo computazionale del processore. Palette 3.0 amplia anche il supporto ai modelli basati sull’architettura Mixture-of-Experts, consentendo l’esecuzione di GPT-OSS-20B di OpenAI su moduli Modalix dotati di 16 GB di memoria.

Il nuovo Model Browser permette di consultare le configurazioni supportate e analizzare informazioni relative a throughput, latenza, assorbimento energetico, occupazione della memoria, utilizzo della CPU ed esecuzione dei singoli livelli delle reti neurali. Gli sviluppatori possono confrontare differenti livelli di precisione numerica e valutare gli effetti della quantizzazione sulle prestazioni e sull’accuratezza. La piattaforma supporta inoltre procedure assistite da agenti AI per configurare i parametri di acquisizione delle telecamere senza ricompilare il codice applicativo. Il software può essere aggiornato anche su dispositivi privi di connessione Internet mediante pacchetti distribuiti localmente. Il kit di sviluppo Modalix DevKit 3.0 è commercializzato a 1.499 dollari e comprende il modulo di elaborazione, la scheda di supporto, l’alimentatore, l’involucro e 500 GB di memoria di archiviazione. La libreria Palette Neat è distribuita con licenza Apache 2.0.

Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)

Di Fantasy