Liquid AI, nota per la sua innovativa “rete neurale liquida”, ha recentemente presentato un nuovo modello di intelligenza artificiale ottimizzato per dispositivi mobili e edge, destinato a sostituire l’architettura tradizionale dei trasformatori. Questo modello, chiamato Hyena Edge, è stato testato sul Samsung Galaxy S24 Ultra, dove ha superato in prestazioni tutti i modelli basati su architettura Transformer, mostrando vantaggi significativi in termini di efficienza e velocità.
Il Liquid Foundation Model (LFM), che utilizza questa architettura proprietaria Hyena Edge, è stato presentato al pubblico durante l’evento ICLR 2025, il 25 aprile. Hyena Edge è un modello multi-ibrido che si basa sulla “convoluzione” e riduce la dipendenza dai tradizionali trasformer, con l’obiettivo di ottimizzare le prestazioni sui dispositivi mobili e edge. Questo approccio ha permesso al modello di migliorare l’efficienza computazionale, offrendo performance migliori sia in termini di velocità che di qualità, rispetto ai modelli basati su Transformer come SmallLM2 di HuggingFace, Pi di Microsoft, e Rama 3.2 1B di Meta.
Una delle principali innovazioni introdotte con Hyena Edge è la sostituzione di due terzi degli operatori di attenzione alle query di gruppo (GQA) con convoluzioni gated della serie Hyena-Y. Questo approccio ha reso l’architettura più leggera e ottimizzata per l’hardware mobile, riducendo al contempo l’uso della memoria e aumentando la velocità di elaborazione.
Il modello Hyena Edge è stato sviluppato grazie al framework STAR (Synthesis of Tailored Architectures), che automatizza il processo di creazione e ottimizzazione delle architetture IA. STAR si differenzia dai metodi tradizionali, poiché non si limita a progettare architetture fisse, ma esplora diverse soluzioni ottimizzate per obiettivi come latenza, utilizzo della memoria e qualità del modello.
Testato sul Samsung Galaxy S24 Ultra, Hyena Edge ha mostrato prestazioni superiori rispetto al tradizionale modello Transformer in vari parametri. In particolare, ha ridotto la latenza del 30% rispetto ai modelli precedenti, offrendo tempi di risposta più rapidi sia nel pre-riempimento che nella decodifica dei token. Inoltre, ha dimostrato un consumo di memoria inferiore durante l’elaborazione di sequenze di testo di diverse lunghezze, rendendolo ideale per dispositivi mobili con risorse limitate.
Dopo aver completato l’addestramento su 100 miliardi di token, Hyena Edge ha ottenuto ottimi risultati in numerosi benchmark, tra cui Wikitext, Lambda, PiQA, HellasWack, Winogrande e ARC-Easy, dimostrando performance superiori rispetto ai modelli basati su Transformer. In particolare, ha ottenuto un miglioramento significativo nei punteggi di “perplessità” su Wikitext e Lambda, e ha mostrato una maggiore precisione su PiQA, HellasWack e Winogrande.
Liquid AI ha sottolineato che Hyena Edge rappresenta un passo importante nelle applicazioni edge dell’IA, affermando che le architetture multi-ibride basate sulla convoluzione potrebbero portare a un’adozione più ampia dell’intelligenza artificiale ottimizzata per dispositivi mobili e edge. Inoltre, la società ha annunciato che diversi modelli basati su LFM, tra cui Hyena Edge, saranno resi open source nei prossimi mesi, aprendo la strada a un’ulteriore evoluzione delle architetture IA per dispositivi mobili e applicazioni edge.