Nel panorama in continua evoluzione dell’intelligenza artificiale (AI), le architetture Transformer hanno dominato la scena, alimentando modelli linguistici di grandi dimensioni (LLM) e applicazioni di AI generativa. Tuttavia, le sfide legate all’efficienza computazionale e all’ottimizzazione delle risorse hanno spinto la ricerca verso soluzioni alternative. In questo contesto, Liquid AI, una startup nata dal Massachusetts Institute of Technology (MIT), ha introdotto STAR (Synthesis of Tailored Architectures), un framework innovativo progettato per automatizzare la generazione e l’ottimizzazione delle architetture dei modelli AI.
L’approccio di STAR si distingue per l’utilizzo di algoritmi evolutivi e un sistema di codifica numerica, affrontando la complessa sfida di bilanciare qualità ed efficienza nei modelli di deep learning. A differenza dei metodi tradizionali che si basano su regolazioni manuali o template predefiniti, STAR impiega una tecnica di codifica gerarchica, denominata “genomi STAR”, per esplorare un vasto spazio di progettazione di potenziali architetture. Questi genomi facilitano processi di ottimizzazione iterativi, come la ricombinazione e la mutazione, permettendo a STAR di sintetizzare e perfezionare architetture su misura per specifici parametri e requisiti hardware.
Un aspetto cruciale dell’efficacia di STAR è la sua capacità di ridurre significativamente le dimensioni della cache rispetto ai Transformer tradizionali. Nei test condotti dal team di ricerca di Liquid AI, le architetture evolute da STAR hanno ottenuto riduzioni della cache fino al 37% rispetto ai modelli ibridi e al 90% rispetto ai Transformer. Questi miglioramenti in termini di efficienza non hanno compromesso la qualità, posizionando STAR come una soluzione promettente per superare le limitazioni delle architetture AI esistenti.