Da quando è stato pubblicato nel 2017 il documento di ricerca “L’attenzione è tutto ciò di cui hai bisogno”, il concetto di trasformatore ha dominato il campo dell’intelligenza artificiale generativa.
Ma ora, c’è un nuovo approccio che potrebbe superare i trasformatori. Si chiama “Jamba” ed è stato sviluppato da AI21 Labs. Jamba combina il modello Mamba, basato sul Structured State Space (SSM), con l’architettura del trasformatore per creare un modello di intelligenza artificiale generativa avanzato. Questo nuovo modello è rilasciato come open source con licenza Apache 2.0.
Jamba potrebbe non sostituire completamente i trasformatori esistenti, ma potrebbe essere un’aggiunta importante in alcune aree. Secondo AI21 Labs, Jamba può superare i tradizionali modelli basati su trasformatori in compiti di ragionamento generativo, ma al momento non riesce a superarli su altri compiti critici.
AI21 Labs si concentra principalmente sull’utilizzo dell’intelligenza artificiale per scopi aziendali ed è stata finanziata con 155 milioni di dollari nel 2023 per supportare i suoi progetti in crescita.
Uno dei prodotti principali di AI21 Labs è Wordtune, un servizio che aiuta le aziende a generare contenuti che riflettano il tono e il marchio dell’organizzazione. L’azienda ha anche dichiarato di competere direttamente con giganti come OpenAI nel settore aziendale.
Fino ad ora, la tecnologia di AI21 Labs si basava principalmente sugli LLM basati su trasformatori. Ma ora, con Jamba, stanno cercando di superare alcune delle limitazioni dei trasformatori, come la lentezza nell’inferenza con contesti lunghi e l’elevato consumo di memoria.
L’architettura ibrida di Jamba cerca di combinare l’ottimizzazione delle risorse e del contesto dell’architettura SSM con le potenti capacità di output di un trasformatore.
Jamba offre una finestra di contesto più ampia rispetto ad altri modelli e può fornire un throughput più veloce su contesti lunghi. Utilizza anche un modello “Mixture of Experts” per ottimizzare l’efficienza.
Attualmente, Jamba è ancora in fase di sviluppo e non fa parte dell’offerta commerciale di AI21 Labs, ma la società prevede di offrire presto una versione beta sulla sua piattaforma.