La tendenza a sviluppare modelli linguistici sempre più grandi e complessi è stata predominante. Tuttavia, una recente ricerca di NVIDIA sfida questa visione, proponendo che i modelli linguistici compatti (SLM) siano non solo sufficienti, ma anche più adatti, flessibili ed economici per le applicazioni di AI agente. Questa prospettiva suggerisce una possibile rivoluzione nel modo in cui concepiamo e utilizziamo l’intelligenza artificiale nel mondo reale.
L’AI agente si riferisce a sistemi intelligenti che possono eseguire compiti autonomi, come la pianificazione, l’esecuzione di codice o la generazione di documenti, senza intervento umano diretto. Questi agenti sono progettati per affrontare attività ripetitive e specializzate, spesso con poca variazione, e non richiedono la comprensione linguistica generale offerta dai modelli linguistici di grandi dimensioni (LLM). In effetti, ciò di cui hanno bisogno è precisione, velocità e costi operativi contenuti.
Un modello linguistico compatto (SLM) è progettato per essere sufficientemente piccolo ed efficiente da funzionare localmente su dispositivi di consumo comuni, come laptop, smartphone o GPU personali, pur essendo abbastanza veloce e utile per compiti reali di agenti AI. Questi modelli sono ottimizzati per eseguire inferenze con bassa latenza, rendendoli ideali per applicazioni in tempo reale. Ad esempio, il modello Gemma 3n di Google supporta input di testo, immagine e audio, include capacità di elaborazione video e funziona con un’impronta di memoria dinamica di soli 2-3 GB, grazie all’innovazione delle embedding per strato di Google DeepMind.
La ricerca di NVIDIA sostiene che i SLM non sono solo adeguati, ma superiori per molte applicazioni di AI agente. Analizzando tre sistemi agenti open-source popolari—MetaGPT, Open Operator e Cradle—i ricercatori hanno scoperto che dal 40% al 70% delle chiamate LLM in questi sistemi potrebbero essere sostituite con SLM ben sintonizzati. Ciò indica che l’adozione di SLM potrebbe ridurre significativamente i costi e migliorare l’efficienza operativa senza sacrificare le prestazioni.
L’adozione di SLM per l’AI agente potrebbe avere implicazioni significative per l’industria. Le aziende potrebbero beneficiare di costi operativi inferiori, maggiore velocità di esecuzione e una maggiore autonomia nei loro sistemi intelligenti. Inoltre, l’uso di SLM potrebbe facilitare l’implementazione di AI in ambienti con risorse limitate, come dispositivi mobili o edge computing.