Le aziende si trovano ad affrontare la sfida di integrare efficacemente una vasta gamma di strumenti e risorse nei loro modelli di linguaggio di grandi dimensioni (LLM). Questo processo è spesso ostacolato da metodi di integrazione tradizionali che presentano limitazioni significative.
Per superare queste difficoltà, i ricercatori della Soochow University in Cina hanno sviluppato Chain-of-Tools (CoTools), un framework innovativo progettato per migliorare l’interazione tra LLM e strumenti esterni.
Gli LLM moderni sono eccezionali nella generazione di testo, nella comprensione e nel ragionamento complesso. Tuttavia, per svolgere compiti pratici, è essenziale che interagiscano con risorse esterne come database e applicazioni. L’integrazione di questi strumenti è fondamentale per estendere le capacità degli LLM in scenari del mondo reale. I metodi tradizionali di integrazione presentano due approcci principali:
Rifinitura del modello (Fine-Tuning): Questo metodo prevede l’adattamento dell’LLM a specifici strumenti attraverso un ulteriore processo di addestramento. Tuttavia, limita l’uso del modello agli strumenti visti durante l’addestramento e può compromettere le capacità di ragionamento generale dell’LLM.
Apprendimento in-contesto (In-Context Learning – ICL): In questo approccio, l’LLM riceve descrizioni e esempi di utilizzo degli strumenti direttamente nel prompt. Sebbene offra maggiore flessibilità, la costruzione di prompt complessi può essere onerosa, e l’efficienza del modello diminuisce significativamente con l’aumento del numero di strumenti disponibili.
Questi metodi tradizionali non sono sempre praticabili, specialmente quando le aziende devono gestire un ampio e dinamico set di strumenti.
CoTools affronta le limitazioni dei metodi tradizionali combinando aspetti di rifinitura e comprensione semantica, mantenendo intatte le capacità di ragionamento dell’LLM. Invece di rifinire l’intero modello, CoTools addestra moduli leggeri e specializzati che lavorano in sinergia con l’LLM durante il processo di generazione. L’architettura di CoTools si compone di tre componenti principali:
- Tool Judge: Analizza lo stato nascosto dell’LLM durante la generazione del testo, determinando se è appropriato invocare uno strumento in quel punto specifico del ragionamento.
- Tool Retriever: Se il Tool Judge decide che è necessario uno strumento, il Tool Retriever seleziona il più adatto. Utilizzando rappresentazioni semantiche, può identificare strumenti “non visti” durante l’addestramento, garantendo flessibilità nell’uso di nuove risorse.
VentureBeat - Tool Calling: Una volta selezionato lo strumento, CoTools utilizza un prompt ICL focalizzato per invocarlo, evitando la necessità di includere esempi di tutti gli strumenti nel prompt iniziale. Il risultato dello strumento viene quindi reintegrato nel processo di generazione dell’LLM.
VentureBeat
Questo approccio consente alle aziende di integrare efficacemente una vasta gamma di strumenti, inclusi quelli non precedentemente visti, senza compromettere le prestazioni o la flessibilità del modello.
Le valutazioni di CoTools su compiti di ragionamento numerico e risposte a domande basate su conoscenze hanno evidenziato prestazioni paragonabili o superiori rispetto ad altri metodi, come ToolkenGPT. In scenari con un ampio numero di strumenti, CoTools ha dimostrato una selezione efficace, in particolare quando si trattava di strumenti non precedentemente visti.
Per le imprese, l’adozione di CoTools offre la possibilità di sviluppare agenti IA più potenti e adattabili, in grado di interagire con una vasta gamma di strumenti e risorse. Questo può portare a applicazioni più sofisticate e personalizzate, migliorando l’efficienza operativa e l’innovazione. La capacità di gestire strumenti non visti prima riduce la necessità di un addestramento costante e facilita l’integrazione di nuove tecnologie man mano che emergono.