I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato potenzialità nella risoluzione di compiti di pianificazione e ragionamento. Tuttavia, i metodi tradizionali possono essere lenti, costosi e inaffidabili. I ricercatori della Cornell University e di IBM Research hanno sviluppato AutoToS, una nuova tecnica che unisce l’efficacia degli LLM con la velocità e l’accuratezza degli algoritmi di ricerca basati su regole, riducendo il bisogno di intervento umano e i costi computazionali.
L’interesse per l’uso degli LLM nella pianificazione è in crescita, ma gli approcci esistenti affrontano due sfide principali:
- Richiedono molte chiamate agli LLM, rendendo il processo costoso.
- Non garantiscono sempre che le soluzioni trovate siano complete e valide.
Thought of Search (ToS) è un approccio alternativo che utilizza gli LLM per generare codice per due funzioni chiave: la funzione successore, che esplora lo spazio di ricerca, e la funzione obiettivo, che verifica il raggiungimento dello stato desiderato. Questo metodo è più efficiente rispetto all’uso continuo degli LLM.
Tradizionalmente, ToS richiedeva un esperto umano per rivedere il codice generato, creando un collo di bottiglia. Con AutoToS, questo processo è automatizzato utilizzando test unitari e tecniche di prompting, eliminando la necessità di un intervento umano diretto.
AutoToS funziona in più fasi: l’LLM riceve la descrizione del problema e genera il codice per le funzioni. Vengono eseguiti test unitari; se un test fallisce, il modello riceve feedback per migliorare il codice. Una volta superati i test, le funzioni vengono inserite in un algoritmo di ricerca classico.
I ricercatori hanno testato AutoToS su vari compiti di pianificazione e ragionamento, come il 24 Game, BlocksWorld e Mini Crossword. Hanno scoperto che AutoToS riduce drasticamente il numero di chiamate agli LLM: per il 24 Game, il metodo tradizionale avrebbe richiesto circa 100.000 chiamate a GPT-4, mentre AutoToS ne ha necessitate solo 2,2 in media.
Questa efficienza potrebbe avere un impatto significativo nelle applicazioni aziendali, riducendo i costi e permettendo agli esperti di concentrarsi su compiti più complessi.
AutoToS rappresenta un passo avanti nell’IA neuro-simbolica, un approccio che combina deep learning e sistemi basati su regole. Gli sviluppatori sono entusiasti di come gli LLM possano migliorare la pianificazione e l’azione in contesti reali, aprendo la strada a agenti intelligenti sempre più sofisticati.