Recentemente, un team di ricercatori di Zoom Communications ha introdotto una metodologia innovativa denominata “Chain of Draft” (CoD), che promette di trasformare il modo in cui i modelli linguistici affrontano problemi complessi, riducendo significativamente i costi operativi e migliorando le prestazioni complessive.
La “Chain of Draft” trae ispirazione dal modo in cui gli esseri umani risolvono problemi intricati. Quando affrontiamo un problema matematico o un enigma logico, tendiamo a annotare solo le informazioni essenziali, evitando dettagli superflui. Questo approccio conciso ed efficiente è stato emulato nei modelli linguistici di grandi dimensioni (LLM) attraverso CoD. Invece di fornire spiegazioni verbose e dettagliate, CoD si concentra sulle informazioni critiche necessarie per avanzare verso la soluzione, riducendo così la verbosità e migliorando l’efficienza.
I ricercatori hanno testato CoD su vari benchmark, tra cui il ragionamento aritmetico (GSM8k), il ragionamento basato sul buon senso (comprensione delle date e dello sport) e il ragionamento simbolico (compiti sul lancio della moneta). Uno degli esempi più notevoli ha coinvolto Claude 3.5 Sonnet nel rispondere a domande relative allo sport: l’approccio CoD ha ridotto la media delle parole utilizzate da 189,4 a soli 14,3, una riduzione del 92,4%, migliorando al contempo l’accuratezza dal 93,2% al 97,3%.
Questa riduzione nella verbosità si traduce direttamente in vantaggi economici per le imprese. Per un’azienda che elabora un milione di query di ragionamento al mese, l’adozione di CoD potrebbe ridurre i costi da $3.800 (utilizzando il metodo tradizionale Chain of Thought) a $760, con un risparmio mensile di oltre $3.000. Oltre ai risparmi economici, CoD offre una riduzione della latenza nelle applicazioni sensibili al tempo, migliorando l’esperienza dell’utente in settori come l’assistenza clienti in tempo reale, le applicazioni mobili, gli strumenti educativi e i servizi finanziari.
Uno degli aspetti più rilevanti di CoD è la sua semplicità di implementazione. A differenza di molte innovazioni nell’IA che richiedono costosi retraining dei modelli o cambiamenti architetturali, CoD può essere adottato immediatamente con i modelli esistenti attraverso una semplice modifica del prompt. Questo significa che le organizzazioni che già utilizzano il metodo Chain of Thought possono passare a CoD senza affrontare complessi processi di aggiornamento, ottenendo immediatamente i benefici in termini di efficienza e riduzione dei costi.