L’ottimizzazione dei modelli linguistici di grandi dimensioni (LLM) rappresenta una sfida cruciale per le aziende che desiderano implementare soluzioni AI efficaci. Tradizionalmente, il fine-tuning di questi modelli richiede l’utilizzo di dati etichettati, un processo spesso oneroso e dispendioso in termini di tempo. Databricks, nota per la sua piattaforma di data lakehouse basata su Apache Spark, ha introdotto una metodologia innovativa denominata Test-time Adaptive Optimization (TAO), che promette di rivoluzionare questo paradigma.
L’addestramento e il fine-tuning degli LLM si basano storicamente su dati etichettati, ovvero informazioni corredate da annotazioni che guidano il modello nell’apprendimento. Tuttavia, la raccolta e l’etichettatura di tali dati rappresentano spesso un collo di bottiglia per le aziende, rallentando l’implementazione di soluzioni AI e aumentando i costi operativi. Questo “data labeling tax” obbliga le organizzazioni a scegliere tra ritardare il lancio dei loro progetti AI o accontentarsi di prestazioni subottimali derivanti dall’uso di modelli generici.
Per affrontare questa sfida, Databricks ha sviluppato TAO, una tecnica che permette di ottimizzare gli LLM utilizzando esclusivamente i dati di input già disponibili, eliminando la necessità di etichette. Questa metodologia sfrutta l’apprendimento per rinforzo e l’esplorazione sistematica per migliorare le prestazioni dei modelli, basandosi unicamente su esempi di query fornite dalle aziende. Il processo si articola in quattro fasi principali:
- Generazione Esplorativa di Risposte: Il sistema prende esempi di input non etichettati e genera molteplici risposte potenziali per ciascuno, utilizzando tecniche avanzate di prompt engineering.
- Valutazione delle Risposte: Le risposte generate vengono valutate per determinare quali siano le più efficaci o pertinenti rispetto all’input originale.
- Selezione delle Migliori Risposte: Attraverso un modello di ricompensa, il sistema identifica e seleziona le risposte di qualità superiore.
- Fine-Tuning del Modello: Le risposte selezionate vengono utilizzate come dati sintetici per affinare ulteriormente il modello, migliorandone le prestazioni senza ricorrere a dati etichettati esterni.
L’efficacia di TAO è stata dimostrata attraverso test su benchmark specifici, come FinanceBench, dove un modello Llama 3.1B, inizialmente con un punteggio del 68,4%, ha raggiunto l’82,8% dopo l’applicazione di TAO, superando modelli proprietari come GPT-4o di OpenAI. Questo risultato evidenzia il potenziale di TAO nel migliorare significativamente le prestazioni degli LLM senza la necessità di dati etichettati, offrendo alle aziende una soluzione più accessibile ed efficiente per personalizzare i modelli AI alle loro esigenze specifiche