Nel processo di sviluppo dei Language Model più avanzati (LLM), gli sviluppatori spesso si scontrano con una serie di sfide. Un esperimento condotto da Jonathan Whitaker e Jeremy Howard di fast.ai ha recentemente evidenziato un problema finora poco esaminato legato a questi modelli: la cosiddetta “eccessiva sicurezza,” un concetto da non confondere con l’ampiamente discusso fenomeno dell’allucinazione nei LLM.
L’eccessiva sicurezza si manifesta quando il modello continua a insistere su determinate informazioni presenti nel set di dati, anche quando queste non sono rilevanti per la domanda posta. Questo fenomeno sembra essere il risultato di due noti aspetti: l’underfitting e l’overfitting.
Per chiarire, l’overfitting si verifica quando un modello diventa eccessivamente complesso e si adatta troppo strettamente ai dati di addestramento. L’underfitting, al contrario, si presenta quando il modello non ha a disposizione abbastanza dati di addestramento per effettuare previsioni accurate. Questo equilibrio tra bias e varianza è spesso definito come il “compromesso tra bias e varianza.”
Per affrontare questi problemi, gli sviluppatori hanno applicato diverse tecniche, alcune delle quali hanno funzionato, mentre altre hanno portato a ulteriori complicazioni. Nel caso degli studiosi di fast.ai, hanno condotto un esperimento in cui il modello è stato addestrato su un singolo esempio, ottenendo risultati sorprendentemente differenti da quanto previsto.
Quando il modello è stato esposto a nuovi dati, ha dimostrato un’eccessiva fiducia nelle sue previsioni, anche se queste si rivelavano errate. Questo contrasta con la consueta aspettativa che le reti neurali richiedano un vasto numero di esempi a causa delle irregolarità nelle superfici di perdita durante l’addestramento.
Per esemplificare, immaginate un modello linguistico addestrato su un completo set di dati medici per diagnosticare malattie basandosi sulle descrizioni dei pazienti. Quando gli vengono forniti casi con sintomi chiari e criteri diagnostici ben definiti, il modello assegna con fiducia elevate probabilità a specifiche malattie. Ad esempio, se un paziente presenta i tipici sintomi dell’influenza, il modello potrebbe assegnare una probabilità vicina a 1,0 alla diagnosi di influenza.
Tuttavia, in presenza di casi medici complessi con sintomi ambigui o più possibili malattie, il modello potrebbe distribuire le probabilità in modo più uniforme tra diverse opzioni diagnostiche, indicando la sua incertezza sulla diagnosi corretta.
Nel corso dell’addestramento dei classificatori basati su reti neurali, che tradizionalmente vengono esposti a estese serie di dati, Howard e Whitaker hanno notato che anche un singolo esempio input-output ha avuto un impatto significativo su questi modelli. Questo ha portato a un’eccessiva sicurezza, con il modello che assegnava una probabilità vicina a 1,0 alle sue previsioni anche quando queste erano errate.
Questa eccessiva fiducia, particolarmente nelle prime fasi dell’addestramento, ha sollevato interrogativi sulla gestione da parte delle reti neurali delle nuove informazioni e sul loro adattamento ad esse.
Tuttavia, è stato notato che il modello è stato in grado di apprendere a fare previsioni accurate dopo aver visto un solo esempio, dimostrando una notevole capacità di generalizzazione, che riduce il rischio di un eccessivo adattamento. L’obiettivo era quello di consentire alla macchina di apprendere in modo efficiente e di effettuare previsioni affidabili, regolando i suoi livelli di fiducia.
Mentre l’overfitting, fenomeno noto in cui un modello diventa troppo specifico per i dati di addestramento, è stato tradizionalmente una sfida nell’apprendimento automatico, il problema principale qui sembra essere l’eccessiva sicurezza. Queste osservazioni hanno portato a un risultato inaspettato: sebbene la perdita di addestramento del modello sia migliorata, la sua perdita di validazione, che misura le prestazioni su dati non utilizzati nell’addestramento, è peggiorata.
Come era prevedibile, l’esperimento ha scatenato un acceso dibattito su HackerNews. Quando un modello impara eccessivamente dai dati di addestramento, le sue prestazioni con nuovi dati possono risultare scadenti. Va notato che i ricercatori di fast.ai non stanno segnalando un problema, ma piuttosto sottolineano un’opportunità nel poter addestrare modelli con un solo esempio.
È interessante notare che i due fenomeni, eccessiva sicurezza ed overfitting, sono strettamente correlati. L’eccessiva sicurezza può spesso essere un sintomo dell’overfitting, in quanto un modello sovraadattato può apprendere il rumore statistico nei dati di addestramento, portandolo a essere eccessivamente fiducioso nelle previsioni, anche quando queste non sono corrette.
Tuttavia, l’eccessiva fiducia non è sempre una conseguenza dell’eccessivo adattamento. Un modello può essere troppo sicuro di sé se non è addestrato su dati sufficienti o se i dati di addestramento non rappresentano adeguatamente il mondo reale.
Va notato che Lucas Beyer, un ricercatore presso GoogleAI, ha chiarito che questi risultati sono specifici per la messa a punto di modelli pre-addestrati e non influenzano necessariamente il processo di iniziale pre-addestramento dei modelli. Ha anche sottolineato che tali risultati sono più rilevanti per gli scenari di messa a punto e potrebbero non avere la stessa importanza nell’addestramento di modelli partendo completamente da zero.
Infine, è emersa una critica al fatto che mancano dettagli sul modello di base utilizzato nell’esperimento e sull’eventuale utilizzo ripetuto dello stesso set di dati per l’addestramento, il che potrebbe aver contribuito all’overfitting e, di conseguenza, all’eccessiva sicurezza.