Gli LLM (Large Language Models) sono un incubo etico e sembra che le soluzioni per risolvere i problemi siano difficili da trovare. Mentre gli utenti lottano con risultati problematici derivanti dai modelli linguistici, i ricercatori stanno facendo sforzi per affrontarli uno per uno.
Recentemente, un documento di ricerca collaborativo tra Stability AI, Meta AI Research e altre organizzazioni ha identificato una serie di problemi aperti, al fine di fornire ai ricercatori di Machine Learning una panoramica dello stato attuale del campo e renderli più produttivi. Questo documento si concentra sul design, il comportamento e la scienza che sta dietro ai modelli piuttosto che sugli aspetti politici, filosofici o morali.
Il documento individua anche 11 aree in cui gli LLM sono stati applicati con successo, fornendo una visione d’insieme del lavoro esistente e dei vincoli identificati nella letteratura. L’obiettivo è fornire una mappa su cui focalizzarsi per le ricerche future.
Un veterano data scientist, Jeffrey Ullman, vincitore del Premio Turing, ha fatto un paragone interessante riguardo ai bias negli algoritmi di apprendimento automatico. Questo ci fa riflettere sulla comprensione del “pregiudizio” introdotto dai modelli linguistici.
Uno dei problemi trattati nel documento è la tokenizzazione, ovvero il processo di suddivisione di una sequenza di parole o caratteri in unità più piccole. Questo processo può portare a una politica dei prezzi ingiusta per i modelli di linguaggio API, poiché il numero di token necessari per trasmettere la stessa informazione varia significativamente tra le lingue. Questo ha implicazioni importanti per i costi di utilizzo dei modelli.
Il prezzo elevato non riguarda solo i token, ma anche l’addestramento stesso dei modelli. Gli alti costi per l’addestramento di modelli linguistici come GPT-3 sono stati stimati in milioni di dollari. È necessario considerare attentamente le risorse di calcolo per un utilizzo successivo, piuttosto che focalizzarsi solo sul costo iniziale di addestramento.
Un altro problema riguarda la lunghezza del contesto, che può rappresentare una barriera per i modelli nel gestire input lunghi, ad esempio nella scrittura o nel riepilogo di romanzi o libri di testo. La ricerca ha dimostrato che dimensioni più piccole di LLM addestrate su dataset più ampi si sono dimostrate migliori, ma ciò comporta la sfida di adattare tali modelli per singole attività specifiche.
Il documento affronta anche altre questioni, come la fragilità del prompt, che può causare cambiamenti drastici nell’output, e problemi con i metodi di valutazione e test di riferimento per i modelli linguistici.
La distinzione tra contenuti generati dall’uomo e da intelligenza artificiale sta diventando sempre più sfumata, poiché gli strumenti di rilevamento dell’intelligenza artificiale sono disponibili online e alcune aziende stanno prendendo iniziative per etichettare i contenuti generati dall’IA.
L’allucinazione è un problema comune nei modelli linguistici, portando a informazioni errate generate dai modelli. Questo problema sta attirando l’attenzione di molte aziende, inclusa Hugging Face, un importante attore open source.
La ricerca dimostra anche che c’è ancora un divario di capacità tra modelli closed-source e open-source, ma ci sono sforzi per ridurre tale divario.
Gli autori del documento “Challenges and Applications of Large Language Models” concludono che i problemi individuati sono ancora senza soluzione. Il documento fornisce una guida per ulteriori ricerche sui modelli linguistici e mette in evidenza la mancanza di regolamentazione nell’ambito della formazione dei modelli, sottolineando la necessità di coinvolgere le parti interessate per affrontare questi problemi.