Meta ha trovato una soluzione innovativa per affrontare la “maledizione inversa” che affligge i modelli linguistici di grandi dimensioni (LLM). Questo problema, noto come maledizione dell’inversione, si verifica quando un modello, pur comprendendo l’affermazione “A è B”, non è in grado di invertirla e rispondere con “B è A”.
Secondo quanto riportato da Mark Tech Post, i ricercatori del dipartimento di ricerca sull’intelligenza artificiale di Meta, noto come FAIR, hanno sviluppato un nuovo metodo chiamato “Reverse Training” per affrontare questa sfida.
La maledizione dell’inversione rappresenta un ostacolo cognitivo per i modelli di intelligenza artificiale, specialmente gli LLM, che faticano a riconoscere l’equivalenza delle frasi quando gli elementi dell’apprendimento vengono invertiti. Ad esempio, un LLM potrebbe identificare correttamente la frase “la madre di Tom Cruise è Mary Lee Pfeiffer”, ma potrebbe avere difficoltà con “il figlio di Mary Lee Pfeiffer è Tom Cruise”.
Il metodo di allenamento inverso proposto dai ricercatori FAIR è sorprendentemente semplice. Esso consiste nel raddoppiare la quantità di token per ciascuna parola nella stringa, rendendo così l’LLM capace di apprendere la stringa sia nella sua forma originale che nella sua forma invertita.
In pratica, questo significa addestrare l’LLM a comprendere la stringa “al contrario”. Ad esempio, trasformando la frase “Cruz è nato il 3 luglio 1962 a Syracuse, New York, da Mary Lee Pfeiffer” in “Mary Lee Pfeiffer ha dato alla luce Cruz il 3 luglio 1962 a Syracuse, New York”.
Questo approccio consente all’LLM di apprendere sia in avanti che all’indietro, aumentando così l’utilità dei dati. I risultati ottenuti con questo metodo sono stati significativi, con un modello addestrato all’indietro che ha superato notevolmente i modelli tradizionali nei test di comprensione delle relazioni.
Nel test per riconoscere le relazioni familiari tra celebrità e i loro discendenti, ad esempio, il modello addestrato all’indietro ha raggiunto un’accuratezza del 10,4%, rispetto all’1,6% registrato da un modello addestrato in modo tradizionale.