Il Centro per la ricerca sui modelli di base (CRFM) dell’Università di Stanford ha rilasciato l’indice di trasparenza per i modelli di fondazione. Questo indice mira a sottolineare l’urgenza di maggiore trasparenza nell’AI, in un’epoca in cui il suo impatto sociale è crescente, ma la trasparenza stessa sta diminuendo.
I dati rilasciati sono preoccupanti. A quanto pare, i principali sviluppatori non stanno dando la dovuta importanza alla trasparenza. Il punteggio massimo raggiunto è stato solo del 54%, segnalando un gap significativo nel settore. Sebbene i modelli aperti come Llama 2 di Meta e BloomZ di Hugging Face abbiano guidato la classifica, è sorprendente notare GPT-4 di OpenAI, un modello proprietario, al terzo posto, superando Stable Diffusion di Stability.
Il team dietro questo studio, guidato da Rishi Bommasani e con il supporto del direttore Percy Liang, ha analizzato 10 giganti dell’IA come OpenAI, Google e Amazon. La loro valutazione ha considerato vari aspetti, dal tipo di dati e risorse utilizzati nella creazione dei modelli, all’effetto di questi modelli sul mondo esterno.
Liang ha evidenziato che l’indice non valuta solo se un modello è open-source o proprietario. Ciò che conta è come il modello è stato creato e il suo impatto.
Nonostante il modello Titan di Amazon abbia ottenuto un punteggio basso, Bommasani assicura che ciò non rifletta difetti nel modello, ma piuttosto il ritardo di Amazon nell’adottare standard di trasparenza.
La lezione da trarre? La trasparenza è essenziale. Le aziende devono realizzare che non basta essere bravi in un aspetto e trascurare gli altri. Come nel caso di Bloom di Hugging Face, che aveva una valutazione del rischio, ma la sua versione BloomZ no.
Secondo Liang, l’indice serve anche come riferimento su come dovremmo pensare alla trasparenza nell’IA. E, pur essendo preoccupato per gli attuali risultati, è ottimista per il futuro. Si aspetta miglioramenti nei prossimi mesi poiché le aziende inizieranno a sentire la pressione di essere più trasparenti e responsabili.