È stato sviluppato un nuovo strumento per verificare se i modelli di intelligenza artificiale (IA) rispettano le normative dell’Unione Europea (UE). I test hanno rivelato che alcuni modelli all’avanguardia non soddisfano gli standard in aree cruciali come la sicurezza informatica e la gestione dei pregiudizi.
La startup svizzera Latticeflow ha lanciato il framework open source “COMPL-AI”, in collaborazione con l’ETH di Zurigo e l’Istituto bulgaro di informatica e intelligenza artificiale (INSAIT). Questo strumento è progettato per garantire che i modelli linguistici di grandi dimensioni (LLM) siano conformi ai requisiti normativi sull’IA.
Il framework utilizza 27 parametri di riferimento per valutare vari fattori, come la frequenza di output dannosi e la presenza di bias. Ogni parametro riceve un punteggio che va da 0 a 1.
Oggi, Latticeflow ha pubblicato le valutazioni per i principali LLM, con una classifica basata sulla conformità alle normative UE. I modelli di Alibaba, Anthropic, OpenAI, Meta e Mistral hanno ottenuto un punteggio medio di 0,75 o superiore.
Tuttavia, alcuni modelli hanno dimostrato la necessità di deviare risorse per raggiungere la conformità. Le aziende che non rispettano le leggi sull’IA rischiano multe fino a 35 milioni di euro, ovvero il 7% del loro fatturato annuo globale.
Nei test sui risultati discriminatori, che valutano i pregiudizi in base a genere e razza, il modello “GPT-3.5 Turbo” di OpenAI ha ottenuto solo 0,46 punti, mentre “Q1.5 72B Chat” di Alibaba ha segnato 0,37 punti. La maggior parte dei modelli ha mostrato prestazioni insoddisfacenti nell’area dell’equità.
Nel test di “Prompt Hijacking”, un attacco informatico che mira a rubare informazioni sensibili, il modello “Llama 2 13B Chat” di Meta ha ricevuto 0,42 punti. Anche l’istruzione “8x7B” di Mistral AI ha ottenuto un punteggio basso di 0,38. Al contrario, “Claude 3 Opus” ha ottenuto il punteggio più alto, con 0,89 punti. Molti modelli hanno registrato punteggi inferiori al 50%, destando preoccupazioni sulla loro capacità di difendersi dagli attacchi informatici.
Latticeflow ha notato che, in generale, i modelli chiusi sono stati più efficaci nel rispondere a jailbreak e attacchi di prompt injection, mentre i modelli open source sembrano prestare meno attenzione a questi aspetti.
Tuttavia, il framework ha delle limitazioni. Ad esempio, nel caso dei diritti d’autore, attualmente controlla solo i libri protetti. Il benchmark sulla privacy si concentra solo sul determinare se il modello ricorda informazioni personali specifiche.
Latticeflow prevede di espandere le funzionalità in futuro, includendo ulteriori misure di conformità man mano che verranno introdotte nella legislazione sull’IA. Lo strumento è gratuito e disponibile online per testare la conformità dei modelli.
In risposta a queste novità, l’UE ha accolto favorevolmente lo studio e la piattaforma di valutazione, considerandoli un passo importante per tradurre la legge sull’IA in requisiti tecnici.