OpenAI ha recentemente annunciato di aver individuato 16 milioni di schemi di movimento all’interno di “GPT-4”, un modello di intelligenza artificiale. Questo passo avanti ha permesso di comprendere meglio il funzionamento interno del Large Language Model (LLM).
I risultati di questa ricerca sono stati pubblicati sul sito web di OpenAI con il titolo “Scaling and valuting sparse autoencoders”.
Poiché il software generale è sviluppato da esseri umani, è possibile modificare o valutare la sua funzionalità una volta compreso il suo meccanismo. Tuttavia, l’intelligenza artificiale, essendo basata sull’apprendimento automatico delle reti neurali, risulta difficile da interpretare e modificare una volta completata.
Per rendere più comprensibile il funzionamento dei modelli di intelligenza artificiale, è necessario individuare le componenti utili per il calcolo neurale. OpenAI ha sviluppato un “codificatore automatico sparso” che ha permesso di identificare 16 milioni di funzionalità all’interno di GPT-4. Questo codificatore automatico è stato applicato con successo anche a “GPT-2 Small”.
Anche se questo passo avanti ha reso più accessibili alcune parti del funzionamento interno di GPT-4, OpenAI ha sottolineato che è ancora difficile interpretare l’intera operazione del modello e che è necessario ulteriore lavoro per comprenderlo appieno.
Questo studio rappresenta un progresso significativo verso la comprensione della “scatola nera” dell’intelligenza artificiale generativa e potrebbe contribuire a migliorarne la sicurezza.
Questo annuncio di OpenAI è simile a una ricerca simile condotta da Antropic il mese scorso, che ha anch’essa esplorato il funzionamento interno dei modelli di intelligenza artificiale.
Inoltre, anche Google ha contribuito a questa ricerca rendendo disponibile “Model Explorer”, uno strumento open-source per visualizzare le reti neurali e comprendere meglio il funzionamento dei modelli di intelligenza artificiale.
Questi sforzi sono fondamentali per affrontare le sfide legate alla sicurezza e alla trasparenza dell’intelligenza artificiale, che è diventata un campo di ricerca cruciale per le aziende che lavorano su modelli all’avanguardia.