econdo quanto dichiarato da Sakana AI, il modello generativo di intelligenza artificiale (AI) è emerso attraverso un processo di fusione di tecnologie selezionando i punti di forza di più modelli di AI. Lillian Jones, coautrice dell’articolo Transformer, ha introdotto un sistema di intelligenza collettiva simile a un banco di pesci.
Sakana ha spiegato che ha presentato un metodo chiamato “Unione di modelli evolutivi” tramite un articolo intitolato “Evoluzione di un nuovo modello di fondazione: utilizzo dell’automazione nello sviluppo dei modelli”. Questo metodo ha prodotto tre modelli costruiti attraverso di esso.
L’obiettivo principale di ricerca di Sakana è creare nuovi modelli fondamentali applicando concetti ispirati alla natura, come l’evoluzione e l’intelligenza collettiva. Questo non implica l’addestramento di modelli individuali specifici, ma la creazione di una macchina che generi automaticamente un modello di base.
La fusione dei modelli è una tecnologia che combina due o più LLM in un unico modello. Si basa su tecnologie come SLERP, TIES-Merging, DARE e Passthrough. Questo metodo non richiede l’apprendimento come i singoli modelli esistenti, consentendo la costruzione economica del modello.
Sakana ha utilizzato questo approccio di fusione, costruendo un modello che si evolve nel corso delle generazioni attraverso due metodi: uno che seleziona e riorganizza gli strati dai modelli esistenti e li importa in un nuovo modello e un altro che combina parametri tra i modelli esistenti.
Durante lo sviluppo, sono stati incrociati tre modelli open source per creare più di 100 modelli discendenti. Solo i modelli con le migliori prestazioni sono stati selezionati e riutilizzati per creare il modello di prossima generazione.
I modelli presentati sono stati il LLM giapponese e il modello giapponese Vision-Language (VLM), che hanno dimostrato ottime prestazioni nei test benchmark.
Il VLM giapponese è stato in grado di gestire contenuti culturali specifici in modo eccellente e ha ottenuto i migliori risultati quando testato su un set di dati di origine giapponese.
Inoltre, questo metodo è stato applicato al “Modello di diffusione” per la generazione di immagini, ottimizzando la velocità di generazione.
Sakana ha introdotto tre potenti modelli base in giapponese sviluppati attraverso l’evoluzione tramite fusione dei modelli e ha sottolineato che questo è solo l’inizio di uno sviluppo a lungo termine.
Sakana, una startup fondata da Lillian Jones e David Ha, ha l’obiettivo di creare un modello di intelligenza artificiale adattabile all’ambiente come un banco di pesci. La società ha ricevuto il sostegno del governo giapponese per sviluppare modelli linguistici giapponesi.