In un’intervista esclusiva con VentureBeat, Itamar Arel , fondatore e CEO della startup AI Tenyx , ha rivelato che Tenyx ha messo a punto con successo il modello linguistico open source Llama-3 di Meta (ora noto come Tenyx-70B) per superare il GPT-4 di OpenAI in determinati domini, segnando la prima volta che un modello open source ha superato il gold standard proprietario.
Arel ha spiegato che la tecnologia di perfezionamento sviluppata da Tenyx consente di prendere un modello fondamentale e perfezionarlo o addestrarlo oltre ciò su cui è stato addestrato. Ha aggiunto che questa tecnologia consente di sfruttare una certa ridondanza nei modelli di grandi dimensioni, consentendo essenzialmente l’apprendimento continuo o incrementale.
Il nuovo approccio di Tenyx alla messa a punto affronta il problema del “dimenticamento catastrofico”, in cui un modello perde la conoscenza precedentemente appresa quando esposto a nuovi dati. Aggiornando selettivamente solo una piccola parte dei parametri del modello, Tenyx può addestrare in modo efficiente il modello su nuove informazioni senza compromettere le sue capacità esistenti.
Arel ha dichiarato che se si cambia solo il 5% dei parametri del modello, e tutto il resto rimane lo stesso, si può farlo in modo più aggressivo senza correre il rischio di distorcere altre cose. Ha aggiunto che questo metodo di aggiornamento selettivo dei parametri ha inoltre consentito a Tenyx di ottenere tempi di addestramento notevolmente rapidi, mettendo a punto il modello Llama-3 da 70 miliardi di parametri in sole 15 ore utilizzando 100 GPU.
L’impegno di Tenyx verso l’intelligenza artificiale open source traspare nella decisione di rilasciare il loro modello perfezionato, denominato Tenyx-70B , con la stessa licenza dell’originale Llama-3.
Arel ha sottolineato che credono fermamente nei modelli open source e che più progressi vengono condivisi con la comunità, più le applicazioni saranno interessanti e semplicemente migliori per tutti.
Le potenziali applicazioni della tecnologia di ottimizzazione post-formazione di Tenyx sono vaste e vanno dalla creazione di chatbot altamente specializzati per settori specifici all’abilitazione di aggiornamenti incrementali più frequenti sui modelli distribuiti, mantenendoli aggiornati con le informazioni più recenti tra le versioni principali.
Le implicazioni della svolta di Tenyx sono profonde e potenzialmente livellano il campo di gioco fornendo ad aziende e ricercatori l’accesso a modelli linguistici all’avanguardia senza i costi elevati e le restrizioni associate alle offerte proprietarie.