I parametri sono la chiave degli algoritmi di apprendimento automatico. Sono la parte del modello che viene appresa dai dati di addestramento storici. In generale, nel dominio del linguaggio, la correlazione tra il numero di parametri e la sofisticazione ha retto molto bene. Ad esempio, GPT-3 di OpenAI, uno dei più grandi modelli di linguaggio mai addestrati su 175 miliardi di parametri, può fare analogie primitive, generare ricette e persino completare il codice di base. In quello che potrebbe essere uno dei test più completi di questa correlazione fino ad oggi, i ricercatori di Google hanno sviluppato e confrontato tecniche che sostengono hanno permesso loro di addestrare un modello linguistico contenente più di un trilione di parametri. Dicono che il loro modello da 1,6 trilioni di parametri, che sembra essere il più grande delle sue dimensioni fino ad oggi, ha raggiunto una velocità fino a 4 volte superiore rispetto al precedente modello linguistico sviluppato da Google (T5-XXL). Come notano i ricercatori in un documento che descrive in dettaglio il loro lavoro, la formazione su larga scala è un percorso efficace verso modelli potenti. Architetture semplici, supportate da grandi set di dati e conteggi di parametri, superano algoritmi molto più complicati. Ma sebbene sia efficace, la formazione su larga scala è estremamente intensiva dal punto di vista computazionale. Ecco perché i ricercatori hanno perseguito quello che chiamano Switch Transformer, una tecnica "scarsamente attivata" che utilizza solo un sottoinsieme dei pesi di un modello, oi parametri che trasformano i dati di input all'interno del modello. Switch Transformer si basa su un mix di esperti, un paradigma del modello di intelligenza artificiale proposto per la prima volta all'inizio degli anni '90. Il concetto approssimativo è quello di mantenere più esperti, o modelli specializzati in compiti diversi, all'interno di un modello più grande e avere una "rete di gating" che sceglie qual...
Continua a Leggere