Mentre Google consente agli utenti di fare la propria scelta per trovare le risposte, GPT-3 trae informazioni da più fonti per rispondere alle domande in linguaggio naturale
I sistemi di machine learning ora eccellono nelle attività per cui sono addestrati utilizzando una combinazione di set di dati di grandi dimensioni e modelli ad alta capacità. Sono in grado di eseguire una varietà di funzioni, dal completamento di un codice alla generazione di ricette. Forse il più popolare è la generazione di nuovi testi – un’apocalisse di contenuti – che scrivono non diversamente da un essere umano.
Nel 2018, il modello BERT (Bidirectional Encoder Representations from Transformers) ha acceso la discussione su come i modelli ML stavano imparando a leggere e parlare. Oggi, gli LLM o le macchine per l’apprendimento della logica stanno rapidamente sviluppando e padroneggiando un’ampia gamma di applicazioni.
In una generazione di text-to-anything con incredibili modelli AI-ML, è importante ricordare che più che comprendere la lingua, i sistemi sono ottimizzati per farla sembrare come loro. Parlando del dominio linguistico, la correlazione tra il numero di parametri e la sofisticatezza ha retto molto bene.
Gara di parametri
I parametri sono fondamentali per gli algoritmi di apprendimento automatico, una parte del modello addestrato utilizzando i dati storici. Il GPT-3 (Generative Pre-trained Transformer 3) di OpenAI, addestrato a 175 miliardi di parametri, è un modello linguistico autoregressivo che utilizza il deep learning per produrre testo simile a quello umano. Secondo OpenAI, il modello può essere applicato “a qualsiasi attività linguistica, inclusa la ricerca semantica, il riepilogo, l’analisi dei sentimenti, la generazione di contenuti, la traduzione, con solo pochi esempi o specificando la tua attività in inglese”.
Per contrastare questo, un trio di ricercatori di Google Brain ha svelato la prossima grande novità nei modelli linguistici dell’IA – un enorme sistema di trasformatori da un trilione di parametri – con l’aiuto di uno Switch Transformer “scarsamente attivato”. Google afferma : “Switch Transformers sono studenti di linguaggio naturale scalabili ed efficaci. Troviamo che questi modelli eccellono in una serie diversificata di compiti in linguaggio naturale e in diversi regimi di formazione, tra cui pre-formazione, perfezionamento e formazione multi-task”.
A questo punto, non è chiaro cosa intenda fare l’azienda con le tecniche descritte nel documento. C’è davvero di più in questo oltre a un semplice aumento di OpenAI, ma l’uso esatto del nuovo sistema è un po’ confuso.
Grande balzo in avanti nell’IA
Il modo in cui effettuiamo ricerche online non è cambiato da decenni, ma i ricercatori ora vogliono rendere l’esperienza simile a un’interazione con un esperto umano. Nel 2021, i ricercatori di Google hanno pubblicato una proposta per una riprogettazione radicale che elimina l’approccio di classificazione e lo sostituisce con un unico grande modello di linguaggio AI, una versione futura di BERT o GPT-3.
L’idea era che invece di cercare informazioni da una varietà di pagine web, gli utenti avrebbero posto domande e un modello linguistico addestrato su quelle pagine rispondesse direttamente. Questo approccio non solo cambia il modo in cui funzionano i motori di ricerca, ma anche il modo in cui interagiamo con loro.
Mentre Google consente agli utenti di fare la propria scelta per trovare le risposte, GPT-3 trae informazioni da più fonti per rispondere alle domande in linguaggio naturale. Il problema sta nel non tenere traccia di quelle fonti e nel non fornire prove per le sue risposte.
Uno dei ricercatori, di nome Donald Metzler, afferma che anche i migliori motori di ricerca oggi rispondono ancora con documenti che includono le informazioni richieste, non con le informazioni stesse. I motori di ricerca rispondono alle domande con risposte tratte da più fonti contemporaneamente. “È come se chiedessi consiglio al tuo medico e ricevessi un elenco di articoli da leggere invece di una risposta diretta”.
I ricercatori affermano che la soluzione è costruire e addestrare futuri GPT-3 e BERT per conservare i registri da dove provengono le parole. Affermano che nessun modello di questo tipo è ancora in grado di farlo, ma in linea di principio è possibile e ci sono primi lavori in quella direzione. “Se funziona, trasformerebbe la nostra esperienza di ricerca”, hanno affermato i ricercatori.
Chi può rispondere meglio?
È evidente che il GPT-3 di OpenAI sfida l’elaborazione del linguaggio naturale (NLP) di Google e l’enorme potenza di calcolo del ML. Simile a servizi cloud come AWS e Microsoft Azure, anche BERT di Google ci dà accesso alla potenza di calcolo su richiesta. Sebbene i due NLP condividano un’architettura simile, l’ampio set di parametri fa sì che GPT-3 diventi 470 volte più grande in termini di dimensioni.
Esperti come David Weekly E hanno riportato la fluidità con cui GPT-3 genera risposte, che è molto meglio di Google.
Weekly ha affermato di amare la capacità di GPT-3 di affrontare più domande in modi che i motori di ricerca non gestiscono ancora. Cerca ‘Perché dormiamo? Perché sogniamo?’ su Google per ottenere i seguenti risultati:
Quando utilizzato in GPT-3, i risultati erano molto più semplici e chiari da comprendere in termini pratici.
In effetti, GPT-3 fornisce risposte dirette mentre Google consiglia una risposta in linea alla domanda. È evidente che le risposte prodotte in GPT-3 sono ben sfumate, aggiungendo un tocco filosofico, quando richiesto. Tuttavia, Weekly afferma che anche l’eccessiva sicurezza di GPT-3 può essere problematica.
Tuttavia, gli utenti non hanno trovato alcuna reale differenza nelle risposte generate da una ricerca su Google.
“Google è stato bombardato dal SEO da molte fonti di bassa qualità che ottimizzano le visualizzazioni di pagina. Forse vedremo LLMO: Large Language Model Optimization sotto forma di avvelenamento di set di dati per aumentare determinate risposte LLM”, ha twittato un utente .
