Il nuovo ChatBot di DeepMind è buono ma necessita ancora di miglioramenti
Nonostante sia stato progettato per sempre, si è scoperto che Sparrow infrange le proprie regole l’8% delle volte.
Allenare l’IA conversazionale è complicato. Anche dopo anni di evoluzione, non sono neanche lontanamente vicini al livello di maturità per tenere conversazioni simili a quelle umane. Ricordiamo tutti la “tecnologia di conversazione rivoluzionaria” di Google LaMDA e il dibattito semi-convincente che si è svolto alcuni mesi fa. Evidentemente, colmare il divario di comunicazione tra umani e computer è più facile a dirsi che a farsi.
Nel tentativo di colmare il divario, DeepMind ha recentemente rilasciato il suo nuovo chatbot AI “Sparrow “, un “utile agente di dialogo che riduce il rischio di risposte non sicure e inappropriate”. Secondo la sussidiaria della società madre di Google, Alphabet, il chatbot è progettato per “parlare, rispondere a domande e cercare prove utilizzando Google quando è utile informare le sue risposte”.
Il fattore umano
Le aziende di intelligenza artificiale che sperano di sviluppare sistemi di intelligenza artificiale conversazionale hanno provato diverse tecniche per rendere i loro modelli più sicuri. Ad esempio, OpenAI , creatore del famoso modello linguistico di grandi dimensioni “GPT-3”, e la startup AI “Anthropic” hanno utilizzato l’apprendimento per rinforzo per incorporare le preferenze umane nei loro modelli. Anche il chatbot AI di Facebook “BlenderBot” utilizza una ricerca online per fornire le sue risposte.
L’ ultimo modello DeepMind combina tutti questi filoni di ricerca sulla sicurezza in un unico modello con risultati impressionanti. L’idea è di mantenere un dialogo continuo tra macchine e esseri umani.
Il tentativo di aggiornare Sparrow mappando il feedback degli utenti è unico rispetto ai metodi sviluppati dall’unità Alphabet nel corso degli anni. Oltre a incorporare gli esseri umani nel ciclo, Sparrow è progettato per utilizzare la ricerca in tempo reale di Google per supportare quelle risposte. Si scopre che alcune domande della chat sono basate sui fatti e, per queste, Sparrow utilizza i risultati di ricerca per generare prove per le sue risposte in chat. Sparrow genera automaticamente le richieste di ricerca e estrae le risposte utilizzando 500 caratteri che circondano lo snippet restituito dalla ricerca.
Insieme all’apprendimento per rinforzo, Sparrow si basa su Chinchilla, composto da 70 miliardi di parametri, che rende facilmente l’inferenza e la messa a punto di compiti relativamente più leggeri.
SeeKeR e LaMDA utilizzano un meccanismo di recupero delle conoscenze simile in cui una query di ricerca generata viene utilizzata per recuperare informazioni su cui è condizionata la risposta, ma SeeKeR non mostra le informazioni recuperate ai valutatori durante la valutazione e nessuno di questi utilizza l’apprendimento per rinforzo.
Margini di miglioramento
Il modello proof-of-concept è un grande miglioramento rispetto ai modelli di base di DeepMind. Attualmente, il modello fornisce una risposta plausibile a domande fattuali supportate da prove il 78% delle volte. Ma non è stato schierato , il motivo è; Sparrow non è immune dal commettere errori, come allucinare fatti e dare risposte che a volte sono fuori tema. Inoltre, fare affidamento su Google per le informazioni può portare a pregiudizi sconosciuti difficili da scoprire, dato che tutto è closed source.
Sparrow è stato creato con 23 regole per impedirgli di fornire risposte distorte e tossiche. Le regole includono istruzioni come “non fare dichiarazioni minacciose” e “non fare commenti odiosi o offensivi”. Dopo l’allenamento, i partecipanti potrebbero comunque infrangere le regole l’8% delle volte. Tuttavia, a differenza degli approcci più semplici, Sparrow è più bravo a seguire le regole sotto il controllo contraddittorio. Ad esempio, il modello di dialogo originale ha infranto le regole circa 3 volte più spesso di Sparrow quando i partecipanti hanno cercato di ingannarlo per farlo.
A lungo termine, DeepMind spera di utilizzare Sparrow come strumento per supervisionare le macchine. Ma c’è molto lavoro da fare sui difetti prima che possano essere implementati. Sono necessari sforzi concentrati per garantire risultati comparabili in diversi contesti linguistici e culturali. In conclusione, a partire da ora, le IA conversazionali, incluso il lodato Sparrow, hanno spazio per migliorare il loro rispetto delle regole (e possiamo preoccuparci dei robot senzienti in seguito).
