Il modello di lingua di grandi dimensioni espande la comprensione del linguaggio naturale, va oltre l’inglese
Uno dei casi d’uso principali per l’intelligenza artificiale (AI) è aiutare le organizzazioni a elaborare i dati di testo.
È un’area in cui l’elaborazione del linguaggio naturale e la comprensione del linguaggio naturale (NLP/NLU) sono una tecnologia fondamentale. Una di queste tecnologie LLM (large language model) fondamentali proviene dal rivale di OpenAI, Cohere , che ha lanciato la sua piattaforma commerciale nel 2021.
I fondatori della startup con sede a Toronto hanno beneficiato degli sforzi di ricerca sull’apprendimento automatico (ML) presso l’Università di Toronto, nonché dello sforzo di ricerca di Google Brain a Toronto guidato da Geoffrey Hinton, che ha esplorato gli approcci della rete neurale di apprendimento profondo. L’obiettivo di Cohere è andare oltre la ricerca per portare i vantaggi di LLM agli utenti aziendali.
“Avevamo questa visione di creare modelli linguistici di grandi dimensioni e quindi dare accesso alle aziende in modo che potessero creare cose interessanti con questa tecnologia che non potevano costruire internamente”, ha detto a VentureBeat Nick Frosst, cofondatore di Cohere.
Ad oggi, i modelli di Cohere si basavano sulla lingua inglese, ma ora le cose stanno cambiando. Oggi, l’azienda ha annunciato il rilascio di un LLM multilingue per la comprensione del testo in grado di comprendere e lavorare con più di 100 lingue diverse.
È un mondo multilingue e ora ci vive anche l’intelligenza artificiale
Cohere non è il primo LLM ad avventurarsi oltre i confini della lingua inglese per supportare le capacità multilingue.
BLOOM (che è l’acronimo di BigScience Large Open-science Open-access Multilingual Language Model) è stato lanciato ufficialmente a luglio. Lo sforzo BLOOM è sostenuto da una serie di organizzazioni tra cui HuggingFace e CNRS , l’Agenzia nazionale francese per la ricerca.
L’approccio multilingue di Cohere è leggermente diverso da BLOOM ed è inizialmente incentrato sulla comprensione delle lingue per aiutare a supportare diversi casi d’uso del linguaggio naturale. Il modello di Cohere non genera ancora effettivamente testo multilingue come BLOOM, ma questa è una capacità che secondo Frosst arriverà in futuro.
Nils Reimers, direttore dell’apprendimento automatico presso Cohere, ha spiegato a VentureBeat che tra i casi d’uso principali per l’approccio multilingue di Cohere c’è l’abilitazione della ricerca semantica tra le lingue. Il modello è utile anche per abilitare la moderazione dei contenuti in più lingue e per aggregare il feedback dei clienti.
“Cohere inizialmente si è concentrato solo sui modelli inglesi, ma abbiamo pensato che forse fosse un po’ noioso concentrarsi solo sui modelli inglesi perché la grande maggioranza della popolazione sulla Terra non parla inglese”, ha detto Reimers.
In che modo l’LLM di Cohere utilizza la comprensione del linguaggio naturale per diventare multilingue
Formare un LLM per essere multilingue non è un compito banale.
Reimers ha spiegato che in primo luogo, Cohere ha creato un ampio corpus di coppie di domande e risposte che includeva centinaia di milioni di punti dati in inglese e in lingue diverse dall’inglese. La formazione mirava a determinare quando lo stesso contenuto veniva presentato in lingue diverse.
Ad esempio, se è presente una riga di testo in inglese, che corrisponde alla stessa riga in arabo o in qualsiasi altra lingua, allineandola come vettore matematico in modo tale che il sistema ML capisca che le due parti di testo sono simili.
Pertanto, per un caso d’uso di moderazione dei contenuti, ad esempio, è possibile identificare una riga di testo che incita all’odio, indipendentemente dalla lingua in cui è scritta. può essere identificato.
“La creazione di modelli come questo richiede un bel po’ di calcolo, e richiede calcolo non solo per l’elaborazione di tutti i dati, ma anche per l’addestramento del modello”, ha affermato Frosst.
Guardando al futuro, l’obiettivo di Cohere è continuare a sviluppare le proprie capacità per comprendere meglio volumi di testo sempre più grandi in qualsiasi lingua.
“In generale, il futuro di Cohere in generale è continuare a creare modelli linguistici straordinari e renderli accessibili e utili alle persone”, ha affermato Frosst.
