La comprensione del linguaggio naturale (NLU) è un concetto tecnico all’interno dell’argomento più ampio dell’elaborazione del linguaggio naturale . NLU è il processo responsabile della traduzione di parole umane naturali in un formato che un computer può interpretare. In sostanza, prima che un computer possa elaborare i dati della lingua, deve comprendere i dati.
Le tecniche per la NLU includono l’uso di sintassi e regole grammaticali comuni per consentire a un computer di comprendere il significato e il contesto del linguaggio umano naturale. L’obiettivo finale di queste tecniche è che un computer arrivi ad avere una comprensione “intuitiva” del linguaggio, in grado di scrivere e comprendere il linguaggio proprio come fa un essere umano, senza fare costantemente riferimento alle definizioni delle parole.
Definizione di NLU
Esistono numerose tecniche che gli informatici e gli esperti di PNL utilizzano per consentire ai computer di comprendere il linguaggio umano. La maggior parte delle tecniche rientra nella categoria dell ‘”analisi sintattica”. Le tecniche analitiche sintattiche includono:
lemmatizzazione
stemming
segmentazione delle parole
parsing
segmentazione morfologica
rottura della frase
parte dell’etichettatura vocale
Queste tecniche analitiche sintattiche applicano regole grammaticali a gruppi di parole e tentano di utilizzare queste regole per ricavarne il significato. Al contrario, NLU opera utilizzando tecniche di “analisi semantica”.
L’analisi semantica applica algoritmi informatici al testo, cercando di comprendere il significato delle parole nel loro contesto naturale, invece di fare affidamento su approcci basati su regole. La correttezza / incorrettezza grammaticale di una frase non è necessariamente correlata alla validità di una frase. Possono esserci frasi grammaticalmente corrette ma prive di significato, e frasi grammaticalmente errate ma che hanno un significato. Per distinguere gli aspetti più significativi delle parole, la NLU applica una varietà di tecniche intese a cogliere il significato di un gruppo di parole facendo meno affidamento sulla struttura e le regole grammaticali.
La NLU è un campo in evoluzione e mutevole ed è considerato uno dei problemi più difficili dell’IA. Sono in fase di sviluppo varie tecniche e strumenti per fornire alle macchine una comprensione del linguaggio umano. La maggior parte dei sistemi NLU ha alcuni componenti principali in comune. È richiesto un lessico per la lingua, così come un qualche tipo di parser di testo e regole grammaticali per guidare la creazione di rappresentazioni di testo. Il sistema richiede anche una teoria della semantica per consentire la comprensione delle rappresentazioni. Ci sono varie teorie semantiche usate per interpretare il linguaggio, come l’analisi semantica stocastica o la semantica ingenua.
Le tecniche NLU comuni includono:
Riconoscimento di entità nominate
Disambiguazione del senso delle parole
Il riconoscimento di entità nominate è il processo di riconoscimento delle “entità nominate”, che sono persone e luoghi / cose importanti. Il riconoscimento di entità nominate opera distinguendo concetti e riferimenti fondamentali in un corpo di testo, identificando entità nominate e inserendole in categorie come luoghi, date, organizzazioni, persone, lavori, ecc. I modelli supervisionati basati su regole grammaticali sono tipicamente utilizzati per eseguire il NER compiti.
La disambiguazione del senso della parola è il processo di determinazione del significato, o senso, di una parola in base al contesto in cui la parola appare. La disambiguazione del senso della parola fa spesso uso di parte dei tagger vocali per contestualizzare la parola di destinazione. I metodi supervisionati di disambiguazione del senso delle parole includono l’utente di macchine a vettori di supporto e l’apprendimento basato sulla memoria. Tuttavia, la maggior parte dei modelli di disambiguazione del senso delle parole sono modelli semi-supervisionati che utilizzano dati etichettati e non etichettati.
Esempi di applicazioni per la comprensione del linguaggio naturale
Esempi comuni di NLU includono ragionamento automatico, instradamento automatico dei ticket, traduzione automatica e risposta alle domande.
Ragionamento automatizzato
Il ragionamento automatizzato è una disciplina che mira a dare alle macchine un tipo di logica o ragionamento. È una branca della scienza cognitiva che si sforza di fare deduzioni basate su diagnosi mediche o di risolvere teoremi matematici in modo programmatico / automatico. NLU viene utilizzato per aiutare a raccogliere e analizzare le informazioni e generare conclusioni basate sulle informazioni.
Instradamento automatico dei biglietti
La NLU viene spesso utilizzata per automatizzare le attività del servizio clienti. Quando viene generato un ticket per il servizio clienti, i chatbot e altre macchine possono interpretare la natura di base delle necessità del cliente e indirizzarli al reparto corretto. Le aziende ricevono migliaia di richieste di supporto ogni giorno, quindi gli algoritmi NLU sono utili per dare la priorità ai ticket e consentire agli agenti di supporto di gestirli in modi più efficienti.
Traduzione automatica
È difficile tradurre con precisione il parlato o il testo da una lingua a un’altra. In effetti, la traduzione automatica è uno dei problemi più difficili in NLP e NLU. Molti sistemi di traduzione automatica si basano su regole linguistiche per tradurre tra le lingue, ma i ricercatori stanno perseguendo modi più sofisticati di tradurre tra le lingue. La traduzione automatica NLU cerca di consentire una traduzione più accurata preservando il contesto e le informazioni semantiche associate al testo di destinazione. I sistemi di traduzione automatica più accurati combinano regole linguistiche con algoritmi che estraggono significato semantico.
Domanda di risposta
Il riconoscimento vocale utilizza tecniche NLU per consentire ai computer di comprendere le domande poste con il linguaggio naturale. NLU viene utilizzato per fornire agli utenti del dispositivo una risposta nel loro linguaggio naturale, invece di fornire loro un elenco di possibili risposte. Quando si pone una domanda a un assistente digitale, la NLU viene utilizzata per aiutare le macchine a comprendere le domande, selezionando le risposte più appropriate in base a caratteristiche come entità riconosciute e il contesto delle dichiarazioni precedenti.
