Introduzione alle reti neurali probabilistiche per principianti
Le Reti Neurali Probabilistiche (PNNS) sono una alternativa scalabile ai classici back-propagazione di reti neurali nella classificazione e riconoscimento di pattern applicazioni. Non richiedono i grandi calcoli richiesti dalle reti neurali standard. Possono anche funzionare con diversi tipi di dati di allenamento. Queste reti utilizzano il concetto di teoria della probabilità per ridurre al minimo le classificazioni errate quando applicate a un problema di classificazione. In questo articolo, discuteremo in dettaglio le reti neurali probabilistiche insieme al loro funzionamento, vantaggi, svantaggi e applicazioni. I punti principali da discutere in questo articolo sono descritti di seguito.
Sommario
Cos’è la rete neurale probabilistica (PNN)
Concetti preliminari
Struttura di PNN
Algoritmo di PNN
Vantaggi e svantaggi di PNN
Applicazioni di PNN
Cominciamo ora con la comprensione delle reti neurali probabilistiche in dettaglio.
Cos’è la rete neurale probabilistica?
Una rete neurale probabilistica (PNN) è una sorta di rete neurale feedforward utilizzata per gestire problemi di classificazione e riconoscimento di modelli. Nella tecnica PNN, la funzione di distribuzione di probabilità genitore (PDF) di ciascuna classe viene approssimata utilizzando una finestra Parzen e una funzione non parametrica. Il PDF di ogni classe viene quindi utilizzato per stimare la probabilità di classe dei nuovi dati di input e la regola di Bayes viene utilizzata per allocare la classe con la più alta probabilità a posteriori ai nuovi dati di input. Con questo metodo si riduce la possibilità di errata classificazione. Questo tipo di ANN è stato creato utilizzando una rete bayesiana e un approccio statistico noto come analisi discriminante di Kernel Fisher.
I PNN hanno mostrato molte promesse nel risolvere difficili sfide scientifiche e ingegneristiche. Di seguito sono riportati i principali tipi di difficoltà che i ricercatori hanno tentato di affrontare con la PNN:
Classificazione del modello di dati stazionari etichettati
Classificazione del modello di dati in cui i dati hanno una funzione di densità probabilistica variabile nel tempo
Applicazioni per l’elaborazione del segnale che funzionano con le forme d’onda come modelli di dati
Algoritmi non supervisionati per set di dati non etichettati, ecc.
Concetti preliminari
I PDF relativi alla classe devono essere stimati per le attività di classificazione perché determinano la struttura del classificatore. Di conseguenza, ogni PDF è contraddistinto da un insieme distinto di parametri. La covarianza e il valore medio sono necessari per le distribuzioni gaussiane e sono stimati dai dati del campione.
Supponiamo di avere anche una serie di campioni di addestramento che sono rappresentativi del tipo di funzionalità e classi sottostanti, ciascuno etichettato con la classe corretta. Ciò si traduce in difficoltà di apprendimento. Quando conosciamo la forma delle densità, ci troviamo di fronte a un problema di stima dei parametri.
Poiché non sono disponibili informazioni sui PDF relativi alla classe nella stima non parametrica, è necessario stimarli direttamente dal set di dati. Esistono numerosi approcci di riconoscimento di modelli non parametrici. I seguenti approcci di stima non parametrici sono concettualmente collegati a PNN.
Finestra Parzen
Il metodo della finestra di Parzen (noto anche come metodo della finestra di Parzen-Rosenblatt) è un metodo non parametrico popolare per stimare una funzione di densità di probabilità p(x) per un punto specifico p(x) da un campione p(x n ) che non richiede alcuna conoscenza preventiva o ipotesi sulla distribuzione sottostante.
Diamo un’occhiata a un semplice scenario unidimensionale per una migliore comprensione. L’obiettivo è calcolare il PDF p(x) alla data posizione x. Ciò richiede la determinazione del numero di campioni Nh all’interno dell’intervallo [x – h,x + h], quindi la divisione per il numero totale di vettori di caratteristiche M e la lunghezza dell’intervallo 2h. Otterremo una stima per il PDF in x utilizzando l’approccio specificato.
Stima delle densità condizionali di classe (note anche come “probabilità”) p(x|w i )I in un problema di classificazione del modello supervisionato utilizzando il set di dati di addestramento dove p(x) si riferisce a un campione multidimensionale che appartiene a una particolare classe w i è un’applicazione importante della tecnica della finestra Parzen.
K Il vicino più vicino
La lunghezza dell’intervallo è fissa nella stima delle finestre di Parzen, mentre il numero di campioni che rientrano in un intervallo varia da punto a punto. L’opposto è vero per k stima della densità del vicino più prossimo.
Il numero di campioni k che rientrano in un intervallo è fisso, mentre la lunghezza dell’intervallo intorno a x viene modificata ogni volta per includere lo stesso numero di campioni k. Possiamo generalizzare per il caso n-dimensionale: l’ipervolume V(x) è grande nelle aree a bassa densità e piccolo nelle aree ad alta densità. La regola di stima può ora essere data come,
e riflette la dipendenza del volume V (x). N è il numero totale di campioni, mentre k indica il numero di punti che si verificano all’interno del volume V. (x).
Struttura della rete neurale probabilistica
Quello che segue è il quadro di base di Specht per una rete neurale probabilistica (1990). La rete è composta da quattro livelli di base. Capiamoli uno per uno.
Livello di input
Ogni variabile predittore è rappresentata da un neurone nel livello di input. Quando ci sono N categorie in una variabile categoriale, vengono utilizzati N-1 neuroni. Sottraendo la mediana e dividendo per l’intervallo interquartile, l’intervallo di dati viene standardizzato. I valori vengono quindi inviati a ciascuno
Strato di modello
Ogni caso nel set di dati di addestramento ha un neurone in questo livello. Salva i valori delle variabili predittore del caso, nonché il valore di destinazione. Un neurone nascosto calcola la distanza euclidea tra il test case e il punto centrale del neurone, quindi utilizza i valori sigma per applicare la funzione kernel a base radiale .
Livello di sommatoria
Ogni categoria della variabile target ha un neurone pattern in PNN. Ogni neurone nascosto memorizza la categoria di destinazione effettiva di ogni evento di allenamento; il valore pesato emesso da un neurone nascosto viene fornito solo al neurone pattern che corrisponde alla categoria del neurone nascosto. I valori per la classe rappresentata dai neuroni del pattern vengono sommati.
Livello decisionale
Il livello di output confronta i voti ponderati accumulati nel livello del modello per ogni categoria di destinazione e utilizza il voto più grande per prevedere la categoria di destinazione.
Algoritmo della rete neurale probabilistica
Ci vengono forniti i vettori di funzionalità esemplari del set di addestramento. Conosciamo la classe a cui ognuno appartiene. Il PNN è configurato come segue.
Immettere il file contenente i vettori di esempio e i numeri di classe.
Ordinali in K insiemi, ognuno dei quali contiene una classe di vettori.
Creare una funzione gaussiana centrata su ciascun vettore esemplare nell’insieme k, quindi definire la funzione di output gaussiana cumulativa per ogni k.
Dopo aver definito il PNN, possiamo inserire i vettori e classificarli come segue.
Leggi il vettore di input e assegna la funzione gaussiana in base alle loro prestazioni in ciascuna categoria.
Per ogni cluster di nodi nascosti, calcolare tutti i “valori utili funzionali gaussiani” nei nodi nascosti.
Alimenta tutti i valori funzionali gaussiani dal cluster di nodi nascosti al singolo nodo di output del cluster.
Per ogni nodo di output di categoria, aggiungi tutti gli input e moltiplica per una costante.
Determina il più prezioso di tutti i valori utili sommati ai nodi di output.
Vantaggi e svantaggi delle reti neurali probabilistiche
Ci sono vari vantaggi, svantaggi e applicazioni nell’impiegare un PNN piuttosto che un perceptron multistrato.
Vantaggi
Le reti perceptron multistrato sono sostanzialmente più lente delle PNN.
I PNN hanno il potenziale per superare le reti di percettroni multistrato in termini di precisione.
I valori anomali non sono così evidenti nelle reti PNN.
Le reti PNN predicono i punteggi di probabilità target con elevata precisione.
I PNN si stanno avvicinando alla classificazione ottimale di Bayes.
Svantaggi
Quando si tratta di classificare nuovi casi, i PNN sono più lenti delle reti perceptron multistrato.
PNN richiede memoria extra per memorizzare il mod.
Applicazioni della rete neurale probabilistica
Di seguito possono essere le principali applicazioni delle reti neurali probabilistiche
Le reti neurali probabilistiche possono essere applicate alla previsione di classe di leucemia e tumori embrionali del sistema nervoso centrale.
Le reti neurali probabilistiche possono essere utilizzate per identificare le navi.
La gestione della configurazione dei sensori in una rete wireless ad hoc può essere eseguita utilizzando una rete neurale probabilistica.
Può essere applicato alla classificazione delle immagini di telerilevamento.
Il riconoscimento dei caratteri è anche un’importante applicazione delle reti neurali probabilistiche. Ci sono molte altre applicazioni dei PNN.
Parole finali
Abbiamo esaminato diversi componenti della PNN e le loro molteplici applicazioni in vari domini in questo testo. Dal semplice riconoscimento di pattern alla complicata classificazione delle forme d’onda, queste applicazioni coprono un’ampia gamma di argomenti. I PNN sono più efficaci se usati insieme ad approcci di estrazione e riduzione delle caratteristiche.
