L’apprendimento profondo mostra molte promesse nell’assistenza sanitaria , specialmente nell’imaging medico , dove può essere utilizzato per migliorare la velocità e l’accuratezza della diagnosi delle condizioni dei pazienti. Ma affronta anche un serio ostacolo: la carenza di dati di formazione etichettati.
In contesti medici , i dati di formazione hanno un costo elevato, il che rende molto difficile l’utilizzo del deep learning per molte applicazioni.
Per superare questo ostacolo, gli scienziati hanno esplorato diverse soluzioni con vari gradi di successo. In un nuovo documento , i ricercatori di intelligenza artificiale di Google suggeriscono una nuova tecnica che utilizza l’apprendimento auto-supervisionato per addestrare modelli di deep learning per l’imaging medico. I primi risultati mostrano che la tecnica può ridurre la necessità di dati annotati e migliorare le prestazioni dei modelli di deep learning nelle applicazioni mediche.
Preformazione supervisionata
Le reti neurali convoluzionali si sono dimostrate molto efficienti nelle attività di visione artificiale. Google è una delle numerose organizzazioni che ha esplorato il suo utilizzo nell’imaging medico . Negli ultimi anni, il braccio di ricerca dell’azienda ha costruito diversi modelli di imaging medico in domini come oftalmologia, dermatologia, mammografia e patologia.
“C’è molta eccitazione nell’applicare il deep learning alla salute, ma rimane impegnativo perché sono necessari modelli DL altamente accurati e robusti in un’area come l’assistenza sanitaria”, ha affermato Shekoofeh Azizi, residente di intelligenza artificiale presso Google Research e autore principale del sé -carta supervisionata.
Una delle sfide chiave del deep learning è la necessità di enormi quantità di dati annotati. Le grandi reti neurali richiedono milioni di esempi etichettati per raggiungere una precisione ottimale. In ambito medico , l’etichettatura dei dati è un’impresa complicata e costosa.
“L’acquisizione di queste ‘etichette’ in ambito medico è impegnativa per una serie di motivi: può richiedere molto tempo e denaro per gli esperti clinici e i dati devono soddisfare i requisiti di privacy pertinenti prima di essere condivisi”, ha affermato Azizi.
Per alcune condizioni, gli esempi sono scarsi, per cominciare, e in altre, come lo screening del cancro al seno, potrebbero volerci molti anni prima che i risultati clinici si manifestino dopo che è stata scattata un’immagine medica.
A complicare ulteriormente i requisiti dei dati delle applicazioni di imaging medico ci sono i cambiamenti nella distribuzione tra i dati di formazione e gli ambienti di distribuzione, come i cambiamenti nella popolazione dei pazienti, la prevalenza o la presentazione della malattia e la tecnologia medica utilizzata per l’acquisizione delle immagini, ha aggiunto Azizi.
Un modo popolare per affrontare la carenza di dati medici è quello di utilizzare la preformazione supervisionata. In questo approccio, una rete neurale convoluzionale viene inizialmente addestrata su un set di dati di immagini etichettate, come ImageNet. Questa fase sintonizza i parametri dei livelli del modello sui modelli generali che si trovano in tutti i tipi di immagini. Il modello di apprendimento approfondito addestrato può quindi essere messo a punto su un set limitato di esempi etichettati per l’attività di destinazione.
Diversi studi hanno dimostrato che il pre-addestramento supervisionato è utile in applicazioni come l’imaging medico, in cui i dati etichettati sono scarsi. Tuttavia, anche il pre-allenamento supervisionato ha i suoi limiti.
“Il paradigma comune per l’addestramento dei modelli di imaging medico è il trasferimento dell’apprendimento, in cui i modelli vengono prima pre-addestrati utilizzando l’apprendimento supervisionato su ImageNet. Tuttavia, c’è un grande cambiamento di dominio tra le immagini naturali in ImageNet e le immagini mediche e ricerche precedenti hanno dimostrato che tale pre-addestramento supervisionato su ImageNet potrebbe non essere ottimale per lo sviluppo di modelli di imaging medico”, ha affermato Azizi.
Preformazione autogestita
L’apprendimento autocontrollato è emerso come un’area di ricerca promettente negli ultimi anni. Nell’apprendimento auto-supervisionato, i modelli di deep learning apprendono le rappresentazioni dei dati di addestramento senza la necessità di etichette. Se fatto correttamente, l’apprendimento auto-supervisionato può essere di grande vantaggio in ambiti in cui i dati etichettati sono scarsi e i dati non etichettati sono abbondanti.
Al di fuori degli ambienti medici, Google ha sviluppato diverse tecniche di apprendimento auto-supervisionato per addestrare le reti neurali per attività di visione artificiale. Tra questi c’è il Simple Framework for Contrastive Learning ( SimCLR ), che è stato presentato alla conferenza ICML 2020. L’apprendimento contrastivo utilizza diversi ritagli e variazioni della stessa immagine per addestrare una rete neurale fino a quando non apprende rappresentazioni resistenti ai cambiamenti.
Nel loro nuovo lavoro, il team di ricerca di Google ha utilizzato una variante del framework SimCLR chiamata Multi-Instance Contrastive Learning (MICLe), che apprende rappresentazioni più forti utilizzando più immagini della stessa condizione. Questo è spesso il caso dei set di dati medici, in cui sono presenti più immagini dello stesso paziente, anche se le immagini potrebbero non essere annotate per l’apprendimento supervisionato.
“I dati non etichettati sono spesso disponibili in grandi quantità in vari ambiti medici. Una differenza importante è che utilizziamo più visualizzazioni della patologia sottostante comunemente presente nei set di dati di imaging medico per costruire coppie di immagini per l’apprendimento auto-supervisionato contrastivo “, ha affermato Azizi.
Quando un modello di deep learning auto-supervisionato viene addestrato su diversi angoli di visualizzazione dello stesso target, apprende più rappresentazioni che sono più robuste ai cambiamenti nel punto di vista, nelle condizioni di imaging e altri fattori che potrebbero influire negativamente sulle sue prestazioni.
Mettere tutto insieme
Il framework di apprendimento auto-supervisionato utilizzato dai ricercatori di Google prevedeva tre passaggi. Innanzitutto, la rete neurale di destinazione è stata addestrata su esempi dal set di dati ImageNet utilizzando SimCLR. Successivamente, il modello è stato ulteriormente addestrato utilizzando MICLe su un set di dati medici che ha più immagini per ciascun paziente. Infine, il modello viene messo a punto su un set di dati limitato di immagini etichettate per l’applicazione di destinazione.
I ricercatori hanno testato la struttura su due compiti di interpretazione di dermatologia e radiografia del torace. Rispetto al pre-addestramento supervisionato, il metodo auto-supervisionato fornisce un miglioramento significativo dell’accuratezza, dell’efficienza dell’etichetta e della generalizzazione fuori distribuzione dei modelli di imaging medico, che è particolarmente importante per le applicazioni cliniche. Inoltre, richiede dati molto meno etichettati.
“Utilizzando l’apprendimento auto-supervisionato, dimostriamo che possiamo ridurre significativamente la necessità di costosi dati annotati per costruire modelli di classificazione delle immagini mediche”, ha affermato Azizi. In particolare, nell’attività di dermatologia, sono stati in grado di addestrare le reti neurali in modo che corrispondano alle prestazioni del modello di base utilizzando solo un quinto dei dati annotati.
“Si spera che questo si traduca in un notevole risparmio di costi e tempo per lo sviluppo di modelli di IA medica. Speriamo che questo metodo ispiri esplorazioni in nuove applicazioni sanitarie in cui l’acquisizione di dati annotati è stata impegnativa”, ha affermato Azizi.
