Il candidato AI non potrebbe superare i radiologi, ma un’ulteriore formazione potrebbe migliorare i risultati, affermano i ricercatori
L’intelligenza artificiale (AI) non è attualmente in grado di superare uno degli esami di radiologia qualificanti, suggerendo che questa promettente tecnologia non è ancora pronta a sostituire i medici, trova uno studio nel numero di Natale di The BMJ .
L’intelligenza artificiale viene sempre più utilizzata per alcuni compiti svolti dai medici, come l’interpretazione delle radiografie (raggi X e scansioni) per aiutare a diagnosticare una serie di condizioni.
Ma AI può superare l’esame Fellowship of the Royal College of Radiologists (FRCR), che i tirocinanti del Regno Unito devono sostenere per qualificarsi come consulenti di radiologia?
Per scoprirlo, i ricercatori hanno confrontato le prestazioni di uno strumento di intelligenza artificiale disponibile in commercio con 26 radiologi (per lo più di età compresa tra 31 e 40 anni; 62% donne) che avevano tutti superato l’esame FRCR l’anno precedente.
Hanno sviluppato 10 esami di segnalazione rapida “falsi”, basati su uno dei tre moduli che compongono l’esame FRCR di qualificazione, progettato per testare i candidati in termini di velocità e precisione.
Ogni finto esame consisteva in 30 radiografie allo stesso livello di difficoltà e ampiezza di conoscenza previsto per il vero esame FRCR o superiore. Per passare, i candidati dovevano interpretare correttamente almeno 27 (90%) delle 30 immagini entro 35 minuti.
Il candidato AI era stato addestrato per valutare le radiografie del torace e delle ossa (muscoloscheletriche) per diverse condizioni tra cui fratture, articolazioni gonfie e lussate e polmoni collassati.
Sono state prese in considerazione le immagini relative a parti del corpo in cui il candidato AI non era stato addestrato, che sono state ritenute “non interpretabili”.
Quando le immagini non interpretabili sono state escluse dall’analisi, il candidato AI ha raggiunto un’accuratezza media complessiva del 79,5% e ha superato due dei 10 esami FRCR fittizi, mentre il radiologo medio ha raggiunto un’accuratezza media dell’84,8% e ha superato quattro dei 10 esami fittizi.
La sensibilità (capacità di identificare correttamente i pazienti con una condizione) per il candidato AI era dell’83,6% e la specificità (capacità di identificare correttamente i pazienti senza una condizione) era del 75,2%, rispetto all’84,1% e all’87,3% di tutti i radiologi.
In 148 radiografie su 300 interpretate correttamente da oltre il 90% dei radiologi, il candidato AI era corretto in 134 (91%) e errato nei restanti 14 (9%).
In 20 radiografie su 300 che oltre la metà dei radiologi ha interpretato in modo errato, il candidato AI era errato in 10 (50%) e corretto nelle restanti 10.
È interessante notare che i radiologi hanno leggermente sopravvalutato la probabile prestazione del candidato AI, supponendo che si sarebbe comportato in media quasi quanto loro e li avrebbe superati in almeno tre dei 10 esami simulati.
Tuttavia, non è stato così. I ricercatori affermano: “In questa occasione, il candidato dell’intelligenza artificiale non è stato in grado di superare nessuno dei 10 esami simulati se valutato in base a criteri altrettanto rigorosi rispetto alle sue controparti umane, ma potrebbe superare due degli esami simulati se fosse stata concessa una dispensa speciale dal RCR per escludere le immagini su cui non era stato addestrato.
Si tratta di risultati osservativi e i ricercatori riconoscono di aver valutato solo uno strumento di intelligenza artificiale e di aver utilizzato esami fittizi che non erano cronometrati o supervisionati, quindi i radiologi potrebbero non aver sentito la stessa pressione per fare del loro meglio come si farebbe in un vero esame.
Tuttavia, questo studio è uno dei confronti incrociati più completi tra radiologi e intelligenza artificiale, fornendo un’ampia gamma di punteggi e risultati per l’analisi.
Ulteriore formazione e revisione sono fortemente raccomandate, aggiungono, in particolare per i casi che l’intelligenza artificiale considera “non interpretabili”, come le radiografie addominali e quelle dello scheletro assiale.
L’intelligenza artificiale può facilitare i flussi di lavoro, ma l’input umano è ancora cruciale, sostengono i ricercatori in un editoriale collegato.
Riconoscono che l’uso dell’intelligenza artificiale “ha un potenziale non sfruttato per facilitare ulteriormente l’efficienza e l’accuratezza diagnostica per soddisfare una serie di esigenze sanitarie”, ma affermano che farlo in modo appropriato “implica una migliore educazione dei medici e del pubblico sui limiti dell’intelligenza artificiale e renderli più trasparenti. “
La ricerca in questo argomento è in fermento, aggiungono, e questo studio evidenzia che un aspetto fondamentale della pratica radiologica – il superamento dell’esame FRCR necessario per la licenza per esercitare – beneficia ancora del tocco umano.
