Google ha annunciato l’ultima versione del suo modello di linguaggio medico di grandi dimensioni, chiamato MedPaLM, durante il suo evento annuale “The Check Up”. Il team MedPaLM 2 ha rivelato che il loro modello ha ottenuto un punteggio dell’85% sulle domande degli esami medici (USMLE MedQA), un livello che è comparabile a quello di un medico “esperto”. Questo rappresenta un miglioramento del 18% rispetto alle prestazioni precedenti di Med-PaLM, superando anche altri modelli di intelligenza artificiale, come GPT-4.
Il team ha inoltre testato il modello su altri benchmark come MedMCQA e MMLU, ottenendo risultati positivi. I valutatori, composti da clinici e non clinici provenienti da diversi background e paesi, hanno testato i modelli rispetto a 14 criteri che includevano fattori quali accuratezza scientifica, esattezza, conformità con il consenso medico, pensiero logico, parzialità e potenziale danno.
Tuttavia, Google ha identificato disparità significative e si è impegnata a collaborare con ricercatori e operatori sanitari per ridurre queste disparità e migliorare i servizi sanitari.
Google Research e DeepMind hanno inizialmente rilasciato il modello chiamato MedPaLM nel dicembre 2022, che è stato valutato utilizzando un nuovo benchmark di risposta alle domande mediche open source chiamato MultiMedQA. Il sistema di intelligenza artificiale aveva ottenuto un punteggio di superamento di oltre il 60% su domande a scelta multipla, simili a quelle utilizzate negli esami di licenza medica negli Stati Uniti. Questa era la prima volta che un tale sistema era stato in grado di farlo con successo.
Il modello utilizzato dal team è PaLM, un modello linguistico di grandi dimensioni con 540 miliardi di parametri, e la sua variazione sintonizzata sulle istruzioni chiamata Flan-PaLM. Questi modelli sono stati utilizzati per valutare altri modelli linguistici di grandi dimensioni utilizzando MultiMedQA.
Google ha anche lanciato l’API PaLM subito prima del GPT-4 di OpenAI. L’ultima API consente alle aziende e agli sviluppatori di creare applicazioni utilizzando il modello di linguaggio di grandi dimensioni SOTA di Google, che è identico a quello impiegato in Ricerca, YouTube e Gmail. Google offre l’accesso ai suoi modelli sottostanti per la prima volta.