OpenAI ha presentato il 6 novembre 2026 BioBasicsBench, un benchmark sviluppato in collaborazione con Ligo, società specializzata nella progettazione di enzimi, per misurare la capacità degli agenti di intelligenza artificiale di interpretare direttamente i risultati degli esperimenti condotti nei laboratori biologici. Il sistema comprende 100 attività costruite a partire da dati sperimentali reali e si concentra sulle operazioni comunemente definite wet-lab, nelle quali l’analisi richiede la comprensione di osservazioni visive, misurazioni strumentali e informazioni relative ai protocolli adottati. A differenza delle valutazioni basate prevalentemente su immagini e grafici selezionati per le pubblicazioni scientifiche, BioBasicsBench utilizza materiali che rappresentano il lavoro quotidiano di laboratorio, inclusi esperimenti non riusciti, segnali ambigui, controlli potenzialmente inadeguati e risultati contraddittori. Le attività comprendono metodologie di analisi delle proteine, imaging cellulare, citometria, saggi quantitativi, tecniche basate sugli acidi nucleici e clonaggio molecolare. L’obiettivo consiste nel verificare se un modello sia in grado non soltanto di riconoscere elementi presenti nei dati, ma anche di interpretarli nel contesto sperimentale corretto e individuare i casi nei quali le evidenze disponibili non consentono di formulare conclusioni affidabili.
Le prove sono state elaborate da ricercatori utilizzando materiali provenienti dalle proprie attività sperimentali, tra cui immagini di gel elettroforetici e blot, piastre con colonie cellulari o batteriche, sequenze di immagini microscopiche, dati di sequenziamento, esportazioni numeriche dei lettori di micropiastre, fotografie delle postazioni di laboratorio e video delle procedure. Alcuni compiti richiedono l’analisi congiunta di più tipologie di dati, integrate da documentazione di riferimento come mappe plasmidiche e scale di confronto per l’identificazione delle bande. Per ciascuna attività sono stati definiti criteri di valutazione che considerano la correttezza delle misurazioni, la qualità delle spiegazioni, la capacità di utilizzare i controlli sperimentali e il riconoscimento dei limiti delle informazioni disponibili. Ogni prova è stata sottoposta a una revisione interna effettuata da un ricercatore Ligo diverso dall’autore, a una valutazione esterna condotta da uno scienziato con dottorato ed esperienza di laboratorio e a un controllo conclusivo comprendente istruzioni, dati, criteri di attribuzione del punteggio e risultati prodotti da un modello. La sperimentazione ha incluso 37 configurazioni differenti di modelli e livelli di ragionamento, con cinque esecuzioni per ciascuna delle 100 attività, per un totale di 18.500 risultati.
La valutazione utilizza il parametro mean reward, corrispondente alla percentuale media del punteggio disponibile ottenuta nelle diverse prove. Con l’impostazione xhigh, il livello di ragionamento più elevato utilizzato per tutti e sette i modelli esaminati, GPT-6 Astra ha raggiunto il 66,7%, con un intervallo di confidenza al 95% compreso tra il 60,3% e il 73,1%. GPT-5.6 Sol ha invece ottenuto il 43,8%, con un intervallo compreso tra il 37,6% e il 50,0%. La differenza è accompagnata da un minore numero medio di token generati nelle risposte: 4.704 per attività nel caso di Astra, contro 9.099 per Sol. Gli intervalli di confidenza sono stati calcolati attraverso un ricampionamento delle attività che mantiene raggruppate le cinque esecuzioni associate a ciascuna prova. I risultati indicano un miglioramento significativo delle prestazioni aggregate, ma non implicano che il modello più avanzato sia già in grado di sostituire autonomamente il giudizio scientifico richiesto nelle attività sperimentali.
Alcuni esempi mostrano come le differenze tra i modelli emergano soprattutto nell’interpretazione delle condizioni sperimentali. In una prova di imaging cellulare, GPT-5.6 Sol aveva classificato alcune cellule come morte sulla base di un segnale fluorescente, mentre Astra aveva rilevato la possibile interferenza tra due coloranti con finestre di rilevazione sovrapposte, richiedendo controlli ulteriori per distinguere correttamente i segnali. In un esperimento di clonaggio del DNA, Sol aveva considerato attendibile una piastra di controllo negativo priva di colonie, mentre Astra aveva individuato un’incongruenza nell’etichettatura: la piastra era associata alla kanamicina, mentre l’esperimento utilizzava ampicillina. Il controllo non poteva quindi essere interpretato come una verifica affidabile. In un’altra prova, relativa a cellule apparentemente scomparse durante l’osservazione microscopica, Sol aveva cercato una spiegazione biologica, mentre Astra aveva riconosciuto che le immagini appartenevano a uno z-stack, una sequenza acquisita a diverse profondità focali, nella quale la presenza o l’assenza apparente di una struttura può dipendere dal piano osservato.
Le valutazioni hanno tuttavia evidenziato errori rilevanti anche nel modello con il punteggio più alto. In un’attività di colony PCR, Astra aveva selezionato le corsie 4, 6, 7 e 8, interpretando erroneamente una maggiore dimensione del prodotto di amplificazione come indicatore di clonaggio riuscito, mentre la soluzione di riferimento identificava le corsie 5, 9 e 10. Un errore di questo tipo potrebbe determinare la successiva purificazione del plasmide sbagliato. In una prova microscopica, il modello aveva formulato una conclusione generale secondo cui i vacuoli cellulari risultavano più scuri del materiale circostante, nonostante alcune strutture presenti nelle immagini apparissero più chiare e le osservazioni intermedie dello stesso modello segnalassero variazioni di contrasto dipendenti dalla messa a fuoco. In un compito di conteggio delle colonie, Astra non aveva separato correttamente elementi ravvicinati, aveva ignorato alcune colonie visibili e ne aveva individuate altre in zone prive di crescita, producendo una sovrastima di circa il 12%. A parità di volume e diluizione del campione, la stessa differenza si sarebbe trasferita al calcolo dell’efficienza di trasformazione del DNA. BioBasicsBench documenta quindi sia il miglioramento delle capacità multimodali e del ragionamento sperimentale sia le difficoltà ancora presenti nel trasferire osservazioni corrette alle decisioni finali, soprattutto quando è necessario verificare la validità dei controlli o riconoscere che un risultato non è sufficientemente supportato dalle evidenze raccolte.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)