Google AI & Infrastructure ha annunciato il 3 novembre 2026 il rilascio pubblico di una parte di Physical-Engineering’s Last Exam (PLE), un benchmark sviluppato in collaborazione con Mercor per verificare la capacità degli agenti di intelligenza artificiale di completare attività ingegneristiche professionali mediante elaborati tecnici effettivamente utilizzabili. Il sistema comprende 85 incarichi appartenenti a quattro discipline: 30 di ingegneria meccanica, 27 di ingegneria elettrica, 18 di ingegneria civile e 10 di ingegneria strutturale. La pubblicazione mette a disposizione 29 attività, strumenti di valutazione e un ambiente containerizzato per l’esecuzione dei test, accompagnati dall’apertura di una competizione pubblica e di una classifica dedicata agli agenti partecipanti. Lo studio scientifico era stato presentato inizialmente il 21 ottobre 2026 e aggiornato il 30 ottobre, mentre il rilascio del 3 novembre riguarda l’accessibilità degli strumenti e l’avvio della competizione. A differenza dei benchmark costituiti da domande teoriche o singole chiamate a strumenti, PLE richiede di sviluppare documentazione ingegneristica completa, verificando la conformità alle norme tecniche, ai vincoli fisici, ai requisiti progettuali e, quando previsto, agli obiettivi economici o prestazionali.
Ogni incarico viene eseguito all’interno di un ambiente di progetto isolato, realizzato sull’infrastruttura Archipelago di Mercor, e comprende mediamente 61 file. L’intero benchmark contiene 5.170 documenti, tra PDF, fogli elettronici, messaggi di posta elettronica, disegni CAD bidimensionali, modelli BIM tridimensionali e revisioni precedenti della documentazione. L’agente deve individuare quali versioni e prescrizioni siano applicabili, ricostruire i requisiti del progetto, eseguire i calcoli necessari e produrre elaborati come relazioni ingegneristiche, fogli di calcolo, programmi delle apparecchiature e disegni destinati alla successiva revisione da parte di professionisti abilitati. Delle 85 attività, 44 sono state sviluppate integralmente da ingegneri professionisti, compresi ambienti di progetto, richieste operative e criteri di valutazione ponderati. Le restanti 41 derivano da un processo di co-progettazione nel quale gli ingegneri hanno definito le richieste iniziali e un sistema adversarial Creator–Solver ha costruito e verificato ambienti e valutatori eseguibili, successivamente sottoposti al controllo degli esperti. La documentazione utilizzata non comprende informazioni proprietarie o riservate di clienti, ma materiali realizzati appositamente, di pubblico dominio o distribuiti mediante licenze permissive.
Il sistema di valutazione combina criteri documentali e verifiche eseguibili. Per le attività sviluppate dagli esperti vengono utilizzate rubriche ponderate che collegano i punteggi alle evidenze contenute negli elaborati prodotti. Nei compiti di progettazione co-sviluppati, la valutazione comprende invece il rispetto dei vincoli e il raggiungimento di un obiettivo economico o prestazionale, subordinato al superamento di controlli obbligatori di sicurezza e fattibilità. Quando un progetto non supera uno di questi controlli, non riceve il punteggio relativo all’obiettivo interessato, anche qualora altri requisiti risultino soddisfatti. Questo meccanismo permette di distinguere soluzioni formalmente conformi a diverse prescrizioni, ma caratterizzate da costi o prestazioni differenti. Google ha esaminato 14 modelli attraverso sette infrastrutture agentiche pubblicamente disponibili, effettuando tre esecuzioni per ciascuna configurazione. Ogni agente operava senza accesso a Internet e disponeva di un massimo di sei ore per completare il proprio incarico; la valutazione veniva svolta esternamente al container utilizzato dal sistema, impedendogli di consultare i valutatori e gli elaborati di riferimento.
Nel gruppo privato di 56 attività, tutti i modelli valutati attraverso i rispettivi ambienti agentici nativi hanno ottenuto risultati inferiori al 50%, con Claude Opus 5.5 in Claude Code al primo posto con il 48,3%. La valutazione separata condotta sull’intero insieme delle 85 attività ha invece registrato un massimo del 50,6% per la stessa combinazione, con un consumo medio di 27 milioni di token, una durata di 63 minuti e un costo stimato di 17,18 dollari per incarico ai prezzi di listino. Nelle attività co-sviluppate, la configurazione migliore ha soddisfatto il 91% dei singoli vincoli, ma soltanto il 41,3% degli elementi progettuali ha superato contemporaneamente tutti i controlli obbligatori di sicurezza e fattibilità. Il risultato evidenzia una differenza misurabile tra la capacità di rispettare numerose prescrizioni isolate e quella di completare un progetto interamente conforme. Google ha inoltre rilevato una differenza di circa 50 punti tra i modelli, contro una variazione mediana di tre punti tra le infrastrutture utilizzate con uno stesso modello, pur osservando effetti significativi sulla spesa e sui risultati delle singole esecuzioni. La variabilità media tra le tre prove di una stessa combinazione attività-agente è stata di 15,4 punti, motivo per cui la classifica utilizza valutazioni ripetute anziché risultati ottenuti da un’unica esecuzione.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)