METR, organizzazione indipendente specializzata nella valutazione delle capacità dei sistemi di intelligenza artificiale, ha completato un’analisi dei progressi compiuti da Anthropic nello sviluppo dei propri modelli, stimando che la velocità di miglioramento delle prestazioni sia aumentata di circa 1,9 volte rispetto al periodo precedente. La valutazione, pubblicata il 5 novembre 2026, prende in esame soprattutto la capacità dei modelli di completare attività chiaramente specificate e verificabili mediante benchmark. Utilizzando l’Anthropic Experimental Capability Index, o AECI, METR ha confrontato l’evoluzione registrata tra marzo 2024 e ottobre 2025 con quella osservata successivamente, fino a ottobre 2026. Il risultato indica che, a partire da ottobre 2025, le prestazioni misurate dall’indice sono cresciute a una velocità quasi doppia, con un intervallo di confidenza del 95% compreso tra 1,5 e 2,8 volte. Secondo questa stima, un miglioramento che avrebbe richiesto circa due anni mantenendo il ritmo precedente sarebbe stato conseguito in un solo anno. La valutazione comprende anche modelli non distribuiti pubblicamente e utilizza come riferimento temporale il momento in cui ciascuna versione è diventata disponibile alla maggior parte dei dipendenti Anthropic, anziché la data dell’eventuale rilascio commerciale.
L’analisi è stata condotta nell’arco di undici settimane, dal 12 agosto al 29 ottobre 2026, impiegando risorse equivalenti a 2,5 ricercatori a tempo pieno. METR ha esaminato risultati di benchmark interni, metriche relative al pretraining e al reinforcement learning, misurazioni della capacità computazionale impiegata nell’addestramento, documentazione aziendale e analisi sull’incremento di produttività ottenuto attraverso gli strumenti di intelligenza artificiale. Sono state inoltre realizzate circa quindici interviste con membri del personale coinvolti nelle attività di ricerca e sviluppo. La metodologia ha previsto controlli di robustezza modificando alcune ipotesi statistiche, tra cui la rappresentazione della difficoltà dei benchmark. Queste verifiche hanno prodotto stime di accelerazione comprese tra 1,1 e 2,9 volte, evidenziando una sensibilità significativa alle scelte metodologiche. METR considera quindi l’accelerazione un risultato probabile, ma non una misura esatta e indipendente dalle condizioni di valutazione.
Una delle conclusioni riguarda il contributo dell’intelligenza artificiale allo sviluppo di nuovi modelli. Secondo METR, l’AI avrebbe probabilmente determinato la maggior parte dell’accelerazione attualmente osservata, principalmente attraverso l’assistenza fornita ai ricercatori umani. L’organizzazione non attribuisce il cambiamento a una semplice crescita della potenza computazionale dedicata all’addestramento e ritiene che altri fattori, pur avendo avuto un ruolo importante alla fine del 2025, non spieghino completamente la prosecuzione del fenomeno. Le interviste hanno restituito valutazioni differenti, ma complessivamente compatibili con un’accelerazione vicina al raddoppio. Un’indagine informale condotta tra il personale Anthropic ha inoltre registrato, nell’ottobre 2026, una stima media individuale di incremento della produttività di circa dodici volte grazie ai modelli interni più avanzati. METR precisa tuttavia che queste risposte sono state raccolte con una procedura poco impegnativa, potrebbero non essere rappresentative e non possono essere trasformate direttamente in una misura dell’aumento di produttività dell’intera organizzazione.
L’analisi distingue l’assistenza fornita ai ricercatori dalla capacità dei sistemi artificiali di svolgere autonomamente attività scientifiche decisive. Secondo la valutazione, i modelli non sarebbero ancora in grado di fornire contributi altamente significativi e completamente autonomi alle operazioni fondamentali di addestramento, anche se alcuni ricercatori hanno segnalato progressi che potrebbero anticipare il raggiungimento di tale capacità. METR non ha inoltre individuato prove convincenti dell’esistenza di ostacoli destinati a limitare in modo sostanziale il progresso nell’arco dei successivi dodici mesi, considerando fattori come disponibilità di dati, capacità computazionale per l’addestramento e gli esperimenti e avanzamento algoritmico. L’organizzazione riconosce però un livello elevato di incertezza e segnala il rischio che la diminuzione degli ostacoli alla ricerca possa produrre un’ulteriore accelerazione delle capacità, senza presentare questa possibilità come un risultato già osservato.
La valutazione presenta limitazioni importanti. AECI misura prevalentemente attività ben definite, con risultati facilmente verificabili, e potrebbe quindi non rappresentare in modo proporzionale le prestazioni dei modelli in situazioni operative meno strutturate. Alcuni miglioramenti potrebbero dipendere dall’adattamento ai benchmark o da condizioni particolari del periodo storico utilizzato come riferimento. METR segnala inoltre che uno dei modelli valutati, identificato come Model 4, ha superato il 50% in tutti i quindici benchmark considerati, creando il rischio di saturazione degli strumenti di misura. L’organizzazione ha avuto accesso a una quantità significativa di informazioni interne, ma non ha potuto utilizzare direttamente modelli non pubblici né operare con gli stessi privilegi di un dipendente Anthropic. La società ha inoltre mantenuto il controllo sulle richieste di informazioni e sulle parti della documentazione destinate alla pubblicazione, oscurando gran parte degli elementi ritenuti più rilevanti per attribuire l’accelerazione all’intelligenza artificiale e valutare i possibili limiti futuri. METR ha mantenuto autonomia nella metodologia e nelle conclusioni, non ha ricevuto compensi economici e ha utilizzato dispositivi Anthropic e token gratuiti. Il risultato rappresenta quindi una valutazione indipendente basata su informazioni interne ampie ma soltanto parzialmente verificabili dal pubblico.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)