Un’analisi recente ha rivelato che il costo dei modelli di inferenza dell’intelligenza artificiale (IA) è più che doppio rispetto ai modelli non inferenziali. Questo accade perché i modelli di inferenza, durante il processo di risoluzione dei problemi, eseguono un pensiero complesso che genera una maggiore quantità di token, aumentando così il carico di lavoro dei ricercatori. Secondo quanto riportato da TechCrunch, che ha citato i dati di Artificial Analysis, un’agenzia di test IA di terze parti, il confronto tra modelli di inferenza e non inferenziali ha evidenziato una differenza di costo significativa.
Prendendo come esempio il modello di inferenza “o1” di OpenAI, il costo per testarlo su sette benchmark rappresentativi, tra cui MMLU-Pro, GPQA Diamond e SciCode, è stato di 2.767 dollari. Altri modelli di inferenza, come il “Claude 3.7 Sonnet” di Antropic, hanno avuto un costo di 1.485 dollari , mentre il modello “o3-mini-high” di OpenAI è costato 345 dollari. Anche il modello di inferenza economico “o1-mini” ha avuto un costo di valutazione di 141 dollari.
In confronto, i costi di valutazione dei modelli non inferenziali sono molto più bassi. Per esempio, il modello di OpenAI “GPT-4o”, rilasciato nel maggio 2024, ha avuto un costo di solo 109 dollari , e “Claude 3.5 Sonnet” è stato valutato a soli 81 dollari.
Questa differenza di costo è spiegata dal fatto che i modelli di inferenza eseguono un processo di pensiero più complesso, risolvendo i problemi passo dopo passo e generando un numero maggiore di token nel processo. I modelli di inferenza non si limitano a fornire risposte dirette, ma producono un “output di tipo pensiero”, che esprime verbalmente una serie di processi mentali. Questo processo naturalmente aumenta l’utilizzo dei token, che a sua volta comporta un maggiore consumo di risorse di calcolo e, di conseguenza, costi più elevati per i test.
Nel caso del modello “o1”, ad esempio, sono stati generati oltre 44 milioni di token durante il test, circa otto volte il numero di token prodotti da “GPT-4o”. Ciò ha comportato un aumento significativo delle risorse computazionali necessarie per il test, aumentando i costi operativi.
Inoltre, i prezzi per i modelli di inferenza IA di frontiera sono aumentati recentemente, aggravando ulteriormente l’onere economico per i ricercatori. George Cameron, fondatore di Artificial Analysis, ha sottolineato che l’azienda sta spendendo una notevole quantità di denaro per centinaia di valutazioni al mese. Con l’aumento della frequenza delle pubblicazioni dei modelli, anche i costi di valutazione sono cresciuti in modo esponenziale, creando una sfida crescente per la ricerca nell’ambito dell’intelligenza artificiale.