I Costi Associati all’Uso degli LLM per le Imprese
Le aziende stanno indagando sui costi legati all’adozione dei modelli di linguaggio come LLM. Sebbene i modelli OpenAI siano riconosciuti per la loro eccellenza, stanno emergendo modelli open source come Llama 2, Falcon 180-B e Mistral 7B che si avvicinano alle performance di GPT-4 e stanno guadagnando popolarità.
Dilemma della Selezione: Le aziende ora devono valutare se optare per modelli specifici del settore o modelli generalisti. La scelta tra questi LLM richiede una riflessione attenta, bilanciando le esigenze di costi e prestazioni. Abhishiek Choudhary, il CTO di TrueFoundry, sottolinea che la scelta dell’LLM ideale dipende dal caso specifico di utilizzo e dai fattori che influenzano i prezzi.
Determinanti dei Costi degli LLM:
- Dimensione del Modello: Grandi LLM con molti parametri richiedono risorse computazionali superiori, portando a costi maggiori. Ad esempio, l’addestramento di GPT-4 è costato oltre 100 milioni di dollari a OpenAI.
- Lunghezza del Contesto: Maggiore è la lunghezza del contesto, maggiore sarà la capacità del modello di comprendere e generare testo, ma anche i costi computazionali saranno superiori.
Analisi dei Costi basata su Diversi Criteri: Choudhary ha presentato tre metodi principali attraverso cui le aziende possono stimare i costi dei modelli, soprattutto quando si tratta di riassumere enormi database come Wikipedia.
-
Base dei Token: Riducendo Wikipedia alla metà, si avrebbe un output di 3 miliardi di token. I costi variano notevolmente tra i diversi modelli, con GPT-4 32K al vertice a $720.000, e Falcon 180-B come opzione più economica a $5119.
-
Base del RAG: RAG è utile quando si vuole estrarre informazioni rilevanti da grandi quantità di dati. I costi per l’indicizzazione e la query variano in base al modello e alla piattaforma scelti.
-
Base della Messa a Punto: Questo criterio si concentra sui costi legati all’ottimizzazione e alle query. Ad esempio, l’ottimizzazione di OpenAI Curie 13B costa $27.000, con un costo giornaliero per 1 milione di query di $26.400.
Conclusione: Se da una parte OpenAI ha aperto la strada con i suoi potenti modelli, dall’altra i loro costi possono essere proibitivi per alcune aziende. I modelli open source come Llama 2 o Falcon 40B potrebbero rappresentare alternative più convenienti. OpenAI, tuttavia, ha tentato di rendere l’API GPT-3.5 Turbo più accessibile rispetto all’API GPT-4.
Per una panoramica più dettagliata dei costi associati agli LLM, si può consultare il rapporto “LLM Economics – A Guide to Generative AI Implementation Cost” di AIM Research e utilizzare lo strumento di calcolo LLM su MachineHack.
