Le aziende spesso valutano i modelli linguistici in base al costo per token, cercando di ottimizzare le spese operative. Tuttavia, un’analisi approfondita rivela che i modelli Claude di Anthropic, sebbene presentino tariffe per token apparentemente più basse, possono risultare fino al 30% più costosi rispetto ai modelli GPT di OpenAI nelle applicazioni aziendali. Questo fenomeno è attribuibile a inefficienze nel processo di tokenizzazione, un aspetto cruciale ma spesso trascurato.
La tokenizzazione è il processo mediante il quale un testo viene suddiviso in unità più piccole, chiamate “token”, che i modelli linguistici utilizzano per comprendere e generare linguaggio. Sebbene diversi modelli possano utilizzare tokenizzatori differenti, l’efficienza di questo processo può variare significativamente. Studi recenti hanno evidenziato che il tokenizzatore di Claude tende a suddividere lo stesso testo in un numero maggiore di token rispetto a quello di GPT. Ad esempio, per articoli in inglese, il modello Claude genera circa il 16% in più di token rispetto a GPT-4o; per codice Python, l’overhead arriva al 30%, e per contenuti matematici al 21% .
Nonostante le tariffe per token di Claude possano sembrare più vantaggiose, l’aumento del numero di token necessari per rappresentare lo stesso contenuto comporta un incremento dei costi complessivi. Inoltre, l’efficienza dell’utilizzo della finestra di contesto, che determina la quantità di informazioni che un modello può elaborare contemporaneamente, può essere compromessa. Claude, pur vantando una finestra di contesto di 200.000 token, potrebbe non sfruttarla appieno a causa della maggiore verbosità, mentre GPT-4o, con una finestra di 128.000 token, potrebbe risultare più efficiente in scenari pratici.
La scelta del modello linguistico più adatto alle esigenze aziendali non dovrebbe basarsi esclusivamente sul costo per token. È fondamentale considerare anche l’efficienza della tokenizzazione e come essa influisce sui costi complessivi e sulle prestazioni operative. Le aziende devono adottare un approccio olistico nella valutazione dei modelli, tenendo conto di tutti gli aspetti che influenzano l’efficacia e l’efficienza delle soluzioni di intelligenza artificiale implementate.