La recente conferenza per gli sviluppatori di OpenAI ha rivelato alcune novità interessanti, tra cui l’annuncio di GPT-4 Turbo, un miglioramento dell’ormai noto GPT-4. Questa nuova versione offre una finestra di contesto estesa fino a 128k, consentendo di processare l’equivalente di oltre 300 pagine di testo in un unico prompt. Inoltre, questa iterazione è supportata da conoscenze aggiornate fino ad aprile 2023. GPT-4 Turbo promette di affrontare alcune delle lacune precedenti nell’IA generativa di OpenAI.
Tuttavia, a distanza di una settimana dall’annuncio, l’entusiasmo iniziale sembra essere scemato, e GPT-4 Turbo non ha portato la rivoluzione attesa.
Un recente studio condotto da ricercatori di Stanford, UC Berkeley e Samaya AI ha evidenziato un fenomeno chiamato “Lost in the Middle” in grandi modelli linguistici. Questo fenomeno suggerisce che l’accuratezza nel recupero delle informazioni è alta all’inizio e alla fine del documento, ma diminuisce nella parte centrale, soprattutto con input più complessi. Questo studio ha sollevato domande sull’efficacia di GPT-4 Turbo, che sembra mostrare lo stesso problema. I risultati indicano che il ricordo diminuisce significativamente oltre i 73.000 token, in particolare nelle parti centrali dei documenti. Questo suggerisce che, nonostante le capacità di contesto esteso, la precisione tende a calare nel 60-70% del contesto supportato da un modello di linguaggio di lunga estensione (LLM). Si consiglia quindi di utilizzare input di contesto più brevi per garantire una maggiore precisione.
Inoltre, sebbene modelli come GPT-4 consentano un’elaborazione estesa dei dati, le funzioni di ricerca integrate o i database vettoriali continuano a dominare in termini di precisione ed efficienza dei costi nei compiti di recupero specifici. Questi database vettoriali sono specializzati nell’organizzazione e nel recupero di informazioni basate su somiglianze semantiche, offrendo risultati mirati ed efficienti.
Le API di recupero open source stanno guadagnando terreno nell’adozione di LLM aziendali. Queste API offrono modelli LLM personalizzati per applicazioni aziendali specifiche e sono notevolmente più economiche rispetto a GPT-4. Inoltre, consentono agli sviluppatori di passare a modelli di linguaggio chiusi di altre aziende, come OpenAI, Anthropic o Google, se necessario. La messa a punto di modelli personalizzati può migliorare ulteriormente le prestazioni.
Per le aziende, mantenere i dati aggiornati è essenziale. Le API di recupero open source semplificano la connessione ai repository cloud esistenti, consentendo aggiornamenti regolari senza intervento manuale. Questa flessibilità si estende anche all’ottimizzazione dei parametri per soddisfare le esigenze specifiche degli utenti.
In sintesi, mentre GPT-4 Turbo offre avanzamenti significativi, esistono alternative come le API di recupero open source che offrono un rapporto costo-efficacia migliore e maggiore flessibilità per le aziende. La scelta dipende dalle esigenze specifiche, ma l’importanza di mantenere dati aggiornati e di garantire precisione rimane fondamentale nelle applicazioni di IA.