OpenAI ha recentemente introdotto una funzionalità innovativa chiamata “Predicted Outputs”, progettata per migliorare l’efficienza e ridurre la latenza nelle risposte generate dai modelli linguistici di grandi dimensioni, in particolare GPT-4o e GPT-4o-mini. Questa novità rappresenta un passo significativo nell’evoluzione dell’intelligenza artificiale, offrendo agli sviluppatori strumenti avanzati per ottimizzare i processi di generazione del linguaggio naturale.
La funzionalità “Predicted Outputs” consente agli sviluppatori di fornire una “stringa di previsione”, ovvero un segmento anticipato dell’output previsto, che il modello può utilizzare per accelerare la generazione della risposta. Questo approccio si rivela particolarmente utile in scenari in cui la struttura generale dell’output è già nota, come durante l’aggiornamento di documenti esistenti o la modifica di codice. Ad esempio, se un utente desidera che il modello riformuli un documento con modifiche minime o apporti aggiustamenti specifici a linee di codice, l’input predittivo aiuta a snellire le risposte, permettendo al modello di riutilizzare parti del testo preesistente.
Uno dei principali vantaggi di questa funzionalità è la significativa riduzione della latenza. Integrando una stringa di previsione, il modello può generare meno token, riducendo così il tempo di risposta. OpenAI ha osservato che, poiché gran parte dell’output di un modello linguistico è prevedibile prima della generazione, anticipare questi segmenti consente di generare meno token, riducendo la latenza per l’utente. Inoltre, “Predicted Outputs” si dimostra estremamente efficiente in compiti ripetitivi o in attività che richiedono modifiche minime a testi esistenti, come la riformulazione di documenti o l’aggiornamento di codice, dove l’output dell’IA può essere molto simile all’input fornito.
Tuttavia, è fondamentale che la stringa di previsione sia strettamente allineata con l’output previsto del modello. Divergenze significative tra la previsione e la risposta generata possono ridurre l’efficacia della funzionalità, portando a risposte più lente e costi più elevati. Pertanto, OpenAI incoraggia gli sviluppatori a sperimentare “Predicted Outputs” in compiti controllati e prevedibili per massimizzare l’efficienza.