Cloudflare, leader nella connettività cloud, ha annunciato importanti aggiornamenti per Workers AI, la sua piattaforma di intelligenza artificiale serverless. Queste nuove funzionalità aiutano gli sviluppatori a creare applicazioni AI più veloci, potenti e performanti. Le applicazioni basate su Workers AI possono ora beneficiare di inferenze più rapide, modelli di dimensioni maggiori e analisi delle prestazioni migliorate.
Workers AI è progettata per semplificare la creazione e la scalabilità di applicazioni AI, consentendo inferenze AI vicino all’utente, indipendentemente dalla sua posizione nel mondo. Matthew Prince, co-fondatore e CEO di Cloudflare, ha affermato che man mano che l’IA diventa parte della vita quotidiana, la velocità della rete diventa cruciale per garantire interazioni fluide.
La rete distribuita globalmente di Cloudflare aiuta a ridurre la latenza, a differenza di altre reti che si basano su risorse concentrate in pochi data center. Attualmente, Workers AI offre GPU in oltre 180 città in tutto il mondo, garantendo bassi tempi di latenza per gli utenti finali.
Cloudflare ha introdotto nuove funzionalità per rendere la creazione di applicazioni AI ancora più semplice:
- Prestazioni Migliorate e Supporto per Modelli Maggiori: Grazie a GPU più potenti, Workers AI ora supporta modelli di grandi dimensioni, come Llama 3.1 (70B), e varianti di Llama 3.2 (1B, 3B, 11B e in arrivo 90B). Questo permette alle applicazioni di gestire compiti più complessi in modo più efficiente.
- Monitoraggio e Ottimizzazione Migliorati: Nuovi log persistenti in AI Gateway (in open beta) consentono agli sviluppatori di archiviare i prompt degli utenti e le risposte per analisi a lungo termine. Questo aiuta a comprendere meglio le prestazioni delle applicazioni e a ottimizzarle in base all’esperienza degli utenti.
- Query Più Veloci e Convenienti: I database vettoriali semplificano la memorizzazione degli input, migliorando la ricerca, le raccomandazioni e la generazione di testo. Il nuovo database vettoriale di Cloudflare, Vectorize, ora supporta indici fino a cinque milioni di vettori, abbattendo significativamente i tempi di latenza delle query, che sono passati da 549 ms a 31 ms.
Questi miglioramenti consentono alle applicazioni AI di trovare rapidamente informazioni pertinenti, riducendo il carico di elaborazione e rendendo le soluzioni AI più accessibili ed efficienti.