L’architettura Lakehouse, resa popolare da Databricks, ha rappresentato un salto di qualità nel panorama dei dati aziendali, unificando la flessibilità dei Data Lake con le capacità di gestione e la struttura dei Data Warehouse per supportare in modo efficace sia l’analisi tradizionale che i carichi di lavoro di Intelligenza Artificiale. Tuttavia, l’efficienza e il costo computazionale associati alla gestione di queste vaste piattaforme cloud continuano a rappresentare una sfida significativa per molte organizzazioni. È in questo scenario che entra in gioco l’innovazione, guidata da un gruppo di ex ingegneri di Google e Google DeepMind, che con la loro nuova piattaforma, Espresso AI, stanno trasformando la tradizionale Lakehouse in una Agentic Lakehouse per i clienti Databricks.
Il nodo cruciale che Espresso AI mira a sciogliere è l’enorme spreco di risorse, e di conseguenza di costi, che si annida nell’uso dei cloud data warehouse moderni. L’analisi condotta dalla società ha rivelato che l’utilizzo medio dei warehouse (i cluster di calcolo) da parte degli utenti Databricks si aggira tra il quaranta e il sessanta per cento. Ciò significa che, in media, circa la metà del costo di fatturazione viene spesa per macchine inattive o sottoutilizzate che restano in attesa di elaborare le query. Affrontare questa inefficienza non è solo una questione tecnica, ma è diventata una priorità di FinOps (ottimizzazione finanziaria delle operazioni cloud) per le grandi imprese.
La soluzione proposta da Espresso AI non si basa sui metodi tradizionali di ottimizzazione, ma sull’integrazione di Intelligenza Artificiale Agentica basata su Modelli di Linguaggio di Grande Dimensione (LLM) per orchestrare dinamicamente l’ambiente Databricks. Questa nuova metodologia si articola sull’impiego di tre agenti autonomi e specializzati che lavorano in concerto per ottimizzare l’utilizzo delle risorse e, in definitiva, tagliare i costi fino al cinquanta per cento.
Il cuore della piattaforma Espresso AI risiede nel suo sistema multi-agente, ciascuno con una responsabilità specifica nell’automazione e nell’ottimizzazione del flusso di lavoro dei dati:
- L’Agente di Autoscaling: Questo agente è il guardiano delle risorse. Non si limita a reagire al carico di lavoro in tempo reale, ma è addestrato sui log di metadati unici di ogni cliente. Ciò gli consente di prevedere con intelligenza i picchi e le fluttuazioni della domanda di risorse. Sulla base di questa predizione, l’agente adatta l’allocazione del compute, assicurando che le risorse siano scalate verso l’alto o verso il basso con anticipo e precisione, evitando sia i colli di bottiglia prestazionali che la costosa inattività.
- L’Agente di Scheduling (Pianificazione): Affrontando direttamente il problema della sottoutilizzazione, questo agente interviene nel modo in cui le query vengono indirizzate ai warehouse disponibili. Invece di inviare ogni richiesta a un cluster statico predefinito, l’agente analizza i carichi di lavoro in esecuzione per identificare le macchine che hanno capacità inutilizzata. Quindi, instrada in modo intelligente le nuove query verso i warehouse esistenti ma meno sfruttati. Questa ottimizzazione del routing massimizza l’efficienza degli asset già attivi, trasformando il tempo di inattività in produttività.
- L’Agente di Query: Forse il più tecnicamente sofisticato, l’Agente di Query si occupa di perfezionare ogni singola istruzione SQL prima che venga elaborata dal data lakehouse. Utilizzando modelli LLM, è in grado di analizzare la sintassi, l’efficienza e il potenziale impatto prestazionale di ogni query. Se necessario, l’agente esegue ottimizzazioni automatiche del codice SQL, riducendo il tempo di esecuzione e di conseguenza i costi di calcolo necessari per ottenere il risultato.
L’introduzione di questa Agentic Lakehouse segna un punto di svolta. Non si tratta solo di offrire uno strumento di gestione dei costi, ma di infondere nella piattaforma Databricks un livello di automazione e intelligenza predittiva che storicamente ha richiesto un intenso intervento manuale di ingegneri altamente specializzati. La promessa di Espresso AI, sostenuta dalla sua esperienza maturata in ambienti di Big Data complessi come Google, è quella di rendere l’ottimizzazione non un’operazione occasionale, ma un processo continuo e autonomo.
Mentre Databricks continua la sua crescita esplosiva, in un mercato sempre più competitivo dominato da player come Snowflake, la capacità di offrire ai propri clienti la massima efficienza al minimo costo diventa un fattore cruciale di adozione. La tecnologia di Espresso AI si posiziona, quindi, come un facilitatore di crescita e di valore, permettendo alle aziende di massimizzare i benefici della loro architettura Lakehouse con uno sforzo manuale notevolmente ridotto. Questo è un chiaro esempio di come l’AI Agentica stia iniziando a permeare e rivoluzionare i livelli più profondi e costosi dell’infrastruttura tecnologica aziendale.