Microsoft, Google e Onehouse hanno annunciato una nuova partnership open source per sostenere il progetto OneTable, che promette di rivoluzionare il panorama dei data lake cloud nei prossimi anni.
Negli ultimi tempi, le organizzazioni hanno dovuto affrontare la sfida di scegliere il formato delle tabelle per i loro data lake, una decisione che poteva comportare vincoli fornitori e sfide di compatibilità per l’analisi dei dati e l’intelligenza artificiale. Tra i principali formati di tabelle data lake ci sono tecnologie come Apache Iceberg, Apache Hudi e Delta Lake di Databricks.
Il progetto OneTable, inizialmente avviato da Onehouse, mira a creare un nuovo livello sovrapposto a questi formati di tabelle data lake, consentendo conversioni bidirezionali e accesso tramite Iceberg, Hudi e Delta Lake.
Inizialmente annunciato da Onehouse a febbraio, insieme a un finanziamento di 25 milioni di dollari, OneTable è ora stato ampliato come progetto open source con il supporto di Microsoft e Google, mentre altri fornitori, tra cui Amazon, stanno valutando la possibilità di unirsi.
Il fondatore e CEO di Onehouse, Vinoth Chandar, ha dichiarato: “Abbiamo lavorato con i nostri clienti, Google, Microsoft e altri per sviluppare ulteriormente l’idea di OneTable, rendendola ora open source come nostro contributo alla comunità.”
Microsoft ha il suo approccio al data lake chiamato Fabric, che supporta il formato delle tabelle Delta Lake. La partecipazione a OneTable è un passo verso la promozione dell’apertura e dell’interoperabilità dei data lake.
Raghu Ramakrishnan, CTO per i dati di Microsoft, ha affermato: “Vogliamo un ecosistema in cui i clienti possano scegliere la soluzione migliore senza essere vincolati dai dati sottostanti.”
Google, che ha sviluppato la propria tecnologia di piattaforma data lake chiamata BigLake, vede il supporto a OneTable come fondamentale per l’obiettivo di creare un’architettura dati aperta. OneTable eliminerà la necessità per le organizzazioni di fare scelte rigide sul formato delle tabelle, consentendo l’interoperabilità tra formati diversi.
Gerrit Kazmaier, vicepresidente dati e analisi presso Google Cloud, ha paragonato OneTable a un “Babelfish” per i data lake, permettendo alle organizzazioni di tradurre e comprendere automaticamente diversi formati di tabelle.
In un panorama in cui le organizzazioni cercano di eseguire l’elaborazione e l’analisi dei dati tra i diversi cloud, OneTable rappresenta un passo verso l’interconnessione dei dati e la prevenzione della frammentazione.
Questa partnership open source promette di semplificare notevolmente le sfide legate ai data lake, consentendo maggiore flessibilità e scelta per le organizzazioni nella gestione dei propri dati.