L’osservabilità dei dati inaugura una nuova era favorendo l’età d’oro dei dati
Presidente di U First Capital (VC for Corporates), Ex-Intel Capital VC
Siamo entrati nell’età d’oro dei dati? Le aziende moderne raccolgono, producono ed elaborano più dati che mai. Secondo un sondaggio IDG condotto nel febbraio 2020 dai professionisti dei dati, i volumi medi di dati aziendali aumentano del 63% al mese. Il 10% degli intervistati ha anche riferito che i volumi di dati raddoppiano ogni mese.
Le grandi aziende stanno investendo molto per trasformarsi in organizzazioni basate sui dati in grado di adattarsi rapidamente al ritmo veloce di un’economia moderna. Raccolgono enormi quantità di dati dai clienti e generano risme di dati dalle transazioni. Elaborano continuamente i dati nel tentativo di personalizzare l’esperienza dei clienti, ottimizzare i processi aziendali e guidare le decisioni strategiche.
La vera sfida con i dati
In teoria, le tecnologie open source rivoluzionarie, come Spark, Kafka e Druid dovrebbero aiutare quasi tutte le organizzazioni a trarre vantaggio da enormi quantità di dati sui clienti e operativi proprio come fanno a Facebook, Apple, Google, Microsoft e Amazon. La saggezza aziendale convenzionale è che più dati determinano una crescita più rapida del business.
La realtà, tuttavia, è ben diversa. Le moderne pipeline di dati sono non intuitive, interconnesse e di ordini di grandezza più complesse da gestire rispetto alle generazioni precedenti di applicazioni web e aziendali. Le aziende sanno che costruire sistemi di dati più grandi e complessi da soli non risolverà i problemi che devono affrontare ogni giorno.
Molti degli ingegneri e dirigenti dei dati, responsabili della creazione e del funzionamento dei sistemi di dati aziendali, sono sopraffatti. I volumi di dati, la complessità del sistema e le aspettative aziendali sono in costante aumento. I professionisti dei dati stanno facendo tutto il possibile solo per mantenere i loro sistemi in funzione.
L’opportunità di osservabilità dei dati
Quando i dati vengono elaborati correttamente, non c’è dubbio che guidino prestazioni finanziarie e aziendali fuori misura. Non devi cercare troppo lontano per le prove empiriche. Uno dei principali fattori trainanti per l’incredibile crescita, redditività e capitalizzazione di mercato dei grandi giganti tecnologici menzionati in precedenza – forse dovremmo chiamarli semplicemente società di dati? – è stata la loro capacità di sfruttare enormi volumi di dati a supporto delle loro attività. Direttamente correlato è il fatto che Microsoft, Apple, Google, Amazon e Facebook detengono i primi posti in termini di valore di mercato per le organizzazioni con sede negli Stati Uniti.
Le migliori aziende di Big Data per cui lavorare sulla base di Glassdoor
Cosa hanno queste aziende che altre non hanno? Hanno capito da tempo che avevano bisogno di strumenti avanzati di osservabilità dei dati per supportare la loro capacità di costruire e gestire l’infrastruttura di dati più sofisticata e produttiva che il mondo abbia mai visto. Nessuno aveva costruito questi strumenti, quindi hanno costruito i propri.
Sfortunatamente, l’altro 99% delle più grandi organizzazioni del mondo non ha competenze o esperienze simili. Non possono costruire i propri strumenti di Data Observability, che sono un primo passo necessario per costruire, far funzionare e ottimizzare i sistemi di dati che raccolgono e utilizzano enormi quantità di dati per informare le decisioni aziendali, migliorare le prestazioni e fornire un vantaggio competitivo.
Cos’è l’osservabilità dei dati?
In termini più semplici, “Data Observability” è un insieme di strumenti per monitorare lo stato di salute dei sistemi di dati aziendali e identificare e risolvere i problemi quando le cose vanno male. L’osservabilità dei dati offre visibilità continua, olistica e trasversale su sistemi di dati complessi, come le applicazioni di analisi e intelligenza artificiale che le aziende vorrebbero utilizzare per guidare le loro attività e personalizzare le esperienze dei clienti. Sintetizza i segnali attraverso l’infrastruttura, l’applicazione e i livelli di dati per fornire una comprensione completa dei singoli componenti, delle pipeline di dati e delle prestazioni del sistema.
Ovviamente, gli strumenti di monitoraggio e osservabilità delle applicazioni non sono nuovi. La differenza è che gli strumenti di monitoraggio tradizionali forniscono informazioni su singole applicazioni, componenti di sistema o, forse, interi sistemi. Forniscono poco valore, tuttavia, ai data engineer e agli architetti che stanno cercando di risolvere problemi, aumentare la scalabilità e ottimizzare le prestazioni dei moderni sistemi di dati interconnessi costruiti per supportare l’analisi dei dati e l’IA su larga scala. Non forniscono la granularità né la sintesi dei segnali che è fondamentale quando si ha a che fare con sistemi che si basano su più tecnologie che lavorano insieme per spostare i dati attraverso pipeline con interfacce machine-to-machine.
I data team aziendali hanno un disperato bisogno di capire cosa sta succedendo nei loro sistemi di dati e in tutte le loro pipeline di dati. Hanno bisogno di visibilità in ogni fase del viaggio dei dati aziendali. È qui che le aziende lottano oggi.
Una piattaforma più ampia del semplice monitoraggio
In termini pratici, Data Observability significa che data engineer, data scientist, data architects e data executive possono identificare e risolvere rapidamente i problemi, sperimentare per migliorare e scalare i sistemi di dati e ottimizzare le proprie pipeline di dati per soddisfare i requisiti aziendali. Possono sintetizzare segnali su più livelli – carichi di lavoro, qualità dei dati, infrastruttura e sicurezza – per prevedere, identificare, consigliare e risolvere problemi di dati che influiscono sulla continuità aziendale e sull’affidabilità del sistema. Consente all’azienda di misurare ciò che conta nel percorso dei dati, sperimentare e adattare e implementare strategie sui dati in linea con le strategie e i requisiti aziendali.
Lo stesso spazio di monitoraggio delle applicazioni sta subendo una massiccia trasformazione verso l’osservabilità dei dati poiché le aziende richiedono l’unificazione dei segnali da varie fonti: log, metriche e applicazioni. Le aziende devono essere in grado di capire come le diverse tecnologie dei componenti lavorano insieme e si influenzano a vicenda nei loro sistemi. Senza quel livello di visibilità, non saranno in grado di realizzare la loro visione basata sui dati.
Dal punto di vista degli investimenti, ci saranno opportunità per scegliere nuovi vincitori. Proprio come società come New Relic (IPO) e AppDynamics (acquisita da Cisco) hanno fornito grandi opportunità per i loro investitori di venture capital, questo round di vincitori di Data Observability fornirà probabilmente rendimenti fuori misura. Ogni grande azienda che desidera utilizzare i dati su larga scala, praticamente ogni grande impresa del mondo, avrà bisogno di questi strumenti e le offerte tradizionali sono inefficaci e insufficienti.
Lo spazio si sta chiaramente riscaldando. Diverse nuove startup stanno tentando di costruire strumenti fondamentalmente diversi dai giocatori tradizionali. Solo nelle ultime settimane, abbiamo visto annunci di finanziamenti da aziende come MonteCarlo Data, focalizzata sull’affidabilità dei dati, e Observe.ai, che ha collaborato con Snowflake per aiutare a identificare in modo conveniente i problemi dei sistemi di dati separando elaborazione e archiviazione .
Recentemente, Acceldata , che si definisce la prima piattaforma di Data Observability aziendale al mondo, ha annunciato di aver raccolto 8,5 milioni di dollari in finanziamenti di serie A guidati dal Managing Partner di Sorenson Ventures Ken Elefant con la partecipazione del Partner Dev Khare di Lightspeed e del Founding Partner di Emergent Ventures Ankur Jain. A differenza di altre aziende nello spazio, che potrebbero non avere prodotti pronti per la produzione, Acceldata ha condiviso nel suo annuncio di finanziamento come sta già aiutando colossi globali come GE Digital, PhonePe (Walmart) e Michelin, tra molti altri, a risolvere il loro problema di osservabilità dei dati per gestire e ottimizzare meglio i propri sistemi di dati aziendali.
Il fondatore e CEO di Acceldata, Rohit Choudhary, ha affermato: “pochissime aziende hanno l’esperienza e le risorse per sviluppare la strumentazione approfondita necessaria per supportare sistemi di dati distribuiti complessi e su larga scala. Senza l’osservabilità dei dati, le aziende non possono avere successo con le loro iniziative e investimenti sui dati. Rendendo l’osservabilità dei dati disponibile per le aziende di tutto il mondo, rendiamo il successo dei dati una realtà per tutti “.
Questa è un’affermazione importante e potrebbe segnalare che ci stiamo davvero avvicinando all’età dell’oro dei dati.
Non c’è dubbio che le imprese avranno bisogno di avere successo con i dati per avere successo nell’economia moderna. È difficile prevedere chi vincerà questo spazio, ma sembra che lo spazio dell’osservabilità dei dati sarà la chiave per la trasformazione aziendale verso un approccio basato sui dati. Quindi, l’osservabilità dei dati dovrebbe vedere una crescita enorme.
