In un mondo in cui l’adozione dell’Intelligenza Artificiale (IA) è vista come la panacea per alleggerire i processi, sorprende constatare che per molti professionisti della gestione dati la situazione sia invece quella opposta. Un’indagine condotta da MIT Technology Review Insights in collaborazione con Snowflake segnala che il 77% dei team di data engineer dichiara un aumento del carico di lavoro, non una riduzione, nonostante l’ampliamento degli strumenti IA a loro disposizione.
È un paradosso che richiede di essere compreso nel contesto più ampio della trasformazione digitale: gli strumenti basati su IA promettono automazione, efficienza e capacità di gestire dati in volumi e varietà crescenti, ma al tempo stesso introducono nuovi livelli di complessità, frammentazione degli strumenti e aspettative che muovono i data engineer fuori dai tradizionali confini del loro ruolo.
Due anni fa, secondo lo studio, i data engineer dedicavano in media circa il 19% del loro tempo a progetti legati all’IA; oggi si arriva al 37% e la proiezione verso i prossimi due anni indica un ulteriore salto fino al 61%.
In altri termini: la quota di tempo dedicata a iniziative IA non è solo aumentata, ma sta diventando la parte centrale dell’attività. E tuttavia, nonostante l’aumento delle risorse dedicate e delle tecnologie impiegate, il carico percepito è maggiore, non minore.
Qual è allora la causa di questo incremento? Il report fornisce alcune chiavi interpretative. Anzitutto, il fenomeno della frammentazione degli strumenti: pur essendo l’83% delle organizzazioni ad aver già implementato strumenti di IA per l’ingegneria dati, ben il 45% segnala che la complessità dell’integrazione rappresenta un problema e il 38% attribuisce difficoltà all’ampia proliferazione di tool eterogenei.
Ogni nuovo tool di IA può introdurre un’interfaccia, un modello, una pipeline differente, una diversa modalità di governance, e tenere insieme tutti questi pezzi richiede tempo, attenzione e coordinamento che gravano sull’attività quotidiana dei team.
Un secondo elemento riguarda la natura sempre più complessa del lavoro dei data engineer. Prima – spiega lo studio – il loro compito principale consisteva nel gestire cluster, scrivere trasformazioni SQL, assicurare la preparazione dei dati per gli analisti. Oggi, invece, questi professionisti sono più spesso impegnati a debuggare pipeline trasformate da modelli di grandi dimensioni (LLM), definire regole di governance per i workflow IA, integrare dati strutturati con dati non strutturati, controllare la qualità e la tracciabilità end-to-end delle informazioni.
In pratica, l’IA non ha “tolto” lavoro ripetitivo: ne ha cambiato il perimetro, spostando l’attenzione verso attività più strategiche ma anche più gravose in termini di responsabilità e complessità.
Inoltre, alla radice del fenomeno c’è un tema che ricorre spesso nelle trasformazioni tecnologiche: l’aspettativa vs la realtà. Mentre molti progetti IA generano miglioramenti quantitativi (il 74% segnala un incremento dell’output) e qualitativi (il 77% nota un miglioramento della qualità dei dati), queste metriche positive non bastano a contrastare il peso operativo delle integrazioni e delle infrastrutture necessarie. Cioè: sì, i dati sono migliori e i risultati più numerosi, ma ottenere questi risultati richiede più lavoro di quanto si fosse previsto.
Ecco perché siamo davanti a un momento cruciale: le organizzazioni che stanno adottando strumenti IA per la gestione dei dati devono riconoscere che l’efficienza non è automatica, che l’introduzione di IA richiede investimenti – nella governance, nella qualità dei dati, nell’integrazione degli strumenti – e che i data engineer non sono semplici esecutori, ma architetti del fondamento su cui l’IA monta. Il report mette in evidenza la necessità che questi professionisti vengano elevati da “manodopera tecnica” a partner strategici all’interno dell’azienda. Il 53% degli intervistati dichiara che i data engineer partecipano già a decisioni sulla fattibilità dei casi d’uso IA, e il 56% che orientano le business unit relative all’uso dei modelli. Tuttavia, paradossalmente, solo il 55% dei CIO riconosce i data engineer come funzione strategica (contro l’80% dei Chief Data Officers e l’82% dei Chief AI Officers).
Dal punto di vista pratico, cosa significa tutto questo? Significa che quando un’organizzazione decide di adottare IA nelle pipeline di dati, deve innanzitutto interrogarsi su come verrà governata e gestita quella trasformazione: quanti strumenti verranno utilizzati, come verranno integrati, chi definirà le regole della qualità dati, quali competenze servono non solo per usare gli strumenti, ma per saper costruire, mantenere e monitorare pipeline IA complesse. È meno una questione di “mettere IA e risparmiare tempo” e più una questione di “mettere IA e rimodellare il ruolo del data engineer”. E se non si ridefinisce tale ruolo e non si stabilisce una strategia integrata, l’adozione può generare più costi – in termini di tempo, di complessità, di carico cognitivo – che benefici immediati.
L’IA non è un interruttore che automaticamente diminuisce i carichi di lavoro. Al contrario, quando abilitata in contesti reali, porta a una ridefinizione delle responsabilità, a una sofisticazione dei processi e quindi, almeno inizialmente, a un aumento – non alla riduzione – del lavoro per chi gestisce i dati. Le aziende che ne usciranno vincenti non sono quelle che “installano IA e sperano vada” ma quelle che costruiscono una base dati forte, consolidano gli strumenti, e rendono strategico il ruolo dei data engineer.