Apache Airflow, uno strumento open source originariamente sviluppato da Airbnb, è fondamentale nell’orchestrazione dei dati, soprattutto nel trasferimento tra sistemi diversi. Oggi, Astronomer, il principale sponsor commerciale di Apache Airflow, presenta il suo ultimo aggiornamento della piattaforma Astro, che porta miglioramenti significativi in termini di supporto aziendale, sicurezza e gestione.
Airflow, inizialmente utilizzato per l’orchestrazione di pipeline di dati per analisi e business intelligence, è ora sempre più impiegato in carichi di lavoro AI e ML. “Airflow permette di definire le pipeline come codice, offrendo possibilità illimitate”, afferma Julian LaNeve, CTO di Astronomer.
Airflow si è guadagnato popolarità grazie alla sua capacità di integrarsi con principali piattaforme dati e sistemi cloud, come Snowflake, Databricks, AWS, Microsoft e Google Cloud. Astronomer entra in gioco per gestire la complessità su scala aziendale, offrendo un servizio gestito per Apache Airflow e funzionalità aggiuntive.
Tra queste, l’IDE Astro Cloud, che facilita la scrittura di pipeline di dati, e il nuovo aggiornamento della piattaforma Astro, che include un migliorato sistema di gestione delle connessioni per garantire sicurezza e governance nelle pipeline.
LaNeve sottolinea anche il crescente impiego di Astronomer e Airflow in applicazioni AI, evidenziando integrazioni con fornitori come OpenAI e Cohere, e la creazione di un’architettura di riferimento per applicazioni LLM. La piattaforma Astro è ora ampiamente utilizzata per supportare l’addestramento di modelli AI, con l’obiettivo di garantire l’aggiornamento affidabile dei modelli con dati recenti.
“Alla fine, vuoi che i tuoi modelli AI siano sempre aggiornati e affidabili, e Astronomer e Airflow sono progettati proprio per questo”, conclude LaNeve.