Distribuzione di modelli ML in produzione con Qwak
“L’apprendimento automatico in produzione può essere fatto. Non dovrebbe far male così tanto”.
Cosa hanno in comune aziende tecnologiche come Pinterest, Uber, Intuit, ecc.? Hanno servizi basati su ML all’interno del loro prodotto. In altre parole, hanno le loro piattaforme di ingegneria di machine learning interne, che il team utilizza per distribuire modelli in tempo reale o in fasi/fasi.
Ma lo stesso non è il caso con la maggior parte delle aziende oggi. C’è un sacco di difficoltà che va da sé, in particolare l’implementazione di modelli ML in produzione. Uno studio mostra che il 90% dei modelli di machine learning non arriva mai alla produzione.
“L’apprendimento automatico in produzione può essere fatto; non dovrebbe ferire così tanto”, ha affermato Alon Lev, co-fondatore e CEO di Qwak, facendo luce sulla sua piattaforma.
Quando si distribuiscono modelli ML in produzione; la parte complicata non è la parte tecnica; è più simile a questo tipo di ping pong tra una squadra e l’altra. “Ci vuole molto tempo per convincere qualcun altro a fare qualcosa per te. Se non capiscono, tornerai indietro senza progressi”, ha detto Lev.
Distribuzione di modelli ML in produzione (Fonte: Qwak )
Lev ha detto che, con Qwak, sono riusciti a ridurre al minimo l’attrito quasi a zero. “Non è più necessario inviare i tuoi modelli a nessuno”, ha aggiunto.
Fondata nel 2021, Qwak è stata fondata da Lev, Ran Romano, Yuval Fernbach e Lior Penso. I co-fondatori hanno precedentemente guidato l’apprendimento automatico e le innovazioni della scienza dei dati e hanno lavorato in aziende come Payoneer, AWS, ironSource, Wix.com e altre.
Sostenuta da Leaders Fund, Amiti Ventures, StageOne Ventures e altri investitori angelici, tra cui Eugen Miropolski, Noam Kaiser, Tamir Carmi, Philippe Suchet e Rani Wellingstein, la società ha raccolto un totale di 19,4 milioni di dollari.
Con la rapida digitalizzazione in atto in tutti i settori – quasi il 97,2% delle aziende afferma di aver adottato la scienza dei dati e l’analisi in qualche forma e forma – ultimamente, c’è stato un crescente interesse tra i tecnoimprenditori e gli investitori. Secondo Deloitte, il mercato degli MLOP dovrebbe toccare i 4 miliardi di dollari entro il 2025. Oltre a Qwak, alcuni degli altri attori MLOps nello spazio includono ZenML , Comet , Domino Data Lab , Weights and Biases e altri.
Distribuzione di modelli ML in produzione, Qwak-ly
Semplificare l’esperienza di produzione di ML per tutti è Qwak . L’azienda ha commercializzato con successo la sua piattaforma di ingegneria ML, che automatizza i processi MLOP e consente alle aziende di gestire i modelli in tempo reale.
Con una singola riga di codice, i team possono ora integrare rapidamente i propri modelli. La sua piattaforma è attualmente utilizzata da varie società, tra cui JLL, NetApp, Yotpo, Guesty, Skyline AI e altre.
Il risultato: le aziende che distribuivano da uno a due modelli in pochi mesi ora possono distribuire quasi decine di modelli in pochi giorni.
Il vicepresidente di Engineering Or Hiltch di JLL ha affermato che Qwak li ha aiutati a concentrarsi sulla creazione di un impatto sul business piuttosto che dedicare tempo prezioso alla configurazione dell’infrastruttura. Ha detto che usando Qwak, hanno migliorato il loro tempo di esecuzione di 4,5 volte. “In JLL, il nostro sviluppo è molto sensibile al tempo”, ha aggiunto.
Qwak supporta e assiste leader di ricerca e sviluppo, data scientist, ingegneri ML, analisti tecnici e proprietari di prodotti fornendo una piattaforma di gestione e osservabilità con una visione chiara per ogni modello. La parte migliore è che tutti possono visualizzare il modello dal punto di vista dell’infrastruttura al livello di risultato aziendale, con metriche, prestazioni, costi e versioni complete.
Lev ha affermato che c’è così tanto avanti e indietro tra data science e ingegneri quando si implementano modelli ML in produzione . Quindi, ciò che Qwak essenzialmente fa è che i data scientist possono costruire il loro modello e addestrare il modello sulla loro piattaforma. Una volta addestrato, puoi quindi distribuire i modelli con un clic di un pulsante, in streaming batch o in tempo reale con più strategie di distribuzione, ad esempio test A/B, distribuzione ombra, ecc.
La piattaforma viene fornita con un data lake, che salva tutti i dati che entrano nel modello per la previsione. Dispone inoltre di un archivio di funzionalità, che consente ai clienti di supportare diverse origini dati e tipi di dati da utilizzare al volo. “Il nostro negozio di funzionalità è fortemente connesso con la piattaforma, il che significa che puoi sempre indagare da due direzioni; puoi vedere dal punto di vista delle funzionalità, ad esempio, da che tipo di modelli vengono utilizzati o consumano le funzionalità; e che tipo di funzionalità all’interno dei negozi di funzionalità sono necessarie per addestrare e prevedere questo modello molto specifico”, ha spiegato Romano, dicendo che tutto questo può essere fatto senza o senza codice.
Un’altra caratteristica interessante che piace anche ai co-fondatori è impostare avvisi: livelli di precisione, trigger di azione, ecc., ad esempio, mantenendo automaticamente i modelli ML. “Questo è super rilevante; non puoi andare tutti i giorni, controllare tutti i modelli e conservarli. Hai bisogno di qualcosa di più o meno robusto, in cui puoi ridimensionare i tuoi modelli più velocemente per un’azienda di traslochi”, ha condiviso Romano.
Ecco una rapida panoramica della piattaforma Qwak e di come riduce al minimo l’attrito all’interno dei team di data science e ML engineering.
Distribuzione di modelli ML in produzione con Qwak (Fonte: Qwak )
Qwak rimuove l’attrito tra scienza dei dati e ingegneria dall’apprendimento automatico consentendo iterazioni più veloci, scalabilità e infrastruttura personalizzabile. Ciò include la creazione di motori di raccomandazione, applicazioni NLP, visione artificiale, ecc.
“Tutto quello che devono fare è aggiungere una riga di codice, inserire le credenziali di accesso ed eseguire il comando build. Questo è tutto”, ha affermato Romano, condividendo il cambiamento culturale che gli scienziati devono affrontare quando utilizzano la loro piattaforma.
Pila Qwak
Facendo luce sul team e sullo stack tecnologico, Romano ha affermato che il team è composto da due gruppi principali, il team MLOps e il team DataOps. In Qwak, il team MLops è responsabile della creazione di ingegneria di apprendimento automatico, implementazioni di modelli, infrastrutture, analisi e iniziative di automazione. Il team di DataOps , invece, gestisce gli archivi di funzionalità o l’ETL per l’importazione di dati, pipeline di dati, ecc.
Il team DataOps e il gruppo del negozio di funzionalità attualmente utilizzano le tecnologie Spark, MLflow, Redis e Iceberg. Il team MLOps utilizza più infrastrutture relative a Kubernetes, Python, ecc., per la creazione di modelli. Per il backend utilizzano servizi Java, Kafka, Amazon Athena, ecc.
In viaggio: India
Lev ha detto all’AIM che hanno in programma di raddoppiare o triplicare la squadra ogni anno. “Stiamo sicuramente crescendo molto velocemente”, ha aggiunto. Attualmente, il team è composto da quasi 30+ dipendenti, inclusi data scientist, sviluppatori di prodotti, ingegneri ML e altri.
Qwak ha recentemente aperto il suo ufficio negli Stati Uniti e presto prevede di espandersi in Europa. “Il nostro obiettivo principale per i prossimi due mesi sarà il mercato di medie dimensioni. Ciò include unicorni, società tecnologiche e startup digital-first, ecc. “, ha affermato Lev. In termini di visione a lungo termine, Lev ha affermato di voler essere uno strumento di riferimento per la produzione.
“Siamo entusiasti di lavorare con il mercato indiano”, ha affermato Lev, dicendo che stanno già lavorando con due partner del mercato indiano, dove gestiscono POC con loro.
“È incredibile vedere molte aziende tecnologiche super cool e avanzate provenienti dall’India”, ha aggiunto. Lev ha affermato di vedere molte iniziative di ML e scienza dei dati nell’ecosistema indiano e non vedono l’ora di aggiungere un impatto.
Lev ha affermato che gli indiani sono molto esperti di tecnologia, consapevoli delle infrastrutture e tecnicamente validi nell’apprendimento automatico e nella scienza dei dati. “Tendono a sapere cosa è importante e cosa no”, ha aggiunto, dicendo che si stanno divertendo a lavorare con aziende leader in India.
