Neural Magic, che offre software per il mercato in crescita dell’IA edge, ottiene un aumento di $ 30 milioni
Il mercato dell’IA edge sta esplodendo man mano che sempre più aziende implementano la tecnologia in una varietà di applicazioni in tutti i settori, anche in aree come la manutenzione e il monitoraggio delle risorse, l’automazione di fabbrica e la telemedicina. Il mercato dovrebbe valere 1,83 miliardi di dollari entro il 2026, secondo un rapporto di Markets and Markets .
Tenere il passo
Ma i chip acceleratori dei clienti realizzati da aziende come Google e Nvidia per l’inferenza ai margini sono sempre più incapaci di tenere il passo con i miglioramenti in termini di efficienza, velocità e costi offerti da approcci software aggiuntivi , come quello spinto da Neural Magic.
Molte aziende e sviluppatori preferiscono la semplicità dell’utilizzo di chip CPU di base e l’ottimizzazione con il software. Un’azienda come Target ha rack di hardware in ogni negozio e potrebbe preferire l’ottimizzazione con il software realizzato da Neural Magic piuttosto che effettuare investimenti complessi e su misura in chip acceleratori specializzati come la Tensor Processing Unit (TPU) di Google, ha affermato il CEO di Neural Magic Brian Stevens in un intervista .
“Questo è il mondo che stiamo cercando di creare. Vogliamo offrire agli sviluppatori la flessibilità di implementare l’intelligenza artificiale su processori di base già situati nell’edge location”, ha affermato.
Questo finanziamento, che porta l’importo totale della società a 50 milioni di dollari, è stato guidato dall’investitore esistente NEA, con la partecipazione di Andreessen Horowitz, Amdocs, Comcast Ventures, Pillar VC e Ridgeline Ventures.
Neural Magic utilizzerà il nuovo capitale per investire nei modelli di inferenza open source che ha costruito, nonché nel motore proprietario che l’azienda offre per aiutare gli sviluppatori a distribuire i modelli.
Espansione del settore
Da quando la società è stata lanciata due anni fa , sono emerse una serie di altre startup per offrire una sorta di software di intelligenza artificiale all’avanguardia, tra cui NeuReality , Deci , CoCoPie, OctoML e DeepCube . Tuttavia, Neural Magic è l’unica azienda che offre modellazione open source gratuita, abbinata a un motore di distribuzione del software ottimizzato per la velocità, ha affermato Stevens.
Giocatori come AMD e Intel stanno anche lavorando su livelli software di ottimizzazione per il loro hardware. Ad esempio, Intel ha rilasciato OpenVino, un toolkit gratuito per l’ottimizzazione dei modelli di deep learning. Tuttavia, Neural Magic offre quelle che chiama “ricette” che possono essere collegate a librerie di apprendimento automatico come PyTorch per rendere i modelli più sparsi e accelerare il suo motore, ha affermato Stevens.
L’offerta open source dell’azienda è stata lanciata silenziosamente a febbraio e ora ha più di 1.000 installazioni uniche a settimana, secondo Stevens, che quest’anno ha assunto la carica di CEO. La trazione ha entusiasmato Greg Papadopoulos di NEA abbastanza per l’azienda da guidare l’ultimo investimento e unirsi al consiglio di Neural Magic, ha detto Stevens. Papadopoulos è l’ex CTO di Sun Microsystems e ha lavorato al MIT su architetture di elaborazione di flussi di dati paralleli. Papadopoulos arrivò a credere che l’hardware portasse troppa frizione all’inferenza, il che significa che aziende come Nvidia non saranno in grado di dominare il mercato con le sole ottimizzazioni hardware della GPU .
