Nel regno di AI Plus AR, come stanno cambiando le applicazioni mobili?
La Realtà Aumentata (AR) influenzerà profondamente le aziende in tutti i settori, influenzando il modo in cui apprendiamo, prendiamo decisioni basate sui dati e comunichiamo con il mondo fisico. L’apprendimento automatico è un fattore determinante per far avanzare il settore AR. Nel mondo AR, ML viene utilizzato per determinare il problema di rilevamento in base al monitoraggio della telecamera. Diverse grandi aziende tecnologiche come Google, Microsoft, Facebook e Amazon stanno guidando lo sviluppo della tecnologia sottostante e integrando l’IA con l’AR per vari casi d’uso.
La nuova generazione di AR può creare esperienze molto più personali e intime, con l’ambiente informatico che collega oggetti digitali nel mondo reale con cui gli utenti possono interagire ed essere presenti insieme. Aziende come Facebook sono state estremamente concentrate sulla creazione di tecnologia per plasmare la prossima generazione di computer per renderla più progettata dall’uomo e attorno ai modi in cui tutti interagiamo naturalmente tra loro.
AI e ML nella realtà aumentata
Solo negli ultimi anni, miliardi di persone hanno utilizzato le funzionalità AR su piattaforme di social media, tra cui Facebook e Snapchat . Facebook ha fornito supporto per Spark AR Studio con sistemi operativi come Windows e macOS e ha aperto la sua AR per Instagram a tutti per creare app per esso. Le aziende ora utilizzano ML per attività come inferire la geometria approssimativa della superficie 3D per consentire effetti visivi, che richiedono solo un singolo input della telecamera senza la necessità di un sensore di profondità dedicato e altro ancora.
Altre aree in cui sono state esplorate AI e AR sono le compagnie di assicurazione auto in cui puoi avvicinarti a qualsiasi auto, avvicinarti il telefono e identificare la marca e il modello del veicolo. Si collegherebbe alle API dell’azienda e quindi ti dirà la tariffa e il pagamento mensile a cui avresti diritto.
In che modo il machine learning può essere integrato nell’AR
Per l’utilizzo del machine learning nelle app di realtà aumentata , sono disponibili diversi modelli ML pre-addestrati che possono essere utilizzati. Ad esempio, ResNet e altri sono modelli di intelligenza artificiale ottimizzati per il rilevamento di oggetti attività di visione artificiale. Questi modelli sono progettati per tracciare classi di oggetti e non solo un oggetto particolare.
Per le applicazioni nel contesto della realtà aumentata, ci sono tre livelli di elaborazione delle immagini per i quali viene utilizzato l’apprendimento automatico. Il primo è la classificazione dell’immagine che ti dice cosa c’è nell’immagine, il secondo è il rilevamento degli oggetti per disegnare un riquadro di delimitazione attorno all’immagine e, infine, il mascheramento dell’immagine in cui puoi effettivamente ottenere un contorno esatto degli oggetti in un’immagine.
Supponiamo ora di poter far funzionare il mascheramento delle immagini su dispositivi mobili con un SDK AR esistente che esegue il rilevamento del piano di massa. In tal caso, è possibile dedurre la posizione dell’oggetto nello spazio 3D per l’occlusione dell’oggetto o l’aggiunta di collisori per le interazioni fisiche. Esistono soluzioni native per l’esecuzione di modelli ML su Android e iOS e per il mascheramento di immagini o il rilevamento di oggetti, possiamo conoscere solo le informazioni spaziali sui rilevamenti nello spazio 2D. Per aggiungere la tecnologia AR insieme ai modelli AI, gli sviluppatori stanno creando applicazioni che implicano l’interazione fisica con oggetti immagine e uno spazio 3D.
La tecnologia è anche open source. Quindi, ad esempio, diciamo in tutte le aziende tecnologiche che desideri utilizzare Google per questo. Puoi addestrare un modello rispetto al modello esistente utilizzando l’apprendimento del trasferimento con la piattaforma cloud di Google. TensorFlow Lite , che è un framework di deep learning open source per l’inferenza sul dispositivo, è incredibilmente utile per la creazione di app AR. Soprattutto se stai cercando di massimizzare le prestazioni del tuo smartphone per eseguire un modello di apprendimento automatico.
E poi, ovviamente, c’è MLKit che aiuta a creare un’app senza dover necessariamente scrivere il proprio modello. Esistono anche API che forniscono risorse come OCR, rilevamento dei volti e altre funzionalità già predefinite per gli utenti.
Esistono anche strumenti come ARCore sviluppato da Google che è multipiattaforma e utilizza OpenGL. È un involucro leggero attorno a OpenGL che può eseguire attività come il tracciamento del movimento e la creazione di scene. C’è anche SceneForm, che è un SDK specifico per Android che ti evita di dover imparare OpenGL .
Con i progressi nell’apprendimento automatico sono disponibili molti modi per integrarsi nei sistemi AR. Richiede uno sforzo minimo per far funzionare le cose. Questi possono essere eseguiti direttamente sui dispositivi o anche tramite servizi cloud.
