Il primo sensore di immagine AI di Sony renderà le fotocamere ovunque più intelligenti
L’intelligenza artificiale sul dispositivo promette di essere più veloce, più economica e più sicura
Sony ha annunciato il primo sensore di immagine al mondo con intelligenza artificiale integrata. Il nuovo sensore IMX500 incorpora sia la potenza di elaborazione che la memoria, consentendogli di eseguire attività di visione artificiale basate sull’apprendimento automatico senza hardware aggiuntivo. Il risultato, afferma Sony, sarà una fotocamera AI più veloce, economica e sicura.
Negli ultimi anni, i dispositivi che vanno dagli smartphone alle telecamere di sorveglianza hanno beneficiato dell’integrazione dell’IA. L’apprendimento automatico può essere utilizzato non solo per migliorare la qualità delle immagini che scattiamo , ma anche per capire i video come farebbe un essere umano ; identificare persone e oggetti nella cornice. Le applicazioni di questa tecnologia sono enormi (e talvolta preoccupanti), consentendo di tutto, dalle auto a guida autonoma alla sorveglianza automatizzata.
Ma molte applicazioni si affidano all’invio di immagini e video sul cloud per essere analizzati. Questo può essere un viaggio lento e insicuro, che espone i dati agli hacker. In altri scenari, i produttori devono installare core di elaborazione specializzati sui dispositivi per gestire la domanda computazionale aggiuntiva, come con i nuovi telefoni di fascia alta di Apple, Google e Huawei.
Ma Sony afferma che il suo nuovo sensore di immagine offre una soluzione più snella rispetto a uno di questi due approcci.
“Esistono altri modi per implementare queste soluzioni”, ha dichiarato a The Verge il vicepresidente di Sony per gli affari e l’innovazione, Mark Hanson , facendo riferimento al edge computing , che utilizza chip AI dedicati non collegati direttamente al sensore di immagine. “Ma non credo che saranno vicini tanto quanto i costi di spedizione dei sensori di immagine in miliardi”.
L’IMX500 È DESTINATO A CLIENTI COMMERCIALI, NON A HARDWARE DI CONSUMO
L’enorme presenza di Sony nel mercato dell’elaborazione delle immagini spingerà sicuramente questa tecnologia ai clienti su vasta scala. Hanson osserva che la società detiene una quota di mercato superiore al 60 percento e l’anno scorso ha spedito circa 1,6 miliardi di sensori. Tra i clienti di Sony c’è Apple, che utilizza i sensori dell’azienda nella sua linea di iPhone.
Questo sensore di immagine AI di prima generazione, tuttavia, è improbabile che finisca nei dispositivi di consumo come smartphone e tablet, almeno per cominciare. Al contrario, Sony si rivolge a rivenditori e clienti industriali, che stanno iniziando a utilizzare la tecnologia di visione artificiale in modo più ampio.
Hanson fa riferimento ai negozi Go senza cassa di Amazon come esempio. Nei negozi Go di Amazon, il rivenditore utilizza decine di fotocamere abilitate all’intelligenza artificiale per tracciare gli acquirenti e caricarli per gli oggetti che prendono dagli scaffali. “Hanno messo centinaia di telecamere e gestiscono petabyte di dati, su base giornaliera, con un punteggio di convenienza”, afferma Hanson. “Ma se siamo in grado di miniaturizzare quella capacità e metterla sul retro di un chip, possiamo fare ogni sorta di cose interessanti.”
I rapporti suggeriscono che i costi hardware risultanti hanno rallentato il lancio dei negozi di Amazon, anche se i sensori IMX500 di Sony non sarebbero ancora in grado di elaborare i grandi carichi di dati necessari per questo tipo di funzionalità. Al contrario, potrebbero eseguire attività più semplici, come mappare il flusso di clienti in un determinato negozio.
Oltre al risparmio sui costi ci sono vantaggi per la privacy. Se il chip AI è bloccato direttamente sul retro del sensore di immagine, il rilevamento degli oggetti può essere effettuato sul dispositivo. Invece di inviare i dati da analizzare, sul cloud o su un processore vicino, il sensore di immagine stesso esegue qualsiasi analisi AI necessaria e semplicemente produce invece i metadati.
I VANTAGGI INCLUDONO UNA MAGGIORE PRIVACY E VELOCITÀ DI ELABORAZIONE PIÙ ELEVATE
Quindi, se si desidera creare una fotocamera intelligente che rilevi se qualcuno indossa o meno una maschera (una preoccupazione molto reale in questo momento), è possibile caricare un sensore di immagine IMX500 con l’algoritmo pertinente che consente alla fotocamera di inviare rapidamente “sì “O” no “ping.
“Ora abbiamo eliminato quello che normalmente sarebbe un 60 fotogrammi al secondo, flusso video 4K solo per quello ‘ehi, riconosco questo oggetto”, dice Hanson. “Questo può ridurre il traffico di dati [e] aiuta anche cose come la privacy.”
Un’altra grande applicazione è l’automazione industriale, in cui i sensori di immagine sono necessari per aiutare i cosiddetti co-robot – robot progettati per funzionare in prossimità degli esseri umani – dal colpire i loro colleghi in carne e ossa. Qui il vantaggio principale di un sensore di immagine AI integrato è la velocità. Se un co-bot rileva un essere umano dove non dovrebbe essere e deve fermarsi rapidamente, l’elaborazione di tali informazioni il più rapidamente possibile è fondamentale.
Assemblea generale annuale della Continental AG
Sony afferma che l’IMX500 è molto più veloce per questo tipo di attività rispetto a molte altre fotocamere AI, con la possibilità di applicare un algoritmo standard di riconoscimento delle immagini (MobileNet V1) a un singolo fotogramma video in soli 3,1 millisecondi. In confronto, afferma Hanson, i chip della concorrenza, come quelli realizzati dal Movidius di proprietà di Intel (che vengono utilizzati nella fotocamera Clips di Google e nel drone Phantom 4 di DJI ) possono richiedere centinaia di millisecondi – anche secondi – per l’elaborazione.
Il grosso collo di bottiglia, tuttavia, è la capacità dell’IMX500 di gestire attività analitiche più complesse. In questo momento, afferma Hanson, il sensore di immagine può funzionare solo con algoritmi piuttosto “di base”. Ciò significa che compiti più sofisticati e vari, come guidare un’auto autonoma, richiederanno sicuramente hardware AI dedicato per il prossimo futuro. Invece, pensa a IMX500 come a un semplice dispositivo a singola applicazione.
Ma questa è solo la prima generazione e la tecnologia migliorerà senza dubbio in futuro. Al momento, le telecamere sono più intelligenti perché inviano i loro dati ai computer. In futuro, la fotocamera stessa sarà il computer, e tutto il più intelligente per questo.
I campioni di test dell’IMX500 hanno già iniziato la spedizione ai primi clienti con prezzi a partire da ¥ 10.000 ($ 93). Sony prevede che i primi prodotti che utilizzano il sensore di immagine arriveranno nel primo trimestre del 2021.
Aggiornamento, sabato 16 maggio, 6:15 ET: la formulazione di questo articolo è stata aggiornata per chiarire che Mark Hanson di Sony ha suggerito Amazon Go come una potenziale applicazione per la visione del computer più in generale, piuttosto che un cliente target specifico per Sony.
