La telecamera di profondità “Clarity” di Light potrebbe cambiare le regole del gioco
“Light”, un’ex azienda di fotocamere ha annunciato un nuovo sensore di profondità che potrebbe cambiare le regole del gioco, capovolgendo LIDAR e la misurazione della profondità basata sulla visione artificiale, producendo una combinazione di immagine RGB e mappa di profondità con distanze fino a 1000 metri sorprendenti. Presumendo che funzioni come promesso e possa essere consegnato su larga scala, questa è una notizia sorprendente.
Alcuni di voi conosceranno Light come un’azienda che ha realizzato una fotocamera computazionale con 16 obiettivi a 3 diverse lunghezze focali. La combinazione delle immagini consente loro di produrre un’immagine ad alta risoluzione con una profondità di campo regolabile, sperando di ottenere la qualità SLR in una scatola piatta. Hanno testato il loro primo prodotto e, sebbene interessante, non era pronto per la prima serata. In seguito hanno ricevuto denaro da Softbank. La mia ipotesi era che avrebbero tentato di utilizzare la fotografia computazionale per stimare la distanza dai pixel, ma l’hanno fatto oltre ogni mia aspettativa, poiché 1000 m di portata non sembravano possibili.
La mia ipotesi è che la chiarezza della luce scatti le immagini della fotocamera con diverse fotocamere focalizzate a distanze diverse. Utilizza anche uno stereo di base abbastanza lungo. Come sanno i fotografi, un’immagine da un obiettivo veloce sarà nitida alla distanza focale, e più sfocata più qualcosa è lontano da quella distanza. L’intervallo in cui l’immagine è sufficientemente nitida per il sensore è la “profondità di campo”. Con due o più immagini a diverse distanze focali, puoi confrontare quanto sono sfocate le immagini e stimare la distanza effettiva, ma non è sufficiente per ottenere un’elevata precisione fino a 1000 m, né lo stereo di base lungo, quindi devono essere andati oltre questo livello di base tecnica.
Sebbene non abbiano annunciato i prezzi, un tale sistema non dovrebbe essere costoso. I sensori e le lenti sono economici e allo stato solido. Il calcolo diventa più economico con il tempo e il silicio personalizzato. Questo differisce dalla maggior parte dei LIDAR che utilizzano componenti più costosi e spesso hanno parti in movimento o parti che devono essere calibrate con estrema precisione, rendendo difficile mantenerle allineate all’interno dell’ambiente ad alte vibrazioni di un’auto. Sebbene siano stati compiuti notevoli sforzi per risolvere questi problemi con i LIDAR, il lavoro continua ancora. The Clarity afferma di offrire tutto ciò che fa il LIDAR (con una grande eccezione) e di farlo su una gamma molto più ampia. Non ho ancora visto i dettagli su come si confronteranno i valori dell’intervallo per accuratezza e precisione con LIDAR.
La “grande eccezione” è che LIDAR utilizza la luce emessa, quindi funziona allo stesso modo indipendentemente dall’illuminazione, giorno e notte. Il LIDAR vede un oggetto nel nero della notte, il Clarity avrà bisogno che sia illuminato da fari o altre fonti, allo stesso modo degli occhi umani e delle telecamere. Tuttavia, essere bravo come un essere umano è una prestazione abbastanza ragionevole.
Un’altra eccezione è che alcuni LIDAR forniscono la velocità di un bersaglio, come fa il radar. Questo rimane prezioso. D’altra parte, con frame rate più elevati e sufficiente accuratezza e precisione, è possibile misurare abbastanza bene la velocità degli oggetti.
L’altra competizione è l’uso della visione artificiale, a volte chiamata pseudo LIDAR. Questo è analogo a come gli umani calcolano la profondità delle cose, usando il nostro cervello e la conoscenza del mondo. Questa e altre tecniche di visione artificiale non solo soffrono del bisogno di illuminazione, ma hanno a che fare con il cambiamento di luci e ombre che alterano l’aspetto delle cose. Ciò non dovrebbe influire notevolmente sulla tecnica di chiarezza.
Clarity emette una nuvola di punti a distanza, più o meno come i LIDAR. Dovrebbe essere utilizzabile come sostituto immediato del LIDAR direzionale. (Alcuni LIDAR offrono una vista a 360 gradi, cosa che Clarity non fa a meno che non ne installi diversi). Light afferma una velocità di 30 fotogrammi al secondo, che è migliore della maggior parte dei LIDAR.
Inoltre, il Clarity offre la normale immagine fotografica della fotocamera perfettamente calibrata con la sua mappa di profondità. Questo è molto utile: tutti vogliono abbinare le loro nuvole di punti LIDAR con le immagini della fotocamera per fondere i sensori, ma questa tecnica è pre-fusa. Le reti neurali possono ora classificare gli oggetti da una loro fotografia 3D completa, il che dovrebbe migliorarne le prestazioni.
1000m
Una portata di mille metri è sorprendente. È per più della maggior parte dei radar automobilistici. La maggior parte dei LIDAR a 905 nm vede in modo affidabile solo intorno ai 120 m mentre possono vedere alcune cose un po ‘più lontano. Ciò ha portato molte aziende a lavorare con LIDAR da 1550 nm che possono vedere in modo affidabile fino a 250 m. Devi vedere 250 m per guidare veloce in autostrada, soprattutto in condizioni di bagnato, se vuoi fermarti in tempo. È sempre bello vedere meglio.
Il radar vede abbastanza lontano e ovviamente funziona giorno e notte. Vede anche attraverso la nebbia e la polvere e rileva persino gli oggetti che non puoi vedere rimbalzando fuori strada, permettendoti di monitorare la velocità dei veicoli bloccati alla vista dal camion che stai seguendo. Rimarrà nel portafoglio dei sensori. Ti dà anche la velocità.
Tesla’s TSLA -5,9% famoso “LIDAR è una stampella”
In sostituzione di LIDAR, il Clarity, se funzionasse, ucciderebbe gran parte del settore LIDAR ma convaliderebbe tutti coloro che hanno costruito per usarlo. È noto che Elon Musk non usa LIDAR, ritenendo che si possa e si debba risolvere tutti i problemi con la visione artificiale. È piuttosto difficile immaginare perché non vorresti usarlo, tuttavia, poiché puoi combinare il meglio di entrambi i mondi. Fortunatamente per Tesla, potrebbe essere una modifica piuttosto minima per i veicoli Tesla, anche quelli esistenti, ma sarà più un retrofit del software. La visione sovrumana che vede anche la distanza non sarebbe una stampella, sarebbe un miglioramento sia sull’approccio LIDAR che su quello visivo.
Cosa non è da amare?
C’è molto poco da non amare, anche se ci sono cose che non sappiamo. Ho contattato Light per ottenere risposte su alcune di queste domande.
Quanto costerà? Al momento, qualsiasi cosa sotto i $ 1.000 sarebbe un gioco da ragazzi per la maggior parte delle squadre, ma sembra che potrebbe essere molto meno. Deve essere inferiore se desideri una visione a 360 gradi.
Quando sarà disponibile in grandi quantità per la distribuzione?
Qual è la precisione? Nel loro video dimostrativo identificano i punti a soli 4 cm di distanza. Molti LIDAR possono fare di meglio, ma in molti casi non è strettamente necessario. Un’applicazione chiave – individuare buche, dossi e detriti sulla strada – ama una buona precisione, ma l’identificazione di un pedone no.
Quanto bene funzionerà di notte sotto i fari?
Qual è la risoluzione delle mappe di profondità? Le immagini mostrate suggeriscono che la mappa di profondità ha una risoluzione molto inferiore rispetto all’immagine RGB, ma comunque migliore di LIDAR.
Quanto sono accurati i risultati? Una bassa accuratezza ridurrà anche intrinsecamente la precisione, ma altrimenti qualche errore in questo può essere tollerato.
Sembra produrre alcuni errori con gli oggetti che si muovono davanti ad altri oggetti. Avremo bisogno di conoscere la portata di questi errori e se influenzano gli algoritmi di rilevamento chiave.
Sarà robusta come suggeriscono? Con 3 telecamere su un rack, ci sarà uno spostamento: rimane calibrato?
