ImageNet è uno dei set di dati di immagini più popolari organizzati secondo la gerarchia di WordNet. ImageNet è stato creato con l’obiettivo di creare decine di milioni di immagini ordinate in modo pulito per la maggior parte dei concetti.
Numero totale di immagini: 14.197.122
Numero di immagini con annotazioni sul riquadro di selezione: 1.034.908
Oggi, quasi tutti i modelli di riconoscimento delle immagini all’avanguardia sono pre-addestrati sul database ImageNet. L’ universalità di ImageNet fa meravigliarsi se valga la pena elogiarlo.
Per indagare su questo, i ricercatori di Google, nel loro nuovo lavoro , hanno condotto esperimenti per verificare se i progressi sul benchmark di classificazione ImageNet sono buoni come quelli che sono considerati. Gli autori controllano il benchmark per una generalizzazione significativa e se gli utenti hanno iniziato a sovrautilizzare le sfumature delle etichette nel database ImageNet.
I ricercatori di Google hanno sviluppato una procedura più solida per la raccolta di annotazioni umane del set di validazione ImageNet. Utilizzando queste nuove etichette, hanno rivalutato l’accuratezza dei classificatori ImageNet proposti di recente. Con loro sorpresa, hanno scoperto che i guadagni appena riportati sono sostanzialmente inferiori a quelli riportati sulle etichette originali.
I ricercatori hanno dimostrato le inefficienze dell’utilizzo di ImageNet. Quindi ha proceduto allo sviluppo di una nuova procedura di etichettatura e ha anche introdotto una nuova metrica chiamata accuratezza ReaL per valutare le nuove etichette.
