LAION rilascia modelli OpenCLIP su larga scala per promuovere la classificazione delle immagini
Il nuovo modello H/14 mira a raggiungere numeri di alto livello con un’ampia applicazione oltre la generazione di immagini nella classificazione di fascia alta e nella creazione di set di dati.
 
In un post sul blog la scorsa settimana, LAION (Large-scale Artificial Intelligence Open Network) ha addestrato tre modelli CLIP su larga scala , ViT-L/14, ViT-H/14 e ViT-g/14, con OpenCLIP . Si ritiene che la creazione di questo modello abbia stabilito un nuovo punto di riferimento per guidare la classificazione e la generazione delle immagini in avanti. 

I modelli CLIP sono in genere addestrati in modo autocontrollato su numerose coppie (immagine, testo). Il blog afferma che con LAION, il team ha prodotto il “set di dati LAION-5B”, che si ritiene contenga 5,8 miliardi di coppie di immagini e testo strettamente correlate. 

 
CLIP (Contrastive Language – Image Pre-training) è una rete neurale che apprende in modo efficiente concetti visivi dalla supervisione del linguaggio naturale. Può essere applicato a qualsiasi benchmark nella classificazione visiva fornendo i nomi delle categorie da riconoscere, in modo simile alle capacità “zero-shot” di GPT-2 e GPT-3.

Il modello CLIP ViT B/32 è stato inizialmente rilasciato da OpenAI per filtrare il set di dati dalla scansione comune. Il team ritiene che il miglior modello CLIP open source del set di dati LAION-5B completi la replica open source del documento CLIP , pubblicato da OpenAI nel 2021.

 
Il nuovo modello H/14 mira a raggiungere numeri di alto livello con un’ampia applicazione oltre la generazione di immagini nella classificazione di fascia alta e nella creazione di set di dati. Il modello H/14 raggiunge una precisione del 78,0% zero-shot top-1 su ImageNet e il 73,4% sul recupero di immagini zero-shot su Recall@5 su MS COCO , considerato il miglior modello CLIP open source a settembre 2022.

I modelli dovrebbero essere utilizzati per molte applicazioni come la guida e il condizionamento delle clip e pretendono di ottenere risultati migliori su modelli come la diffusione stabile . Può essere ulteriormente utilizzato per modificare il codificatore di testo in modo che funzioni nell’impostazione multilingue o espandersi ad altre modalità ed estrarre la conoscenza da clip più piccole in una più grande, per aiutare a avviare i processi di apprendimento. 

Di ihal

Utilizzando il sito, accetti l'utilizzo dei cookie da parte nostra. maggiori informazioni

Questo sito utilizza i cookie per fornire la migliore esperienza di navigazione possibile. Continuando a utilizzare questo sito senza modificare le impostazioni dei cookie o cliccando su "Accetta" permetti il loro utilizzo.

Chiudi