Piccoli laboratori di intelligenza artificiale in un mondo di fondi inaspriti
La flessibilità, l’interoperabilità e il risparmio sui costi offerti dai modelli open source potrebbero avvantaggiare notevolmente i piccoli laboratori di ricerca.
Grandi laboratori di intelligenza artificiale come DeepMind, Alan Turing Institute, OpenAI e Meta AI stanno spingendo le frontiere dell’intelligenza artificiale. Nel frattempo, anche piccoli laboratori come AI21 Labs, che ha rilasciato Jurassic-1 Jumbo , un modello di linguaggio che potrebbe dare una corsa a GPT 3 per i suoi soldi, stanno recuperando terreno.
Non solo AI21 Labs, un gruppo di piccoli laboratori di intelligenza artificiale come ElkanIO Research Lab, Cohere for AI, Hidden Brains Infotech, LIVIA e Borealis AI stanno facendo un lavoro impressionante nello spazio dell’IA. Mentre ElkanIO Research Lab offre analisi video, automazione dei processi robotici, soluzioni di riconoscimento facciale e IA conversazionale, Borealis AI esegue ricerche fondamentali e applicate nell’apprendimento per rinforzo, nell’elaborazione del linguaggio naturale, nell’apprendimento profondo e nell’apprendimento non supervisionato. LIVIA è impegnata nell’elaborazione, analisi e interpretazione su larga scala di immagini e video utilizzando l’intelligenza artificiale.
Risolvi per poco
“Prima di tutto, prova a fare la ricerca che potresti essere in una posizione unica per fare. Questo è un mix di ciò in cui i tuoi colleghi sono bravissimi e di quali altre comunità (ad es. buoni laboratori non ML presso la tua università, hobby/interessi personali, …) a cui hai accesso e con cui potresti collaborare”, ha affermato Lucas Beyer, ingegnere ricercatore senior su Google Cervello.
I laboratori dovrebbero capitalizzare i propri punti di forza – in termini di talento e problema che stanno cercando di risolvere – per costruire un fossato competitivo. Piuttosto che lanciare la rete larga, i piccoli laboratori dovrebbero concentrarsi su un problema per il quale sono in una buona posizione per risolvere. È importante che i piccoli laboratori di intelligenza artificiale siano antifragili.
Rete
Internet pullula di comunità di AI/ML come Hugging Face, Kaggle, Github, Spark ML group, Informed.ai, Towards AI, DataQuest ed EleutherAI, dove gli esperti condividono le loro conoscenze su AI, ML , visione artificiale e così via. Questi forum sono un buon posto per il brainstorming e l’ideazione. Oltre al trasferimento di conoscenze, tali comunità sono un buon bacino di utenza per i talenti di AI, ML e data scientist e sono ideali anche per trovare collaboratori per i tuoi progetti.
Talento giusto
L’ampia conoscenza dell’apprendimento automatico, delle statistiche e delle probabilità è fondamentale per fare ricerca sull’IA e trovare, trattenere e coltivare i talenti è una sfida. È necessaria una profonda conoscenza dei domini dei dati per creare modelli di intelligenza artificiale innovativi. I laboratori di intelligenza artificiale dovrebbero assumere le persone con il perfetto equilibrio tra intuizione dei dati e conoscenza all’avanguardia. Queste persone sono quasi tutti accademici, ha affermato Foteini Agrafioti, responsabile di Borealis AI.
Oggi, i laboratori di intelligenza artificiale ad alta intensità di risorse e aziendali si concentrano sulla ricerca basata sui prodotti che porta a una monocultura AI/ML . Pertanto, il contributo del mondo accademico alla ricerca sull’IA su larga scala sta diminuendo drasticamente. Molti buoni talenti dell’IA/ML sono disillusi dalla mercificazione della ricerca scientifica. I piccoli laboratori di intelligenza artificiale possono assorbire tali talenti interessati alla ricerca a tempo indeterminato per il bene comune.
Open source
La flessibilità, l’interoperabilità e il risparmio sui costi offerti dai modelli open source potrebbero avvantaggiare notevolmente i piccoli laboratori di ricerca. TensorFlow, PyTorch, MLflow, NumPy, Keras e Pandas sono alcuni dei popolari strumenti open source che i ricercatori possono utilizzare per creare soluzioni. Ad esempio, Elkanio Research Labs utilizza TensorFlow, Python e Rapidminer per l’analisi dei dati.
Piccoli laboratori come Borealis AI non solo utilizzano strumenti AI/ML open source, ma rendono anche open source i loro codici e pubblicano i loro risultati. AdverTorch di Borealis AI fornisce ai ricercatori gli strumenti per condurre la ricerca in diverse direzioni per la robustezza del contraddittorio. Il toolbox per la generazione di dati sintetici privati offre ai professionisti dell’apprendimento automatico la possibilità di generare campioni di dati privati e sintetici da dati del mondo reale.
Modelli pre-addestrati
I modelli di training di machine learning richiedono sia tempo che risorse. Piccoli laboratori di ricerca potrebbero utilizzare diversi modelli pre-formati e riutilizzarli secondo le loro esigenze utilizzando un meccanismo di trasferimento dell’apprendimento. Il trasferimento dell’apprendimento è il miglioramento dell’apprendimento in una nuova attività (attività di destinazione) attraverso il trasferimento della conoscenza da un’attività correlata (attività di origine) che è già stata appresa.
“Sento che prendere diversi modelli pre-addestrati e unirli insieme in modi interessanti sembra piuttosto interessante/promettente senza bisogno di enormi calcoli, guarda il nostro LiT, UViM, ma anche flamingo, frozen-LM, arte guidata da CLIP, … o trova di meglio modi per usarli/trasferirli”, ha affermato Beyer.
I modelli pre-addestrati consentono di risparmiare tempo e ridurre i costi di calcolo poiché richiedono meno formazione. Una minore potenza di calcolo alla fine riduce l’impronta di carbonio, che è anche un ulteriore vantaggio. Inceptionv3 è una CNN creata e addestrata da Google per la classificazione delle immagini. T5 è un altro modello pre-addestrato sviluppato da Google per la classificazione del testo. YAMNet è una rete neurale profonda pre-addestrata in grado di prevedere eventi audio da 521 classi.
Cloud computing
Il cloud computing aiuta i piccoli laboratori a ridurre i costi operativi e ad aumentare la scalabilità con un facile accesso a risorse flessibili. Ad esempio, TPU Research Cloud (TRC) di Google consente ai piccoli laboratori di accelerare la ricerca sull’apprendimento automatico con l’accesso gratuito a Cloud TPU e framework come TensorFlow, PyTorch, Julia e JAX. Cloud TPU è un ASIC di machine learning progettato su misura per eseguire modelli di machine learning all’avanguardia su Google Cloud.
