Il robot FRIDA basato sull’intelligenza artificiale della Carnegie Mellon University collabora con gli esseri umani per creare opere d’arte
Il Robotics Institute della Carnegie Mellon University ha un nuovo artista residente.
FRIDA, un braccio robotico con un pennello attaccato ad esso , utilizza l’intelligenza artificiale per collaborare con gli esseri umani su opere d’arte. Chiedi a FRIDA di dipingere un quadro e si mette al lavoro mettendo il pennello sulla tela.
“C’è questo dipinto di una rana ballerina che penso sia venuto davvero bene”, ha detto Peter Schaldenbrand, Ph.D. alla School of Computer Science. studente presso l’Istituto di Robotica che lavora con FRIDA ed esplora l’intelligenza artificiale e la creatività. “È davvero sciocco e divertente, e penso che la sorpresa di ciò che FRIDA ha generato in base al mio contributo sia stata davvero divertente da vedere.”
FRIDA, dal nome di Frida Kahlo, sta per Framework and Robotics Initiative for Developing Arts. Il progetto è guidato da Schaldenbrand con i membri della facoltà del RI Jean Oh e Jim McCann e ha attirato studenti e ricercatori in tutta la CMU.
Gli utenti possono dirigere FRIDA inserendo una descrizione testuale, inviando altre opere d’arte per ispirarne lo stile o caricando una fotografia e chiedendogli di dipingerne una rappresentazione. Il team sta sperimentando anche altri input, incluso l’audio. Hanno suonato “Dancing Queen” degli ABBA e hanno chiesto a FRIDA di dipingerla.
“FRIDA è un sistema di verniciatura robotico, ma FRIDA non è un artista”, ha affermato Schaldenbrand. “FRIDA non sta generando le idee per comunicare. FRIDA è un sistema con cui un artista potrebbe collaborare. L’artista può specificare obiettivi di alto livello per FRIDA e quindi FRIDA può eseguirli.”
Il robot utilizza modelli di intelligenza artificiale simili a quelli che alimentano strumenti come ChatGPT e DALL-E 2 di OpenAI, che generano rispettivamente testo o un’immagine in risposta a un prompt. FRIDA simula il modo in cui dipingerebbe un’immagine con pennellate e utilizza l’apprendimento automatico per valutarne l’avanzamento mentre funziona.
I prodotti finali di FRIDA sono impressionistici e stravaganti. Le pennellate sono audaci. Mancano della precisione ricercata così spesso negli sforzi robotici. Se FRIDA commette un errore, ci si rifà sopra, incorporando la macchia di vernice errante nel risultato finale.
“FRIDA è un progetto che esplora l’intersezione tra creatività umana e robotica”, ha affermato McCann. “FRIDA sta utilizzando il tipo di modelli di intelligenza artificiale che sono stati sviluppati per fare cose come le immagini di didascalie e comprendere il contenuto della scena e applicarlo a questo problema artistico generativo”.
FRIDA attinge più volte all’intelligenza artificiale e all’apprendimento automatico durante il suo processo artistico. Per prima cosa, impiega un’ora o più per imparare a usare il suo pennello. Quindi, utilizza grandi modelli di linguaggio visivo addestrati su enormi set di dati che accoppiano testo e immagini prelevati da Internet, come Contrastive Language-Image Pre-Training (CLIP) di OpenAI, per comprendere l’input. I sistemi di intelligenza artificiale utilizzano questi modelli per generare nuovo testo o immagini in base a un prompt.
Altri strumenti di generazione di immagini, come DALL-E 2 di OpenAI, utilizzano grandi modelli di linguaggio visivo per produrre immagini digitali. FRIDA fa un ulteriore passo avanti e utilizza il suo sistema robotico incorporato per produrre dipinti fisici. Una delle maggiori sfide tecniche nella produzione di un’immagine fisica è ridurre il divario tra simulazione e realtà, la differenza tra ciò che FRIDA compone nella simulazione e ciò che dipinge sulla tela. FRIDA utilizza un’idea nota come real2sim2real. Le effettive pennellate del robot vengono utilizzate per addestrare il simulatore a riflettere e imitare le capacità fisiche del robot e dei materiali di verniciatura.
Il team di FRIDA cerca anche di affrontare alcune delle limitazioni negli attuali grandi modelli di linguaggio visivo perfezionando continuamente quelli che usano. Il team ha fornito ai modelli i titoli degli articoli di notizie per dargli un’idea di ciò che stava accadendo nel mondo e li ha ulteriormente addestrati su immagini e testi più rappresentativi delle diverse culture per evitare un pregiudizio americano o occidentale . Questo sforzo di collaborazione multiculturale è guidato da Zhixuan Liu e Beverley-Claire Okogwu, studenti del primo anno del master del RI, e Youeun Shin e Youngsik Yun, studenti del master in visita dall’Università di Dongguk in Corea. I loro sforzi includono contributi di dati sulla formazione da Cina, Giappone, Corea, Messico, Nigeria, Norvegia, Vietnam e altri paesi.
Una volta che l’utente umano di FRIDA ha specificato un concetto di alto livello del dipinto che desidera creare, il robot utilizza l’apprendimento automatico per creare la sua simulazione e sviluppare un piano per realizzare un dipinto per raggiungere gli obiettivi dell’utente. FRIDA mostra una tavolozza di colori sullo schermo di un computer che un essere umano può mescolare e fornire al robot. La miscelazione automatica della vernice è attualmente in fase di sviluppo, guidata da Jiaying Wei, uno studente di master presso la School of Architecture , con Eunsu Kang, docente del dipartimento di Machine Learning .
Armata di pennello e vernice, FRIDA farà i suoi primi colpi. Ogni tanto, il robot utilizza una telecamera dall’alto per catturare un’immagine del dipinto. L’immagine aiuta FRIDA a valutare i suoi progressi e a perfezionare il suo piano, se necessario. L’intero processo richiede ore.
“La gente si chiede se FRIDA accetterà il lavoro degli artisti, ma l’obiettivo principale del progetto FRIDA è esattamente l’opposto. Vogliamo davvero promuovere la creatività umana attraverso FRIDA”, ha detto Oh. “Ad esempio, personalmente volevo essere un artista. Ora posso effettivamente collaborare con FRIDA per esprimere le mie idee nella pittura”.
Maggiori informazioni su FRIDA sono disponibili sul suo sito web . Il team presenterà la sua ultima ricerca dal progetto ” FRIDA: un pittore di robot collaborativo con un ambiente di pianificazione differenziabile, Real2Sim2Real ” alla Conferenza internazionale IEEE 2023 su robotica e automazione questo maggio a Londra. FRIDA risiede nel laboratorio del Bot Intelligence Group (BIG) del RI nel quartiere di Squirrel Hill a Pittsburgh.
