I ricercatori sviluppano un’IA “Audeo” in grado di suonare il pianoforte
Un team di ricercatori dell’Università di Washington ha sviluppato un sistema di intelligenza artificiale (AI) chiamato Audeo in grado di creare audio da esecuzioni silenziose di pianoforte. La fase di test ha coinvolto app di riconoscimento musicale come SoundHound, che potrebbero identificare correttamente la musica da Audeo circa l’86% delle volte.
La ricerca è stata presentata alla conferenza NeurlPS 2020 l’8 dicembre.
L’autore senior Eli Shlizerman è un assistente professore nei dipartimenti di matematica applicata e ingegneria elettrica e informatica dell’università.
“Creare musica che suonasse come se potesse essere suonata in un’esibizione musicale era precedentemente ritenuto impossibile”, ha detto Shlizerman. “Un algoritmo ha bisogno di capire i segnali, o ‘caratteristiche’, nei fotogrammi video che sono legati alla generazione di musica, e ha bisogno di ‘immaginare’ il suono che sta accadendo tra i fotogrammi video. Richiede un sistema che sia sia preciso che fantasioso. Il fatto che abbiamo ottenuto una musica che suonasse abbastanza bene è stata una sorpresa. “
Come funziona Audeo
Il sistema Audeo funziona decodificando un video e traducendolo in musica. Il primo di diversi passaggi prevede che l’IA rilevi i tasti premuti in ogni fotogramma video e alla fine sviluppa un diagramma. Il diagramma viene quindi tradotto in modo che un sintetizzatore musicale possa riconoscere i suoni.
Il passaggio successivo prevede la pulizia dei dati e l’aggiunta di ulteriori informazioni. Queste informazioni possono includere cose come la pressione dietro ogni pressione di un tasto e quanto tempo è durato.
“Se provassimo a sintetizzare la musica fin dal primo passo, troveremmo la qualità della musica insoddisfacente”, ha detto Shlizerman. “Il secondo passo è come il modo in cui un insegnante esamina la musica di uno studente compositore e aiuta a migliorarla.”
Il sistema è stato addestrato e testato con i video di YouTube del pianista Paul Barton e consisteva in circa 172.000 fotogrammi video del musicista che suonava vari compositori classici come Mozart. Audeo è stato testato con 19.000 fotogrammi di Barton che suonava la musica diversa.
Il sintetizzatore
Dopo essere stato addestrato, Audeo genera una trascrizione della musica, che viene quindi inviata a un sintetizzatore per tradurla in suono. La musica suona in modo diverso a seconda di ogni sintetizzatore, il che equivale a cambiare l’impostazione dello strumento su una tastiera elettrica.
Il team ha utilizzato due sintetizzatori separati.
“Fluidsynth produce suoni di pianoforte sintetizzatore con cui abbiamo familiarità. Questi hanno un suono in qualche modo meccanico ma piuttosto accurato “, ha detto Shlizerman. “Abbiamo anche utilizzato PerfNet, un nuovo sintetizzatore AI che genera musica più ricca ed espressiva. Ma genera anche più rumore. “
“L’obiettivo di questo studio era vedere se l’intelligenza artificiale poteva generare musica che veniva suonata da un pianista in una registrazione video, anche se non intendevamo replicare Paul Barton perché è un virtuoso”, ha continuato Shlizerman. “Ci auguriamo che il nostro studio consenta nuovi modi di interagire con la musica. Ad esempio, un’applicazione futura è che Audeo può essere esteso a un pianoforte virtuale con una telecamera che registra solo le mani di una persona. Inoltre, posizionando una telecamera su un vero pianoforte, Audeo potrebbe potenzialmente aiutare in nuovi modi di insegnare agli studenti a suonare. “
Kung Su e Ziulong Liu, studenti di dottorato in ingegneria elettrica e informatica, sono stati coautori dell’articolo.
