L’intelligenza artificiale (AI) può rilevare i movimenti di un ballerino in tempo reale valutando le informazioni provenienti da quattro diversi tipi di sensori collegati al corpo del ballerino.
Quando si vede un ballerino esperto esibirsi, la musica e il movimento possono apparire così sincronizzati che la canzone sembra fluire magicamente dal corpo dell’artista. Questo è stato il caso di un concerto a Tokyo nel novembre 2017. Intitolato “Mai Hi Ten Yu”, il concerto è stato sponsorizzato dalla Tokyo University of the Arts e dalla Tokyo University of the Arts COI. Tuttavia, non è stata la magia a farlo accadere.
Kaiji Moriyama , un ballerino di fama mondiale, ha mostrato un sistema di intelligenza artificiale in grado di convertire i movimenti di danza in musica per pianoforte durante il concerto. Il “Dance to Piano Performance System”, sviluppato da Yamaha, è in grado di rilevare i movimenti in tempo reale utilizzando quattro tipi di sensori applicati al corpo di un ballerino. L’IA converte quindi quei movimenti in dati musicali e li consegna a un pianoforte Yamaha Disklavier in tempo reale.
MIDI (Musical Instrument Digital Interface) funge da struttura per convertire il movimento in musica.
Sebbene l’idea di utilizzare il movimento come input per attivare note MIDI e riprodurre musica su strumenti virtuali non sia nuova, Yamaha è riuscita a perfezionare il proprio approccio al punto in cui è di gran lunga superiore a qualsiasi cosa ascoltata o vista prima. Il MIDI è uno standard digitale per la trasmissione di note musicali e altre informazioni sull’impostazione dello strumento. MIDI è l’acronimo di Musical Instrument Digital Interface, creato all’inizio degli anni ’80 per stabilire uno standard tra le aziende per i dispositivi di produzione musicale. Una tastiera musicale è il metodo più semplice e tradizionale di input MIDI, ma dagli anni ’80 i creativi hanno lavorato a nuovi modi per tradurre qualsiasi cosa in nuovi modi di suonare la musica.
Come funziona la tecnologia?
L’intelligenza artificiale (AI) utilizzata nel sistema, che è ancora in fase di sviluppo, è in grado di rilevare il movimento di un ballerino in tempo reale valutando le informazioni provenienti da quattro diversi tipi di sensori collegati al corpo del ballerino. Inoltre, questo sistema contiene un database originale che collega melodia e movimenti. L’IA del sistema utilizza questo database per generare dati melodici appropriati dai movimenti del ballerino in tempo reale. I dati MIDI vengono quindi inviati a un pianoforte Yamaha Disklavier TM e quindi convertiti in musica.
Lo Yamaha Disklavier TM è essenziale per convertire i movimenti di danza in un’espressione musicale. Può replicare un’ampia gamma di suoni con alta precisione con solo piccole variazioni nel tocco della tastiera. Inoltre, al concerto, Yamaha ha utilizzato un Disklavier personalizzato che è stato configurato sulla base del pianoforte a coda da concerto CFX modello di punta di Yamaha per trasmettere in modo completo e completo la performance del talentuoso ballerino Moriyama.
Quali sono le prospettive per la Yamaha?
Yamaha ha recentemente presentato il suo primo pianoforte AI completo. Il sistema AI di Yamaha è composto da un pianista Disklavier controllato da un software unico che gli consente di pensare da solo. Gli ingegneri Yamaha hanno inizialmente stabilito l’obiettivo di far riprodurre al sistema qualsiasi brano musicale nello stile di Glenn Gould per dimostrare la tecnologia. Il progetto è stato soprannominato ” Dear Glenn ” con l’aiuto della Glenn Gould Foundation.
Lo studio delle esibizioni del pianista è stato il primo passo. Oltre 100 ore di registrazioni di Gould sono state analizzate utilizzando la tecnologia di deep learning (uno strumento di modellazione matematica che utilizza reti neurali per l’elaborazione dei dati). Inoltre, Yamaha ha studiato le esibizioni di numerosi altri pianisti riconosciuti come esponenti dello stile di Gould. Con tutti i dati raccolti, il sistema AI potrebbe riprodurre praticamente qualsiasi brano di musica per pianoforte come se lo eseguisse lo stesso Gould.
Yamaha, invece, non si è fermata qui. Hanno anche utilizzato la loro tecnologia proprietaria AI Music Ensemble (vista per la prima volta nel 2016). Di conseguenza, il sistema è stato in grado di comunicare con altri musicisti. In questo modo, il pianista AI potrebbe essere un membro della band “genuino”.
