La nuova AI di Google ti consente di creare musica sul browser
Di recente, gli sviluppatori di Magenta di Google hanno introdotto una stanza virtuale nel browser nota come lettore Lo-Fi che ti consente di suonare con vari ritmi musicali di strumenti. Lo-Fi è fondamentalmente uno strumento di generazione di musica che ti consente di selezionare e creare musica di tua scelta.
In un post sul blog , gli sviluppatori di questo sistema di intelligenza artificiale hanno affermato che se qualcuno ha mai ascoltato i popolari stream Lo-Fi Hip Hop mentre lavorava e allo stesso tempo ha immaginato se fosse il produttore, ora gli permetterà di crearne uno proprio musica e atmosfera.
Gli sviluppatori hanno scelto Lo-Fi Hip Hop perché è un genere popolare in cui la struttura della musica è relativamente semplice. Secondo loro, questa flessibilità limitata ha contribuito a garantire che la musica avesse sempre un senso.
In Lo-Fi Player, puoi costruire la tua stanza della musica personalizzata e la musica può essere riprodotta interagendo con gli elementi nella stanza. Puoi sia ascoltare la musica che condividere la stanza con gli altri.
Facendo clic sul pulsante di avvio inizierà la riproduzione della musica. Una volta che la musica inizia a suonare, puoi cambiare la musica in tempo reale come la melodia, il basso, il tempo, ecc. Armeggiando con gli oggetti nella stanza.
Non solo puoi personalizzare la musica, ma puoi anche modificare altre funzionalità come la visualizzazione fuori dalla finestra. La visualizzazione all’esterno della finestra è correlata al suono di sottofondo nella traccia musicale e si può facilmente modificare sia la grafica che la musica semplicemente facendo clic sulla finestra.
Secondo gli sviluppatori, l’obiettivo di progettazione di questo sistema musicale basato sull’intelligenza artificiale non è quello di sostituire i produttori o gli stream Lo-Fi Hip Hop esistenti, ma portare un prototipo per un pezzo musicale interattivo al genere per aiutare le persone ad apprezzare l’arte.
I modelli di machine learning di Magenta.js alimentano tutte queste esperienze. Magenta.js è un’API JavaScript open source per l’utilizzo dei modelli Magenta pre-addestrati nel browser. È costruito con TensorFlow.js, che consente un’inferenza veloce con accelerazione GPU.
Gli sviluppatori di questo sistema di intelligenza artificiale hanno incorporato diversi modelli di apprendimento automatico della musica sviluppati dal team di Magenta per aiutare gli utenti a rendere l’esperienza più nuova e dinamica.
Ad esempio, la TV al centro della stanza della musica virtuale rappresenta MusicVAE. MusicVAE è un modello di apprendimento automatico che consente a un utente di creare tavolozze per la fusione e l’esplorazione di spartiti musicali. Si può fare clic sulla TV per creare nuove melodie ricombinando quelle esistenti. Oltre a varie melodie come freddo, triste, denso, ecc., Include anche reti neurali ricorrenti che generano musica e funge da guida end-to-end su come costruire una rete ricorrente in TensorFlow.
La radio accanto alla TV rappresenta MelodyRNN. MelodyRNN è un modello di apprendimento automatico che applica la modellazione del linguaggio alla generazione di melodie utilizzando un LSTM. La radio nella stanza virtuale è fondamentalmente un piccolo “telaio automatico” che può essere utilizzato per generare nuove melodie.
Parlando di modelli di machine learning, gli sviluppatori hanno affermato: “Vogliamo dimostrare che qualcosa di semplice come applicare MusicVAE a brevi melodie può produrre risultati piacevoli se eseguito in un contesto creativo e divertente”.
Condivisione su Youtube
Nella seconda fase di questo progetto, gli sviluppatori hanno trasformato il lettore musicale Lo-Fi in uno streaming YouTube interattivo che durerà alcune settimane. Hanno inoltre affermato che invece di fare clic sugli elementi nella stanza, è possibile digitare i comandi nella chat dal vivo.
I comandi consentono all’utente di eseguire varie attività come cambiare il colore della stanza, cambiare la melodia, cambiare gli strumenti e altro ancora. Ogni volta che il ritmo viene ripetuto, il sistema seleziona casualmente i commenti dalla chat dal vivo per modificare la musica .
Gli sviluppatori hanno affermato: “Questo è il primo tentativo di streaming interattivo di YouTube basato sul ML . È piuttosto primitivo, ma speriamo che sia ancora divertente allestire una stanza e lasciare che gli altri modifichino la musica che si sta facendo “.
