I ricercatori di Deezer hanno sviluppato un sistema di intelligenza artificiale in grado di associare determinate canzoni con stati d’animo e intensità, come rilevato da VentureBeat . Il lavoro è descritto in un articolo appena pubblicato su Arxiv.org intitolato ” Music Mood Detection basato su audio Lyrics With Deep Neural Nets “.
Per determinare l’umore musicale di una canzone, la squadra ha considerato sia il segnale audio che i testi. Per iniziare, hanno alimentato segnali audio in una rete neurale, insieme a modelli che ricostruiscono i contesti linguistici delle parole. Quindi, per insegnare come determinare l’atmosfera di una canzone, hanno usato il Million Song Dataset (MSD), che è una raccolta di metadati per oltre 1 milione di canzoni contemporanee. In particolare, hanno utilizzato il set di dati di Last.fm, che assegna gli identificatori alle tracce di oltre 500.000 tag unici. Molti di questi tag sono legati all’umore e oltre 14.000 parole inglesi di questi tag hanno ricevuto due valutazioni in scala correlate a quanto è negativa o positiva una parola, e anche quanto calmo o energico è una parola per addestrare il sistema.
Million Song Database contiene solo metadati per le canzoni, non le canzoni stesse, quindi il team ha poi associato tutte queste informazioni al catalogo di Deezer utilizzando identificatori come titoli di canzoni, nomi di artisti e titoli di album. Circa il 60 percento del set di dati risultante (18.644 brani) è stato utilizzato per addestrare l’intelligenza artificiale, mentre il resto utilizzato per convalidare e testare ulteriormente il sistema.
QUESTO TIPO DI LAVORO È VISTO COME UN MODO PER APPROFONDIRE IL MODO IN CUI LA MUSICA, I TESTI E L’UMORE SONO CORRELATI
Alla fine, i ricercatori hanno concluso che l’intelligenza artificiale era più in grado di rilevare quanto una canzone calma o energica fosse migliore degli approcci tradizionali che non usavano l’intelligenza artificiale, e si comportò allo stesso modo quando si trattava di scoprire se una canzone era positiva o negativa . “Sembra che questo guadagno di prestazioni sia il risultato della capacità del nostro modello di svelare e utilizzare correlazioni di medio livello tra audio e testo, in particolare quando si tratta di prevedere la valenza”, hanno scritto i ricercatori nel documento.
Nel documento si nota che per sfruttare al meglio questo lavoro, un “database con testi e audio sincronizzati sarebbe di grande aiuto per andare oltre”. Se esistesse un database di questo tipo, il team crede che potrebbe determinare con più precisione l’ambiguità nel l’umore delle tracce, in quanto “in alcuni casi, può esserci una variabilità significativa tra gli ascoltatori” (le persone potrebbero non essere sempre d’accordo se una canzone è positiva o negativa, per esempio). In definitiva, i ricercatori ritengono che questo tipo di lavoro sia visto come un modo per approfondire il modo in cui la musica, i testi e l’umore sono correlati, così come la possibilità di avere modelli di apprendimento profondo in grado di selezionare e trovare dati senza etichetta in grande quantità.
Questo è lontano dalla prima volta che Deezer ha tentato di usare l’intelligenza artificiale per ordinare la musica. L’anno scorso, al festival Sónar è stata lanciata una sfida per rispondere alla domanda: “Quando un utente è a casa, come possiamo rilevare il contesto in cui ascoltano la musica e raccomandare la musica di conseguenza?” Deezer potrebbe teoricamente utilizzare questo tipo di il machine learning in futuro per ordinare e catalogare automaticamente la musica – non solo con i metadati di base, come il nome dell’artista o il genere musicale, ma anche qualcosa di più sfumato come l’umore.