Google ha presentato Magenta RealTime 2 (MRT2), un nuovo modello di intelligenza artificiale progettato per la generazione musicale in tempo reale. A differenza della maggior parte dei sistemi generativi dedicati alla musica, che producono brani completi a partire da descrizioni testuali, MRT2 è stato sviluppato per operare come uno strumento musicale interattivo capace di reagire istantaneamente agli input dell’esecutore durante una performance o una sessione di produzione.
Il modello utilizza contemporaneamente segnali MIDI, input audio e istruzioni testuali per generare contenuti musicali in tempo reale. Questa architettura consente ai musicisti di suonare tastiere, controller MIDI o altri strumenti digitali e ricevere una risposta immediata dall’intelligenza artificiale, che può creare accompagnamenti, variazioni armoniche, nuove timbriche o intere parti musicali mantenendo la continuità dell’esecuzione.
MRT2 è un modello da 2,4 miliardi di parametri sviluppato per funzionare con una latenza inferiore a 200 millisecondi anche su normali sistemi Apple Silicon. Questo risultato rappresenta uno degli aspetti più significativi del progetto, poiché consente l’utilizzo diretto su laptop senza la necessità di server remoti o infrastrutture GPU dedicate. Secondo Google, la nuova architettura raggiunge tempi di risposta circa quindici volte inferiori rispetto alla precedente generazione di Magenta Realtime.
Il sistema utilizza una struttura basata su codec audio tokenizzati. L’audio viene convertito nel formato SpectroStream e successivamente elaborato attraverso un modello autoregressivo ottimizzato per la generazione continua. L’adozione di meccanismi di condizionamento sincronizzati sui frame audio permette di mantenere la coerenza tra input e output, mentre una struttura di attenzione causale a finestra scorrevole consente di gestire sequenze musicali molto lunghe limitando al tempo stesso il consumo di memoria.
Per rendere possibile l’esecuzione in locale, Google ha sviluppato un nuovo motore di inferenza scritto in C++ e ottimizzato per l’ecosistema Apple Silicon. Il sistema sfrutta il framework MLX per accelerare l’elaborazione sulle GPU integrate dei processori Apple e gestisce internamente funzioni come buffering audio, sincronizzazione temporale, ricampionamento, elaborazione MIDI e mantenimento dello stato del modello durante la generazione continua.
L’azienda ha inoltre distribuito MRT2 come progetto Open Weights insieme al motore di inferenza open source, a una libreria Python dedicata e a diversi esempi applicativi. Gli sviluppatori possono utilizzare il modello come applicazione autonoma, integrarlo in workstation audio digitali tramite plugin oppure costruire nuovi strumenti musicali basati sull’intelligenza artificiale sfruttando le API e i componenti software messi a disposizione.
Il progetto rappresenta l’evoluzione di oltre dieci anni di ricerca del team Magenta nel campo della creatività assistita dall’intelligenza artificiale. Dopo sistemi come NSynth, DDSP, Piano Genie e le precedenti generazioni di Magenta Realtime, MRT2 sposta l’attenzione dalla semplice generazione automatica di musica alla creazione di strumenti collaborativi che partecipano attivamente al processo esecutivo. Google prevede inoltre di introdurre in futuro funzionalità di personalizzazione che consentiranno ai musicisti di adattare il modello ai propri dati, creando strumenti AI capaci di riflettere stili, timbri e modalità espressive individuali.