ElevenLabs ha aggiornato ElevenMusic introducendo due modalità di controllo aggiuntive per Music v2: References, che utilizza una traccia audio per guidare stile, strumentazione e atmosfera di una nuova composizione, e Vocals, che permette di generare brani originali mantenendo una voce coerente tra produzioni differenti. Le nuove funzioni riducono la dipendenza dai soli prompt testuali, spesso insufficienti per descrivere con precisione timbro, densità sonora, impostazione vocale e caratteristiche produttive.
Con References l’utente può caricare un campione compreso tra 10 secondi e cinque minuti e utilizzarlo come condizionamento per la generazione. Music v2 non riproduce direttamente il file, ma ne analizza le proprietà sonore per orientare la nuova traccia verso una combinazione simile di strumenti, ritmo, produzione e atmosfera generale. Il riferimento può essere usato da solo oppure insieme a un prompt, combinando una base sonora concreta con indicazioni testuali su struttura, genere o direzione creativa.
Il vantaggio rispetto alla descrizione linguistica riguarda soprattutto le sfumature difficili da formalizzare. Espressioni come “produzione calda”, “batteria compressa” o “voce intima” possono essere interpretate in modi differenti dal modello, mentre un file audio fornisce direttamente esempi di timbro, dinamica, spazialità e arrangiamento. Il riferimento diventa quindi un secondo canale di controllo, non un sostituto del prompt.
References può essere combinato con gli strumenti di inpainting di Music v2. Dopo aver generato una composizione coerente con il file caricato, l’utente può mantenere alcune sezioni e rigenerarne altre, modificando per esempio un ritornello, un passaggio strumentale o la parte conclusiva senza ricostruire l’intero brano. Il modello utilizza piani di composizione suddivisi in segmenti, distinguendo le parti generate da quelle condizionate attraverso audio già disponibile.
Vocals interviene invece sull’identità della voce. La modalità Voice-to-Song trasforma una singola registrazione vocale in un brano completo, conservando le caratteristiche riconoscibili dell’esecuzione e affidando al modello la costruzione dell’accompagnamento, l’allineamento temporale e la rifinitura del risultato. ElevenLabs descrive il processo come adatto anche a registrazioni non professionali, comprese esecuzioni effettuate con uno smartphone, con imperfezioni di intonazione o di tempo.
La funzione non coincide con una normale clonazione vocale applicata al canto. Voice-to-Song parte da una registrazione che contiene già elementi musicali come melodia, fraseggio e testo, quindi mantiene la struttura dell’interpretazione e interviene su intonazione, sincronizzazione, respiro e arrangiamento. Per progetti continuativi, l’utente può invece caricare una selezione di propri brani e creare un profilo Vocal riutilizzabile: Music v2 apprende tono, tessitura e stile della voce e li applica alle generazioni successive.
Chi non dispone di materiale vocale può scegliere una voce dalla Vocal Library. Questa soluzione permette di mantenere la stessa identità sonora in una serie di tracce, requisito utile per album sperimentali, contenuti seriali, campagne pubblicitarie e prototipi musicali. Senza un profilo persistente, infatti, la voce generata può cambiare sensibilmente tra un brano e l’altro anche quando il prompt rimane simile.
ElevenLabs ha esteso lo stesso principio anche a Styles. Caricando più tracce proprie è possibile creare un profilo che condiziona in modo continuativo strumentazione, arrangiamento, genere, tempo, tessitura e caratteristiche produttive. Vocals e Styles possono essere applicati insieme, separando quindi l’identità vocale da quella musicale: una stessa voce può essere utilizzata con stili diversi oppure uno stesso profilo sonoro può essere associato a voci differenti.
Questi profili appartengono alla famiglia Music Finetunes, che adatta Music v2 a un insieme di file caricati dall’utente. Ogni nuova composizione rimane generata ex novo, ma viene condizionata dai pattern rilevati nel dataset, anziché affidarsi esclusivamente a descrizioni scritte. L’approccio può essere utilizzato per preservare l’identità sonora di un artista, di un marchio, di un videogioco o di una serie di contenuti prodotti su larga scala.
ElevenLabs applica controlli di conformità ai campioni caricati. I file utilizzati come References vengono confrontati con registrazioni riconducibili a soggetti terzi e non possono essere impiegati quando il sistema rileva una corrispondenza protetta. Anche i materiali destinati a Vocals e Styles vengono sottoposti a verifiche, mentre la documentazione sui Finetunes stabilisce che gli utenti ordinari debbano utilizzare audio originale e non protetto da diritti altrui, anche quando possiedono una normale licenza di ascolto o distribuzione.
Il controllo automatico riduce alcuni utilizzi impropri, ma non elimina il problema della titolarità. Una voce può appartenere a una persona diversa da chi carica il file, mentre registrazioni originali possono includere interpreti, produttori o altri soggetti con diritti separati. La verifica tecnica di una corrispondenza audio deve quindi essere affiancata da dichiarazioni di consenso e procedure di contestazione, soprattutto quando il profilo viene riutilizzato commercialmente o reso disponibile ad altri utenti.
References è disponibile in ElevenMusic, ElevenCreative e tramite ElevenAPI, consentendo di integrare il condizionamento audio anche in applicazioni esterne e flussi automatizzati. Vocals e Styles sono accessibili in ElevenMusic e all’interno dei Finetunes di ElevenCreative; le API dedicate ai Music Finetunes consentono inoltre di creare, controllare, aggiornare ed eliminare i profili attraverso operazioni programmatiche.
La distinzione tra i prodotti rimane funzionale al tipo di utilizzo. ElevenMusic è orientato alla creazione e condivisione da parte di utenti e musicisti indipendenti, ElevenCreative aggiunge gestione, pubblicazione e licenze per produzioni professionali, mentre ElevenAPI porta lo stesso modello all’interno di software, piattaforme e pipeline aziendali. Tutti utilizzano Music v2, ma espongono livelli diversi di controllo e automazione.
L’aggiornamento sposta quindi la generazione musicale da un processo basato su richieste isolate verso un sistema capace di conservare identità sonore riutilizzabili. References controlla la direzione di una singola produzione, mentre Vocals e Styles creano profili persistenti applicabili a intere serie di brani. Il risultato è una maggiore coerenza tra le generazioni, ma anche una crescente necessità di gestire consenso, provenienza dei file e diritti associati a voce, interpretazione e stile musicale.