Un team internazionale di ricercatori ha sviluppato un innovativo sistema di intelligenza artificiale chiamato Live2Diff, capace di trasformare flussi video live in contenuti stilizzati quasi in tempo reale. Questa tecnologia, progettata per funzionare su hardware consumer di alta gamma, elabora video a 16 fotogrammi al secondo e potrebbe rivoluzionare settori come l’intrattenimento e la realtà aumentata.
Live2Diff è stato creato da scienziati dello Shanghai AI Lab, del Max Planck Institute for Informatics e della Nanyang Technological University. È il primo modello di diffusione video ad utilizzare un’attenzione temporale unidirezionale, permettendo l’elaborazione di video in streaming live senza la necessità di accedere ai frame futuri.
“Con Live2Diff, abbiamo sviluppato un modello che mantiene la coerenza temporale senza utilizzare frame futuri, aprendo nuove possibilità per la trasformazione e l’elaborazione di video in diretta,” spiegano i ricercatori nel loro articolo su arXiv.
Il sistema è stato dimostrato trasformando in tempo reale volti umani ripresi da una webcam in personaggi in stile anime. Gli esperimenti hanno dimostrato che Live2Diff supera le tecnologie esistenti in termini di fluidità e efficienza.
Le potenzialità di Live2Diff sono enormi. Nel campo dell’intrattenimento, potrebbe trasformare eventi live come concerti e trasmissioni sportive, creando personaggi animati o versioni supereroiche dei partecipanti. Per i creatori di contenuti, offre nuove modalità di espressione creativa durante streaming live e videochiamate.
Nella realtà aumentata (AR) e nella realtà virtuale (VR), Live2Diff potrebbe migliorare le esperienze immersive, facilitando la transizione tra il mondo reale e ambienti virtuali. Questo potrebbe essere utile in aree come il gaming, il turismo virtuale e la visualizzazione in tempo reale per professioni come architettura e design.
Tuttavia, l’uso di Live2Diff solleva anche preoccupazioni etiche. La possibilità di alterare video in tempo reale potrebbe portare alla creazione di contenuti fuorvianti o deepfake, complicando la distinzione tra realtà e finzione. Sarà cruciale stabilire linee guida per l’uso responsabile di questa tecnologia.
Il codice completo per Live2Diff sarà rilasciato la prossima settimana, e il team prevede di rendere open source la propria implementazione a breve. Questo potrebbe stimolare ulteriori innovazioni nel campo dell’intelligenza artificiale per video in tempo reale.
Con l’avanzamento dell’IA, Live2Diff rappresenta un grande passo avanti, con potenziali applicazioni in trasmissioni live, videoconferenze e oltre, spingendo i limiti della manipolazione video in tempo reale.