Alibaba ha introdotto uno strumento di intelligenza artificiale (AI) che converte le foto di persone o personaggi in video in full-motion. Viene valutato come il livello più alto di strumento AI per la creazione di animazioni di personaggi introdotto finora.
TechCrunch ha riferito che l’Intelligent Computing Lab di Alibaba ha presentato “Animate Everyone”, un framework AI che converte le foto in animazioni.
In base a ciò, Animate AnyOne comprende i gesti e i movimenti umani, utilizza il modello di diffusione per dare vita a vari esseri umani e personaggi e sintetizza video che mostrano gli stessi movimenti.
Per fare ciò, devi prima preparare un video che serva da standard per l’input dei caratteri e l’animazione. Estrae dettagli come le caratteristiche e la posa del personaggio dall’immagine di input e seleziona i movimenti che desideri che il personaggio imiti dal video di riferimento.
Successivamente, l’intelligenza artificiale estrae i movimenti e le espressioni del fotogramma video di riferimento e li mappa sull’immagine del personaggio per sintetizzare i movimenti.
Nella fase finale, questi fotogrammi di animazione vengono collegati per creare un video continuo.
Ad esempio, dettagli come caratteristiche del viso, motivi e pose vengono estratti dalle immagini dei personaggi, come una foto di un modello che indossa un vestito, e le immagini vengono create in base ai movimenti o alle pose del modello per creare un video.
In particolare, nel video generato, la forma, il disegno e i capelli degli abiti della modella sono espressi in modo naturale, preservando la loro forma originale senza essere schiacciati anche durante i movimenti. Nel modello esistente, in quest’area si verificavano spesso allucinazioni.
Animate AnyOne è attualmente nelle sue fasi iniziali, quindi non è perfetto. Ciò è particolarmente vero per i movimenti degli occhi e delle mani, che rappresentano problemi con i modelli di diffusione. Più ampio è il movimento, maggiore è la probabilità di avere problemi di espressione.
C’è ancora molto lavoro da fare per portarlo a un livello perfetto, ma è considerato un miglioramento significativo rispetto all’attuale DisCo o DreamPose.
In particolare, può essere di grande aiuto per gli sviluppatori di videogiochi, gli stilisti e i produttori cinematografici nel ridurre costi e tempi.
D’altra parte, si teme che questa tecnologia possa essere utilizzata per deepfake dannosi perché può esprimere qualsiasi cosa con una semplice foto.
Alibaba prevede di rilasciare Animate AnyOne come open source su GitHub, ma non ha rivelato un programma di rilascio specifico.