I ricercatori di Kuaishou Technology, dell’Università della Scienza e della Tecnologia della Cina e dell’Università di Fudan hanno sviluppato un innovativo modello di intelligenza artificiale chiamato LivePortrait, che migliora significativamente la qualità e la controllabilità dell’animazione dei ritratti.
LivePortrait introduce caratteristiche come moduli di cucitura e retargeting, permettendo animazioni di ritratti più realistiche. Questo modello, costruito su Gradio, parte della famiglia Hugging Face, consente un’animazione efficiente delle immagini statiche dei ritratti con un controllo preciso delle cuciture e delle caratteristiche facciali.
LivePortrait utilizza un framework implicito basato su punti chiave per animare i ritratti, avanzando notevolmente rispetto ai metodi precedenti. Il modello può cucire senza soluzione di continuità i volti animati nelle immagini originali, permettendo l’animazione di ritratti a corpo intero e di più volti all’interno di una singola immagine. Fornisce anche un controllo dettagliato sui movimenti degli occhi e delle labbra attraverso moduli di retargeting dedicati.
I ricercatori hanno migliorato un modello chiave implicito esistente aumentando i dati di addestramento a 69 milioni di immagini di alta qualità, utilizzando una strategia di addestramento mista video-immagine e introducendo nuove tecniche di ottimizzazione. Hanno anche progettato piccole reti MLP per consentire un controllo preciso delle caratteristiche facciali.
Negli esperimenti, LivePortrait ha superato sia i metodi basati sulla diffusione che quelli non basati sulla diffusione nei benchmark standard per qualità dell’animazione e precisione del movimento. I moduli di cucitura e retargeting hanno permesso un’integrazione fluida dei volti animati nelle immagini originali e un controllo dettagliato sui movimenti degli occhi e della bocca.
Gli sviluppatori sperano che LivePortrait permetta animazioni più controllabili per applicazioni come videoconferenze, social media e intrattenimento. Tuttavia, notano potenziali preoccupazioni etiche riguardo all’uso improprio del deepfake e suggeriscono che i manufatti visivi nei risultati attuali potrebbero aiutare nel rilevamento.
Nonostante alcune limitazioni, come la gestione di grandi variazioni di posa, i ricercatori ritengono che LivePortrait rappresenti un significativo progresso nell’animazione dei ritratti, offrendo alta qualità e maggiore controllo creativo.