Runway ha descritto il processo tecnico con cui sviluppa, valuta e distribuisce i propri modelli video in tempo reale, mostrando come i limiti dell’intelligenza artificiale generativa possano essere affrontati non soltanto intervenendo sull’architettura del modello, ma anche attraverso modifiche al prodotto, all’esperienza utente e all’infrastruttura. Uno degli esempi più significativi riguarda un problema riscontrato durante lo sviluppo degli avatar generati dall’IA: i personaggi tendevano progressivamente a oscillare o a spostarsi dal centro dell’inquadratura durante la generazione video. Dopo settimane di tentativi sul back-end, l’azienda ha risolto la criticità introducendo una funzione front-end capace di ricentrare automaticamente l’immagine iniziale prima dell’elaborazione.
Runway si definisce un’azienda di ricerca applicata sull’intelligenza artificiale impegnata nello sviluppo di modelli generali del mondo destinati alla produzione di strumenti generativi. Tra questi rientra Runway Characters, un sistema video in tempo reale progettato per permettere interazioni bidirezionali con avatar generati dall’IA senza latenza percepibile. Il responsabile dei prodotti enterprise Ryan Phillips ha sottolineato quanto rapidamente sia cambiata la produzione video: soltanto cinque anni fa la realizzazione di sequenze caratterizzate da testo scarsamente leggibile e frame rate ridotto richiedeva agli artisti centinaia di ore di lavoro per assemblare singolarmente i fotogrammi, mentre oggi i modelli dell’azienda possono generare contenuti interattivi in tempo reale.
Secondo Phillips, le modalità con cui Runway costruisce questi sistemi possono essere utili anche alle imprese che non sviluppano direttamente modelli fondamentali. Le stesse pratiche impiegate per valutare la qualità, individuare i difetti, distribuire i modelli e monitorarne il comportamento possono infatti essere applicate a prodotti aziendali basati su agenti, automazioni o altre esperienze interattive in tempo reale. Il principio di fondo è che la qualità del modello non può essere separata dalla qualità del prodotto nel quale viene integrato.
La costruzione di un sistema generativo affidabile parte da un set di valutazione sufficientemente rappresentativo. Per Runway questa attività non può essere affidata soltanto agli ingegneri, perché la definizione di ciò che costituisce un risultato accettabile richiede il coinvolgimento di prodotto, design, ricerca e vendite. L’azienda organizza quindi sessioni interne nelle quali i membri dei diversi gruppi analizzano insieme gli output del modello, confrontandosi sui casi di successo e sulle modalità di errore fino a raggiungere una definizione condivisa della qualità attesa.
Il set di valutazione deve includere sia i casi d’uso ordinari dei clienti sia condizioni estreme capaci di mettere in difficoltà il sistema. Per verificare il comportamento del modello al di fuori delle normali strutture facciali umane, Runway ha utilizzato per esempio Tooth, un personaggio non umano privo di naso e caratterizzato da una dentatura fortemente irregolare. Questi test permettono di verificare se il modello mantenga coerenza visiva e prevedibilità anche quando l’immagine di partenza presenta caratteristiche molto lontane dai dati più comuni.
La valutazione non riguarda soltanto il volto o il soggetto principale. In uno dei test, il viso del personaggio rimaneva stabile mentre una rete presente sullo sfondo iniziava a deformarsi durante la generazione. Anche se il difetto non interessava direttamente l’avatar, il risultato è stato comunque classificato negativamente perché comprometteva la coerenza complessiva della scena. L’approccio mostra come la valutazione di un video generativo debba considerare l’intero fotogramma e non soltanto gli elementi più evidenti.
Runway registra quotidianamente i risultati delle valutazioni utilizzando un semplice foglio di calcolo Excel. Gli errori vengono distinti tra problemi minori e problemi gravi, mentre prima dell’avvio dei test viene stabilita una percentuale minima di superamento. Il modello viene distribuito soltanto quando raggiunge il valore prefissato. Il metodo non richiede quindi necessariamente piattaforme complesse, ma una metrica coerente, un set di test sufficientemente ampio e una soglia di rilascio definita in anticipo.
La valutazione manuale diventa tuttavia un collo di bottiglia quando il numero degli output cresce o quando i sistemi producono risultati non deterministici in tempo reale. Per ridurre questo carico, Runway ritiene possibile utilizzare modelli linguistici multimodali come strumenti automatici di valutazione visiva. Questi modelli possono confrontare diverse generazioni, rilevare trasformazioni indesiderate e identificare variazioni rispetto a un risultato atteso. Possono inoltre ricevere materiale contestuale aggiuntivo, come uno schizzo disegnato a mano o il layout strutturale di una pubblicità, per guidare sia la generazione sia la successiva validazione senza trasferire sull’utente finale la complessità del processo.
La generazione video in tempo reale richiede anche un’architettura profondamente ottimizzata. Il punto di partenza è un modello di base di grandi dimensioni, addestrato su ingenti quantità di dati ma troppo lento per produrre contenuti interattivi con una latenza compatibile con la conversazione. Per accelerarlo Runway utilizza la distillazione, una tecnica con cui un modello studente più piccolo viene addestrato a riprodurre il comportamento del modello insegnante più grande. Secondo Phillips, questa fase permette di ridurre i tempi di generazione tra l’80 e il 90%.
La riduzione delle dimensioni del modello può però comportare una perdita di nitidezza e qualità visiva. Per recuperarla, il team applica un addestramento avversariale di post-elaborazione, indicato come APT, nel quale il modello viene continuamente messo alla prova da un sistema progettato per individuarne le debolezze. Il processo spinge il generatore a correggere progressivamente i propri difetti e a recuperare parte della qualità persa durante la distillazione.
L’intervento sull’architettura ha però introdotto il problema della deriva dell’avatar. Dopo la distillazione e l’APT, alcuni personaggi tendevano a muoversi lateralmente o a oscillare rispetto al centro dell’inquadratura. Gli ingegneri hanno tentato per settimane di eliminare il comportamento modificando direttamente il modello, fino a quando hanno osservato che il video rimaneva stabile quando il soggetto dell’immagine iniziale era perfettamente centrato.
Questa scoperta ha portato Runway a intervenire sull’esperienza utente anziché proseguire con una correzione strutturale del back-end. L’azienda ha introdotto la funzione “Ottimizza per la qualità dell’immagine”, che analizza l’immagine caricata dall’utente e ricentra automaticamente il personaggio prima che inizi la generazione. Se il soggetto è rivolto lateralmente o posizionato in modo inadatto, il sistema corregge l’input per ridurre il rischio di distorsioni e spostamenti.
La funzione mostra come un limite interno del modello possa essere trasformato in una caratteristica del prodotto. L’utente non deve conoscere la causa tecnica del problema né modificare manualmente l’immagine, perché l’interfaccia applica in modo trasparente la correzione necessaria. La limitazione del sistema generativo viene quindi incorporata in una funzione percepita come miglioramento della qualità, ampliando di fatto il numero di input che il modello può gestire correttamente.
La distribuzione di video a 24 fotogrammi al secondo su scala globale richiede inoltre l’ottimizzazione di ogni livello dell’infrastruttura. Runway interviene sulla memorizzazione nella cache, sulla decodifica parallela e persino sui kernel utilizzati dall’hardware, collaborando con fornitori come Nvidia. La qualità dell’esperienza dipende infatti non soltanto dal modello, ma anche dal comportamento delle GPU, dalla configurazione dei data center e dalla capacità dell’infrastruttura di mantenere prestazioni costanti.
Poco dopo il lancio di Runway Characters, il team ha rilevato che circa l’8% delle chiamate API scendeva da 24 a 16 fotogrammi al secondo. Il calo provocava interruzioni visibili nella riproduzione e comprometteva l’esperienza dei clienti, ma non si manifestava in modo uniforme su tutte le richieste. Per individuare la causa è stato utilizzato un agente di intelligenza artificiale basato su Claude insieme agli strumenti di monitoraggio Datadog e Sentry.
L’analisi ha permesso di circoscrivere il problema a un singolo data center nella regione us-east-1. La soluzione non ha richiesto una modifica del software, una nuova configurazione o un aggiornamento del modello: le GPU presenti nel centro dati sono state sostituite fisicamente. Dopo l’intervento, la riduzione del frame rate è scomparsa definitivamente. Il caso dimostra che nelle applicazioni generative in tempo reale anche anomalie hardware localizzate possono produrre effetti misurabili sul comportamento del modello e richiedere capacità di debug estese dall’applicazione fino all’infrastruttura fisica.
Runway considera questo tipo di indagine parte integrante dello sviluppo. La distribuzione di modelli avanzati comporta numerosi problemi apparentemente marginali che possono però compromettere l’affidabilità complessiva del servizio. La qualità percepita dall’utente dipende dalla stabilità dell’intera catena, comprendente modello, interfaccia, API, rete, sistemi di osservabilità, data center e GPU.
Phillips ha descritto le fasi più difficili dello sviluppo come un “inferno del fallimento”, una condizione nella quale il team può rimanere bloccato per settimane su un singolo problema senza intravedere una soluzione immediata. Runway ritiene tuttavia necessario attraversare questa fase continuando a sperimentare, misurare e modificare il sistema. L’iterazione progressiva può infatti ridurre lentamente la difficoltà fino a produrre una svolta improvvisa e un miglioramento molto più rapido.
L’evoluzione dei modelli video in tempo reale modifica anche il lavoro dei creativi aziendali. Nei processi tradizionali, marketing e design si concentrano sulla produzione di singoli elementi, come una pubblicità, un’illustrazione o un filmato specifico. Nei flussi basati su agenti e generazione continua, il compito si sposta verso la definizione di parametri, regole estetiche, identità visiva e proprietà intellettuale.
Il creativo può quindi non progettare direttamente ogni singolo annuncio, ma costruire il mondo visivo dal quale un agente o un modello video genera successivamente contenuti coerenti. Il lavoro consiste nel definire materiali, stili, personaggi, limiti e criteri di qualità entro i quali il sistema può produrre molteplici varianti. In questo scenario, la progettazione non scompare, ma si sposta dal singolo contenuto all’ambiente generativo che rende possibile crearne molti in tempo reale.