Runway ha presentato Solaris, un nuovo modello di intelligenza artificiale progettato per generare in tempo reale l’interfaccia di software e siti web in risposta alle azioni dell’utente. Il sistema produce l’interfaccia fotogramma dopo fotogramma e reagisce a operazioni come clic, trascinamenti e input testuali, con l’obiettivo di superare il modello tradizionale nel quale schermate, componenti e modalità di interazione vengono progettati e programmati anticipatamente. Solaris rappresenta il primo modello della nuova categoria definita da Runway “Interface World Models”, un approccio nel quale l’interfaccia non costituisce più un insieme di schermate predefinite richiamate dal codice, ma viene generata dinamicamente durante l’utilizzo.
Nello sviluppo software tradizionale, il progetto visivo viene trasformato in codice, utilizzato successivamente per costruire schermate e interazioni determinate in fase di progettazione. Questo passaggio introduce un livello intermedio tra ciò che deve essere rappresentato e ciò che appare effettivamente sullo schermo, con possibili perdite nei dettagli visivi e soprattutto con la necessità di prevedere in anticipo le possibili azioni dell’utente. Solaris elimina questo livello intermedio e genera direttamente l’interfaccia. Quando l’utente clicca su un elemento o lo trascina, il modello interpreta l’azione come una condizione per generare il fotogramma successivo, modificando direttamente la scena visualizzata.
Il risultato è un’interazione differente rispetto alla navigazione tra pagine e finestre già predisposte. In un negozio virtuale, per esempio, l’utente potrebbe prendere un capo direttamente dall’ambiente rappresentato e applicarlo alla propria immagine senza dover aprire una scheda prodotto separata, oppure modificare la disposizione degli oggetti presenti nel negozio. Solaris può inoltre intervenire sull’ambiente attraverso istruzioni in linguaggio naturale: richieste come spostare un tavolo o cambiare il colore di un divano determinano direttamente una trasformazione della scena anziché l’attivazione di una funzione precedentemente programmata.
Solaris deriva dal modello di generazione video Gen-4.5 di Runway ed estende alcune delle tecnologie sviluppate per GWM-1, il modello general-purpose dedicato alla rappresentazione e alla simulazione del mondo. L’architettura separa inoltre le funzioni del large language model da quelle del world model. Il modello linguistico interpreta l’intenzione dell’utente e determina quale trasformazione debba avvenire, mentre Solaris si occupa di trasformare tale decisione nel risultato visivo effettivamente mostrato sullo schermo. Il significato di azioni come clic e trascinamenti non deve quindi essere necessariamente definito attraverso una serie di istruzioni software dedicate, perché il sistema viene progettato per comprenderle utilizzando congiuntamente il linguaggio naturale e il contesto visivo.
Per rendere possibile la generazione interattiva, Runway ha modificato anche il processo utilizzato normalmente dai modelli video. Solaris non genera un’intera sequenza in un’unica operazione, ma produce progressivamente i nuovi fotogrammi sulla base di quelli precedenti, permettendo alla scena di evolvere in funzione degli input ricevuti. Sono stati inoltre ridotti diversi passaggi necessari alla generazione per aumentare la velocità, mentre l’addestramento utilizza anche risultati prodotti dallo stesso sistema allo scopo di migliorare la coerenza visiva e semantica durante sessioni prolungate. L’obiettivo dichiarato è ottenere tempi di risposta inferiori a 0,5 secondi mantenendo una qualità dell’immagine equivalente a 720p.
Runway ha confrontato Solaris anche con un approccio basato sulla generazione tradizionale di interfacce tramite codice, utilizzando Claude Opus 5. Ai due sistemi sono state sottoposte le stesse immagini e le stesse richieste di interazione. La valutazione ha coinvolto 250 persone, 30 casi differenti e complessivamente 7.500 confronti a coppie. Per quanto riguarda la capacità di rispettare le istruzioni ricevute, Solaris è stato preferito nel 61% dei confronti, contro il 24% ottenuto dall’interfaccia prodotta tramite codice, mentre nel 13% dei casi i due risultati sono stati giudicati equivalenti. Nella valutazione della naturalezza delle azioni all’interno della scena, Solaris ha ottenuto il 71% delle preferenze rispetto al 21% del sito generato con l’approccio basato sul codice; il 6% dei confronti si è concluso in parità.
Le differenze più evidenti sono emerse nella gestione del movimento dell’ambiente circostante, delle operazioni di clic e trascinamento e delle transizioni all’interno della scena. Un’interfaccia tradizionale associa infatti il comportamento dell’utente a eventi definiti anticipatamente dal programmatore, mentre un world model può generare il fotogramma successivo utilizzando una rappresentazione delle relazioni esistenti tra oggetti, spazio e materiali presenti nell’ambiente. Il sistema non deve quindi limitarsi a scegliere quale schermata già costruita mostrare in seguito a un evento, ma può produrre una nuova configurazione coerente della scena.
Tra le possibili applicazioni indicate per questa tecnologia rientrano gli ambienti di commercio elettronico, i tutorial interattivi, l’addestramento degli agenti AI e la realizzazione di interfacce fortemente personalizzate. Nel caso degli agenti artificiali, un Interface World Model permetterebbe di addestrarli su ambienti che cambiano dinamicamente anziché su layout e controlli sempre identici. Lo stesso principio potrebbe essere esteso al sistema operativo: invece di aprire applicazioni separate dedicate, per esempio, allo shopping, alle notizie o alle prenotazioni, il sistema potrebbe generare al momento l’interfaccia necessaria a completare l’obiettivo richiesto dall’utente.
Prima di poter utilizzare questo modello su larga scala restano tuttavia diversi problemi tecnici da risolvere. Tra questi figurano la generazione stabile e leggibile del testo all’interno di un ambiente prodotto continuamente dall’AI, il mantenimento della coerenza durante sessioni particolarmente lunghe e la necessità di garantire affidabilità e corretta corrispondenza delle informazioni rappresentate. Un ulteriore problema riguarda l’integrazione con tecnologie di accessibilità come gli screen reader e con gli stack software esistenti, che dipendono da componenti e strutture programmatiche definite in maniera molto più deterministica rispetto a una scena generata da un modello AI.
Runway intende sviluppare Solaris come un nuovo livello operativo nel quale software e sistema operativo possano costruire l’interfaccia richiesta dall’utente direttamente nel momento dell’utilizzo. La differenza rispetto all’attuale architettura software è sostanziale: anziché progettare preventivamente applicazioni, schermate e percorsi di navigazione per poi richiamarli quando necessario, l’interfaccia viene sintetizzata progressivamente sulla base dell’obiettivo, del contesto e delle interazioni dell’utente. L’Interface World Model introduce quindi nel software un principio già utilizzato dall’AI generativa per immagini e video, spostando la generazione dal contenuto visualizzato all’ambiente digitale attraverso il quale l’utente interagisce con il sistema.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)