Un gruppo di ricerca del KAIST ha sviluppato ComiXR, una piattaforma che consente di leggere e creare fumetti all’interno di ambienti di realtà estesa. Il progetto è stato realizzato dal team guidato da Ian Oakley, professore del Dipartimento di Ingegneria elettrica ed elettronica, in collaborazione con esperti di interazione uomo-computer e attraverso uno studio condotto con 15 partecipanti tra autori e lettori di webtoon.
La piattaforma utilizza Meta Quest Pro per integrare nei fumetti elementi difficili da riprodurre su uno schermo tradizionale, tra cui profondità spaziale, audio tridimensionale, tracciamento dello sguardo e feedback aptico. ComiXR permette inoltre di convertire fumetti stampati esistenti in esperienze XR, senza richiedere la creazione di contenuti completamente nuovi.
Durante i test, i partecipanti hanno indossato il visore e collocato liberamente nella stanza personaggi tridimensionali, nuvole di dialogo, onomatopee e altri elementi narrativi. Ogni lettore poteva così configurare la disposizione del fumetto in base al proprio comfort e al livello di immersione desiderato. I risultati hanno mostrato una preferenza netta per le composizioni che utilizzano attivamente la profondità dell’ambiente reale, rispetto alla semplice visualizzazione di pagine bidimensionali sospese nello spazio virtuale. L’immersione aumentava quando i personaggi venivano posizionati dietro gli sfondi e i dialoghi collocati su livelli separati. Questa organizzazione trasforma la tavola in una scena stratificata, nella quale il lettore non osserva più tutti gli elementi sullo stesso piano, ma li esplora attraverso la posizione e il movimento.
ComiXR utilizza il tracciamento dello sguardo per stabilire quando mostrare determinate parti della storia. La piattaforma può, per esempio, far comparire una battuta soltanto quando il lettore guarda il personaggio che deve pronunciarla. Nei test, questa funzione ha contribuito a evitare che il lettore vedesse in anticipo dialoghi o sviluppi successivi della scena. Il sistema sostituisce quindi la sequenza imposta dalle vignette tradizionali con una progressione controllata dall’attenzione del lettore. La direzione dello sguardo diventa parte dell’interfaccia narrativa e può determinare il momento nel quale vengono rivelati testi, personaggi o altri elementi.
La piattaforma può reagire anche alle espressioni del lettore. Determinati cambiamenti del volto possono attivare effetti speciali collegati alla scena o all’emozione rappresentata. Il feedback aptico viene invece utilizzato per trasmettere stimoli fisici, comprese vibrazioni sincronizzate con il battito cardiaco di un personaggio. In questo modo, il fumetto combina elementi grafici, sonori e tattili all’interno della stessa esperienza. Queste funzioni non modificano necessariamente la trama, ma ampliano gli strumenti disponibili per rappresentare tensione, ritmo e coinvolgimento emotivo.
Il gruppo di ricerca ha definito quattro concetti principali per la progettazione dei fumetti in realtà estesa. Il primo, Panel Gallery, utilizza le pareti della stanza come una galleria sulla quale distribuire pannelli e sequenze narrative. Pop-up colloca i fumetti sopra tavoli o pareti, con una struttura tridimensionale simile a quella di un libro animato. Around Comic distribuisce personaggi e componenti grafici nello spazio circostante, compresi gli ambienti esterni, superando la struttura rettangolare della pagina. Inclusive ComiX è invece dedicato all’accessibilità e mira ad adattare dimensioni, posizione e modalità di presentazione dei contenuti alle esigenze di lettori differenti, comprese le persone con ipovisione. I quattro modelli non rappresentano formati rigidi, ma possibili configurazioni attraverso le quali autori e sviluppatori possono organizzare la narrazione nello spazio.
ComiXR non si limita a convertire le vignette in oggetti tridimensionali. La piattaforma considera anche la stanza del lettore, la posizione del corpo, lo sguardo e i movimenti come componenti della progettazione del fumetto. Il progetto mostra quindi come webtoon e fumetti possano essere adattati all’XR mantenendo personaggi, testi e sequenze narrative, ma distribuendoli in un ambiente nel quale il lettore controlla parte dell’esperienza attraverso attenzione e movimento. Secondo Ian Oakley, il risultato principale consiste nell’aver definito indicazioni per progettare i fumetti futuri tenendo conto non soltanto della rappresentazione tridimensionale, ma anche dello spazio fisico e del comportamento del lettore.