Come l’eye-tracking potrebbe migliorare l’esperienza VR

In realtà virtuale, l’eye-tracking è spesso associato al render foveale, la tecnologia che, si spera, potrà ridurre i requisiti prestazionali della VR. Ma il render foveale è solo un interessante uso del tracciamento oculare in realtà virtuale, perché questa tecnologia può fare molto di più.

L’eye-tracking è stato visto per molti anni in ambito VR come una tecnologia distante, ma gli sviluppi portati avanti da aziende del settore hanno mostrato progressi promettenti in termini di precisione, latenza e costi.
Aziende come Tobii offrono hardware e software per eye-tracking a produttori e sviluppatori; Qualcomm utilizza ora la soluzione Tobii nel suo visore VRDK.
7invensun vende il dev kit di eye-tracking aGlass per visori Vive. Fove produce un kit di sviluppo del loro visore VR con eye-tracking integrato. Oculus ha recentemente mostrato un nuovo prototipo di visore con eye-tracking. Magic Leap ha confermato la presenza dell’eye-tracking nel loro prossimo visore al momento in fase di sviluppo. E persino Apple si è messa in gioco con l’acquisto SMI (SensoMotric Instruments), società specializzata nella tecnologia di tracciamento oculare, e sta elaborando brevetti che implementano questa tecnologia.

Con questi presupposti, in pochi anni l’eye-tracking potrebbe diventare standard dei visori per realtà virtuale di consumo. Quando ciò accadrà, questa tecnologia abiliterà una vasta gamma di funzionalità che andranno a migliorare drasticamente l’esperienza VR.

Render Foveale

FOVeated-rendering-SMI-2
Il render foveale mira a ridurre la potenza di calcolo richiesta per la visualizzazione di scene VR impegnative. Il nome deriva dalla “fovea”, una piccola fossetta al centro della retina dell’occhio piena di fotorecettori. È la fovea che offre una visione ad alta risoluzione al centro del campo visivo; la visione periferica, invece, è in realtà molto scarsa nel rilevare dettagli e colori, ma più adatta ad individuare il movimento. Una sorta di fotocamera dotata di un grande sensore da pochi megapixel con al centro un sensore più piccolo da molti megapixel.
La regione del campo visivo con più dettaglio è in realtà molto più piccola di quanto si possa pensare: solo pochi gradi al centro del campo visivo. La differenza nel potere di risoluzione tra la fovea e il resto della retina è talmente drastica che senza di essa non si potrebbe distinguere il testo in questa pagina. Basta tenere gli occhi puntati su una parola e provare a leggere due frasi più sotto per scoprire che è quasi impossibile decifrare cosa c’è scritto, anche si comprende che ci sono delle parole. La ragione per cui si pensa che la regione foveale sia più estesa è dovuta al fatto che il cervello esegue molte interpretazioni e previsioni inconsce per costruire un modello di come crediamo che il mondo sia.
Il render foveale mira a sfruttare questa peculiarità della vista rendendo la scena virtuale ad alta risoluzione solo nella regione che vede la fovea e riducendo drasticamente la complessità della scena nella visione periferica, dove il dettaglio non sarebbe comunque notato. Ciò consente di concentrare la maggior parte della potenza di elaborazione laddove i dettagli sono davvero necessari, risparmiando risorse di elaborazione. Potrebbe non sembrare un grosso problema, ma con l’aumentare della risoluzione dello schermo dei visori e del campo visivo virtuale, la potenza necessaria per rappresentare le scene complesse cresce a un ritmo quasi esponenziale.

L’eye-tracking naturalmente entra in gioco perché abbiamo bisogno di sapere continuamente dove punta lo sguardo dell’utente per ottenere il render foveale.

Rilevamento dell’utente e regolazione automatica


vive-ipd

Oltre a rilevare il movimento, il tracciamento oculare può essere utilizzato come identificatore biometrico.
Ciò rende l’eye-tracking ottimo per visori con più profili utente registrati: indossando il visore, il sistema può identificare immediatamente l’utente e caricare il suo ambiente personalizzato, la libreria di contenuti, l’avanzamento del gioco e le impostazioni. Quando un amico indossa il visore, il sistema può caricare le diverse preferenze e i dati salvati.

L’eye-tracking può anche essere usato per misurare con precisione la distanza interpupillare (IPD). Conoscere la propria IPD è importante in realtà virtuale per adattare in modo ottimale la posizione di obiettivi e display per migliorare il comfort e la qualità visiva. Molte persone non sanno quale sia la loro IPD, ma si può ottenere una stima approssimativa misurando la distanza con un righello o chiedendo al proprio oculista.

Con il tracciamento degli occhi, sarebbe facile misurare istantaneamente l’IPD di ciascun utente e quindi fare in modo che il software assista l’utente nella regolazione della corrispondenza interpupillare del visore o avvisare gli utenti in caso la distanza interpupillare non rientri nell’intervallo supportato.

Nei visori più avanzati, questo processo potrebbe essere automatico: il software misura l’IPD e sposta gli obiettivi nella posizione corretta senza l’intervento dell’utente.

Display Varifocali

feature-varifocal-concept-headset-1021x580
Prototipo di visore varifocale

I sistemi ottici utilizzati negli odierni visori VR funzionano abbastanza bene, ma in realtà sono piuttosto semplici e non supportano un’importante funzione della vista: la messa a fuoco dinamica. Questo perché il display di un visore VR è sempre alla stessa distanza dagli occhi, anche quando la profondità stereoscopica suggerisce diversamente. Questo porta a un problema chiamato conflitto vergenza-accomodazione, che si verifica quando gli occhi convergono o divergono a seconda della distanza degli oggetti virtuali per mantenere una visione binoculare, ma l’accomodazione (contrazione o distensione del cristallino per la messa a fuoco) rimane fissa, in quanto il display è fisso.
I display varifocali sono la soluzione a questo problema perché in grado di alterare dinamicamente la profondità focale. Ci sono diversi approcci ai display varifocali, il più semplice dei quali è un sistema ottico in cui il display viene fisicamente avvicinato o allontanato dalle lenti per cambiare al volo la profondità focale.

Un simile display varifocale richiede il rilevamento degli occhi perché il sistema deve sapere con precisione in quale punto della scena l’utente sta guardando. Tracciando una traiettoria nella scena virtuale che va da un occhio all’altro dell’utente, il sistema riesce a trovare il punto in cui le due traiettorie si intersecano, stabilendo il giusto piano focale dove l’utente sta guardando. Questa informazione viene quindi inviata al display che deve regolarsi di conseguenza, impostando la profondità focale in modo che corrisponda alla distanza virtuale tra l’occhio dell’utente e l’oggetto.

Un display varifocale ben implementato non solo può eliminare il conflitto tra vergenza e accomodazione, ma consente anche agli utenti di mettere a fuoco gli oggetti virtuali molto più vicini a loro rispetto agli attuali visori.

Ma prima che i display varifocali si diffondano nei visori VR, si potrebbe simulare la profondità di campo con l’eye-tracking, sfocando gli oggetti al di fuori del piano focale degli occhi dell’utente.

Display foveale


Se il render foveale mira a distribuire meglio la potenza di render tra la parte centrale del campo visivo in cui si vede nitidamente e la parte periferica poco definita, si può fare qualcosa di simile col numero effettivo di pixel.

Invece di modificare semplicemente il livello di dettagli del render su alcune parti dello schermo rispetto ad altre, i display foveali vengono fisicamente spostati per stare di fronte allo sguardo dell’utente a seconda di dove egli guardi.

I display foveali sono la soluzione per avere visori VR ad alta risoluzione senza aumentare i pixel nell’intero campo visivo. Fare ciò non solo sarebbe costoso, ma potrebbe anche sfidare i limiti di potenza quanto più il numero di pixel si avvicina alla risoluzione della retina. I dislay foveali, invece, sposterebbero un display più piccolo e denso di pixel ovunque l’utente guardi in base ai dati di eye-tracking. Questo approccio potrebbe anche portare a campi visivi più elevati rispetto a quelli che potrebbero altrimenti essere ottenuti con un singolo display piatto.

Varjo è una società che lavora su un sistema di display foveale. Usano un normale display non molto denso di pixel che copre un ampio campo visivo e vi sovrappongono un microdisplay molto più denso di pixel. La combinazione tra i due consente all’utente di avere sia un ampio campo visivo per la visione periferica, sia una regione ad altissima risoluzione per la visione foveale.

Gli ultimi prototipi di Varjo non spostano ancora il microdisplay, che è fisso al centro dell’obiettivo, ma l’azienda sta prendendo in considerazione diversi metodi per spostare il display in modo che l’area ad alta risoluzione sia sempre al centro dello sguardo.

Social Avatar migliorati


Molte applicazioni social di realtà virtuale mostrano avatar utente con movimenti realistici degli occhi come lo sbattere le palpebre o la messa a fuoco di oggetti, ma tutto viene simulato utilizzando animazioni e logica programmata. Questa illusione è utile per far sembrare gli avatar meno robotici, ma ovviamente le informazioni non verbali che verrebbero trasmesse quando si è veramente faccia a faccia con qualcuno vengono perse.

Dati di tracciamento oculare accurati applicati agli avatar VR possono mostrare effettivamente quando un utente sbatte le palpebre e dove sta guardando, ma anche riprodurre espressioni non verbali consce o inconsce come ammiccare, guardare di sbieco e dilatare le pupille, persino dedurre alcune emozioni come tristezza o sorpresa, che verrebbero riflesse sul volto dell’avatar.

Comprendere l’intenzione dell’utente e analizzare dati

smi-eye-tracking-808x420
L’eye-tracking può anche essere molto utile per comprendere passivamente l’intenzione e la concentrazione del giocatore. Ad esempio, uno sviluppatore che sta realizzando un gioco horror in cui il giocatore vaga per una casa infestata potrebbe impiegare molto tempo a creare una sequenza di script in cui un mostro fuoriesce da un armadio mentre il giocatore entra in una certa area, e se poi il giocatore non guarda direttamente verso l’armadio lo spavento andrebbe perso. L’input di eye-tracking potrebbe essere utilizzato per attivare l’evento solo nel momento esatto in cui l’utente guarda nella giusta direzione. Oppure potrebbe essere usato per mostrare ombre spaventose accanto al giocatore ma solo nella visione periferica, facendole scomparire ogni volta che l’utente tenti di guardarle direttamente.

Oltre a ciò, tale input passivo può essere utilizzato per aiutare i giocatori a ottenere un maggiore controllo sul loro ambiente virtuale.
Tobii, produttore di hardware e software per il tracciamento oculare, ha una demo che aiuta gli utenti a migliorare la mira quando lanciano oggetti in VR. Si deduce dove l’utente intende lanciare un oggetto in base al proprio sguardo e il sistema altera la traiettoria dell’oggetto in un lancio perfetto. Mentre la clip qui sotto mostra la traiettoria effettiva e quella corretta a scopo dimostrativo, nell’uso effettivo questo è completamente invisibile all’utente e sembra molto naturale.

Al di là di questo tipo di comprensione dell’intento in tempo reale, il tracciamento degli occhi può anche essere molto utile per l’analisi dati. Raccogliendo dati su cosa guardano gli utenti e per quanto tempo, gli sviluppatori possono comprendere meglio come vengono utilizzate le loro applicazioni. Ad esempio, i dati di tracciamento oculare potrebbero indicare se gli utenti scoprono o meno un pulsante importante, se la loro attenzione viene catturata da una parte non intenzionale dell’ambiente, se un elemento dell’interfaccia non viene utilizzato e molto altro.

Input attivo

eye-tracking-interface-768x432
L’eye-tracking può anche essere utile per l’input attivo, consentendo agli utenti di sfruttare consapevolmente il loro sguardo per rendere le attività più rapide e più facili. Molte applicazioni VR oggi consentono agli utenti di spostare gli oggetti mirandoli e afferrandoli con un puntatore, ma il tracciamento degli occhi potrebbe rendere quest’azione più veloce e precisa, consentendo agli utenti di afferrare semplicemente con lo sguardo. Gli occhi infatti puntano meglio gli oggetti distanti rispetto al puntatore, dal momento che il naturale tremore delle mani si amplifica con la distanza.

Analogamente, l’input di eye-tracking potrebbe rivelarsi utile per rendere la VR veloce e produttiva, consentendo agli utenti di premere pulsanti e fare altre azioni molto più rapidamente di come farebbero usando il proprio corpo o le proprie mani. Quando la realtà virtuale sarà una piattaforma di elaborazione veramente produttiva, l’input di eye-tracking svolgerà un ruolo importante.

 

Data la gamma di potenziali miglioramenti, è chiaro il motivo per cui il tracciamento degli occhi sarà un punto di svolta per la realtà virtuale. Nel prossimo futuro, l’eye-tracking incorporato diventerà probabilmente una caratteristica dei visori premium, prima di diventare la normalità per la VR e anche per AR.

 

[fonte:roadtovr]

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...

Blog su WordPress.com.

Su ↑