Leap Motion progetta shortcut con una sola mano in VR e AR

Le nuove tecnologie informatiche hanno bisogno di nuove interfacce utente per esprimere appieno il loro potenziale. Le interazioni basilari negli spazi virtuali si basano su manipolazioni fisiche dirette come pizzicare e afferrare, poiché sono universalmente accessibili. Tuttavia, il team di Leap Motion ha studiato anche paradigmi di interfaccia più elaborati come display virtuali da braccio, wearables digitali, widget dotati di pulsanti, cursori e persino trackball 3D e color picker.

Passando da un uso saltuario della VR a sessioni più lunghe e intense, le priorità del design sono la produttività e l’ergonomia: cambio di modalità e shortcut sono le aree più critiche dell’interazione.

Oggi usiamo gli shortcut da tastiera così spesso che è difficile immaginare di usare un computer senza di essi. Ctrl + Z, Ctrl + C e Ctrl + V sono fondamentali per l’efficienza di input da tastiera e mouse.

In VR gli input del controller adottano questo paradigma di scelta rapida in modo relativamente semplice rimappando i comandi su pulsanti, trigger, trackpad e stick analogici. Per aumentare o diminuire la dimensione del pennello in Tilt Brush, ad esempio, basta scorrere verso destra o sinistra sul trackpad della mano col pennello.

Ma le selezioni rapide con una sola mano richiedono un diverso tipo di approccio, in quanto non ci sono pulsanti o altri input meccanici su cui appoggiarsi. In precedenza, Leap Motion ha mappato questi tipi di comandi sia con interfacce utente nello spazio globale (ad es. pannelli di controllo) o interfacce che utilizzano il paradigma della tavolozza, dove una mano funge da raccolta di opzioni mentre l’altra funge da selezionatore.

Ma se potessimo usare una sola mano anziché due si guadagnerebbero velocità, concentrazione e comfort, che alla lunga fanno la differenza in VR. Si potrebbe persino progettare un sistema di scelta rapida incorporato e spaziale senza la necessità di guardarsi le mani, aumentando ulteriormente la produttività.

 

Manipolazione diretta vs. gesti astratti

Un modo per attivare una scorciatoia con una sola mano è definire un gesto astratto come trigger, cioè una posa o un movimento particolare di una mano. Questa è un’eccezione a una regola generale di Leap Motion, che generalmente preferisce la manipolazione fisica diretta degli oggetti virtuali come paradigma di interazione rispetto all’utilizzo di gesti astratti, per diversi motivi.

I gesti astratti sono spesso ambigui. Come si definisce un gesto astratto come “scorrere verso l’alto” nello spazio tridimensionale? Quando e dove inizia o finisce uno swipe? Quanto velocemente deve essere completato? Quante dita devono essere coinvolte?
Interazioni meno astratte riducono la curva di apprendimento per gli utenti. Tutti possono attingere a un’esperienza di manipolazione diretta con oggetti fisici nel mondo reale. Cercare di insegnare movimenti specifici all’utente in modo che possa eseguire i comandi in modo affidabile è una sfida significativa.
Le scorciatoie devono essere rapidamente e facilmente accessibili ma difficili da attivare accidentalmente: due obiettivi in contrasto l’uno con l’altro, in quanto shortcut facilmente accessibili hanno sì una più vasta gamma di pose o movimenti validi, ma al tempo stesso è più facile che si attivino involontariamente.

Per risolvere questo problema, Leap Motion ha deciso di usare un’azione divisa in due passaggi sequenziali per attivare una scorciatoia invece di un singolo gesto.

Primo passaggio: il palmo in su

La filosofia di design dell’interazione di Leap Motion cerca sempre di costruire su convenzioni e metafore già esistenti. Un precedente importante che hanno impostato nel corso del tempo nelle loro esplorazioni di wearables digitali è che i menu manuali vengono attivati ruotando il palmo verso l’utente.

 

Questo gesto funziona bene per segmentare le interazioni in base alla direzione in cui le mani si trovano. I palmi rivolti verso la scena implicano l’interazione con il mondo esterno. I palmi rivolti verso sé stessi implicano interazioni nel campo vicino con interfacce utente interne. La direzione del palmo è una prima condizione adatta per differenziare il normale movimento della mano dall’intenzione dell’utente di attivare uno shortcut.

Secondo passaggio: il pinch

Una volta rivolto il palmo verso sé stessi, è necessaria una seconda azione ben definita, facilmente eseguibile e intenzionale. Un pizzico risponde a tutte queste necessità, in quanto è a basso sforzo, ben definito e intenzionale.
Col pizzico si ottiene infatti un feedback auto-aptico quando le dita entrano in contatto e l’azione può essere definita e rappresentata dal sistema di tracciamento come una distanza minima tra indice tracciato e la punta del pollice. Inoltre, è un gesto improbabile da eseguire per caso con il palmo rivolto verso l’alto.

Eseguire entrambe queste azioni, una dopo l’altra, è facile e veloce ma difficile da commettere involontariamente. Questa sequenza ha costituito una base solida per esplorare le scorciatoie con una sola mano. La prossima sfida sarebbe stata poi far capire all’utente quale fosse il movimento da eseguire.

Ripensando ai benefici della manipolazione diretta rispetto ai gesti astratti, il team di Leap Motion ha pensato di fondere i due paradigmi, usando un oggetto virtuale per guidare l’utente nell’interazione, facendolo sentire come se stesse manipolando un oggetto reale ma facendogli in realtà eseguire un gesto astratto.

 

Il Powerball

Un oggetto sul dorso della mano ha rappresentato la soluzione. Il Powerball, come è stato soprannominato, agisce sia come un indicatore visivo dei progressi nell’interazione sia come bersaglio da pizzicare. Se il palmo della mano è rivolto verso l’esterno, l’oggetto rimane bloccato sul dorso della mano. Quando il palmo ruota verso l’utente, l’oggetto scorre sul dorso della mano fino a rimanere sospeso in direzione del palmo.

Una volta che il palmo della mano è completamente rivolto verso l’utente e l’oggetto è giunto alla sua posizione finale, pizzicare l’oggetto – una manipolazione diretta – attiva la scorciatoia. Dopo alcuni esperimenti, il team ha stabilito la destinazione del powerball esattamente nel punto del pinch, una posizione costantemente aggiornata definita come la distanza media tra l’indice e la punta del pollice.

Questa miscela di grafica, manipolazione pseudo-diretta, movimento gestuale e azione incorporata si è dimostrata facile da apprendere e pronta per ulteriori sviluppi. Leap Motion ha così esaminato quali tipi di interfacce sarebbero state ergonomiche e affidabili nel tracciamento a partire dalla posizione del pinch.

 

Selezione dell’interfaccia spaziale

Il sistema più semplice consiste nel pizzicare e rilasciare il Powerball. Questo gesto consente di eseguire un singolo comando di scelta rapida, passare da una modalità all’altra o tra più modalità con pizzichi consecutivi. Tuttavia, la vera utilità di un sistema di shortcut deriva dall’avere accesso rapido e diretto a una gamma di opzioni. Quindi Leap Motion ha esplorato sistemi di scorciatoie con più opzioni con selezione tramite la posizione delle dita.

Tra i movimenti comodi da effettuare, hanno selezionato alcuni schemi di movimento facilmente ripetibili senza sforzo. Il primo consiste nel ruotare le dita nella posa del pinch usando il polso e l’avambraccio.

Il secondo consiste nell’inclinare le dita in avanti o indietro rispetto al polso.

E il terzo nello spostare le dita in qualsiasi direzione usando il gomito e la spalla come cardini del movimento.

Partendo da questi schemi di movimento, hanno delineato alcuni sistemi di selezione spaziale che avrebbero permesso all’utente di scegliere e confermare un’opzione spostando le dita e rilasciando la posizione del pinch. Uno di questi sistemi si basa su volumi in cui spostare il Powerball con le dita. Se rilasciato all’interno di un volume, il pinch conferma la selezione.

L’altro si basa su un sistema a binario in cui il Powerball si muove sempre con le dita dell’utente, ma resta bloccato sul binario, scattando da un punto all’altro per tutta la lunghezza della traiettoria.

Il team ha quindi prototipato tre di questi schemi: il volume ad arco, il binario ad arco e il binario di movimento, scoprendo vantaggi e problemi che non erano emersi nella progettazione di ciascun sistema.

Variante 1: volume d’arco

Nel sistema a volume d’arco si è rivelato difficile determinare come ancorare i volumi. Una volta schiacciato il Powerball per aprire il sistema di shortcut, si è prima tentato di generare i volumi nello spazio globale, bloccandoli nel punto in cui era stato inizialmente creato il pinch. La selezione avviene tramite rotazione del polso e la conferma tramite rilascio della posizione delle dita.

Ma per questo metodo bisogna evitare di spostare troppo la mano durante la selezione, così, per permettere agli utenti di muoversi comodamente, il team ha ancorato i volumi alla mano in modo che si spostassero con essa. Così i volumi generati risultano orientati lungo tre assi: uno rivolto in avanti rispetto alla mano, un altro rivolto verso l’interno e un terzo rivolto verso la telecamera.

Il sistema è così diventato relativamente veloce e comodo da usare. Tuttavia, i volumi stessi erano piuttosto ingombranti e rendevano difficile discernere la posizione del Powerball nello spostarsi da uno all’altro. L’uso di colori e animazioni di estrusione sul volume selezionato ha aiutato, ma il risultato era ancora troppo carico di informazioni.

 

Variante 2: Binario ad arco

Successivamente Leap Motion ha prototipato il sistema a binario ad arco, che ha risolto subito alcuni dei problemi del precedente sistema. Vincolando il Powerball ai punti lungo il binario, gli utenti sono liberi di ruotare il pizzico lungo qualsiasi curva ritengano confortevole. Il Powerball rimane bloccato sul binario e lo scatto mostra più chiaramente la progressione del movimento della mano rispetto al movimento libero tra i volumi.

Il sistema a binario ha anche rimosso gran parte della confusione visiva dei volumi. Ma mancava ancora di chiarezza nel mostrare l’opzione selezionata, specialmente nella visione periferica dell’utente. Si è deciso di infondere queste informazioni nel Powerball stesso attraverso un’animazione di estrusione guidata dal gesto del pinch.

Si è anche iniziato a sperimentare con la forma e la posizione del Powerball sul dorso della mano dell’utente, così da essere meglio pizzicato. Ciò ha portato al Poweregg.

Grazie ad esso si può pizzicare e ruotare in qualsiasi modo comodo all’utente. Si può anche vedere chiaramente quale shortcut si sta selezionando e rilasciare la posizione delle dita per confermare.

L’unico problema funzionale rimanente con questo sistema è la difficoltà nel selezionare in modo affidabile l’opzione di scelta rapida centrale, per cui è necessario spostarsi in modo tale da non superare l’ultima opzione, ma soprattutto è necessario guardare il movimento delle dita per farlo. Così si è arrivati al terzo sistema, il binario di movimento.

 

Variante 3: Binario di movimento

In questo sistema si è deciso di bloccare i binari nello spazio globale al primo pizzico. A differenza del sistema a binario ad arco dove tutte e tre le opzioni sono nella stessa direzione, in questo sistema ogni opzione si trova in una direzione diversa.

In questo modo, l’utente può scegliere un’opzione senza la necessità di vedere dove sposta le dita. Questa azione di selezione è veloce, affidabile e non richiede né movimenti precisi né di guardare le proprie dita. Il team ha anche modellato e animato il Powercube, un cubo mutaforma che si contrae ed espande come una fisarmonica per dare un maggiore feedback visivo ad ogni movimento.

Questo sistema risulta incorporato e spaziale esattamente come Leap Motion immaginava un sistema di shortcut in VR basato sulle mani. L’uso del sistema ha sviluppato anche la memoria muscolare sulla posizione delle opzioni, componente fondamentale di un sistema di shortcut rapido ed efficace.
Questa soluzione potrebbe facilmente gestire quattro opzioni o espandersi con binari verso l’alto e il basso per un totale di sei opzioni. Il volume sferico attorno al pinch iniziale potrebbe teoricamente essere suddiviso in molti più segmenti per soddisfare tutte le opzioni necessarie.

Questa è solo una prima parte del lavoro: ora, ci sono ancora molte domande a cui trovare risposta.
Ad esempio, che tipo di approccio si dovrebbe utilizzare per guidare gli utenti in ogni fase del sistema? Se gli utenti provassero a premere il Powerball sul dorso della mano, sarebbe un’azione da evitare o da sfruttare? Come si potrebbero usare i canali visivi e audio per creare un maggior senso di tattilità e attirare l’attenzione dove necessario? Il sistema si comporterà come previsto durante vere sessioni di VR o si attiverà accidentalmente?


Bisognerà dunque svolgere test in vari ambiti per verificare anche la facilità di apprendimento per i nuovi utenti.

 

[fonte:roadtovr]

Una risposta a "Leap Motion progetta shortcut con una sola mano in VR e AR"

Add yours

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

w

Connessione a %s...

Blog su WordPress.com.

Su ↑