Presenza in Ambienti Virtuali

Presenza in Ambienti Virtuali
Un ambiente virtuale immersivo richiede una forte
sensazione di presenza dell’
dell’utente, al fine di
renderne naturale l’
l’interazione e di migliorarne la
percezione
La sensazione di presenza è determinata da tre
fattori:
– Qualità
Qualità delle informazioni sensoriali
Modellazione
Rendering
– Mobilità
Mobilità e controllo dei sensori
– Controllo sull’
sull’ambiente
Rendering
Presenza: info sensoriali di bassa qualità
qualità
Rendering
1
Presenza: info sensoriali di alta qualità
qualità
Rendering
Presenza: scarsa mobilità
mobilità dei sensori
Rendering
2
Presenza: buona mobilità
mobilità dei sensori
Rendering
Presenza: basso controllo dell’
dell’ambiente
Rendering
3
Presenza: alto controllo dell’
dell’ambiente
Rendering
Flusso di dati in Ambienti Virtuali
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
Informazioni
efferenti
INTERFACCIA
INTERFACCIA
Informazioni
afferenti
UTENTE
UTENTE
Rendering
4
Moduli logici di un Ambiente Virtuale
Campionamento
Campionamento
Sintesi
Sintesi
Modellazione
Comportamenti
Comportamenti
Proprietà
à
Propriet
Proprietà
AMBIENTE VIRTUALE
Management
Management
Rendering
Interazione
UTENTE
Rendering
Flusso di dati in Ambienti Virtuali
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
CANALE
CANALE
VISIVO
VISIVO
CANALE
CANALE
ACUSTICO
ACUSTICO
CANALE
CANALE
APTICO
APTICO
CANALE
CANALE
INERZIALE
INERZIALE
UTENTE
UTENTE
Rendering
5
Flusso di dati in Ambienti Virtuali
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
CANALE
CANALE
VISIVO
VISIVO
CANALE
CANALE
ACUSTICO
ACUSTICO
CANALE
CANALE
APTICO
APTICO
CANALE
CANALE
INERZIALE
INERZIALE
UTENTE
UTENTE
Rendering
Canale visivo: componenti
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
SW
SWmodules
modulesof
ofvisual
visual
modelling
modelling&&rendering
rendering
CANALE
CANALE
VISIVO
VISIVO
CANALE
Graphical
CANALE
Graphical
ACUSTICO
Feedback
ACUSTICO
Feedback
CANALE
CANALE
APTICO
APTICO
CANALE
CANALE
INERZIALE
INERZIALE
HW
HWdevices
devices
of
ofvisualization
visualization
UTENTE
UTENTE
Rendering
6
Visualizzazione stereoscopica
I due occhi vedono il mondo in maniera leggermente
diversa l’
l’uno dall’
dall’altro
Ognuno dei due occhi fornisce una visione prospettica
bidimensionale del mondo
La combinazione delle due prospettive forma un’
un’immagine
“stereoscopica”
stereoscopica”, che contiene
informazioni sulla tridimensionalità
tridimensionalità
del mondo
Attenzione! Il termine “3D”
3D” è spesso
abusato. Ciò che comunemente si
chiama grafica 3D è, di solito, una
rappresentazione prospettica 2D
Rendering
Depth cues
La percezione della tridimensionalità
tridimensionalità, a partire da
un’
un’immagine stereoscopica, avviene grazie ad una serie di
“indizi”
indizi” (depth cues)
cues) che aiutano nel percepire la terza
dimensione (profondità
(profondità)
Per simulare efficamente un ambiente tridimensionale è
necessario fornire il maggior numero di depthdepth-cues,
cues, o
almeno quelli più
più significativi.
Rendering
7
Depth cues monoculari
Alcuni depthdepth-cues molto importanti sono:
– Occlusione:
Occlusione: se un oggetto ne occlude un
altro, è percepito come più
più vicino
– Ombreggiatura:
Ombreggiatura: fornisce info su
orientazione e posizione delle superfici
rispetto ad una sorgente di luce: uno
cambio graduale di ombreggiatura fa
intuire un variazione graduale di or. e pos.
pos.
delle superfici
– Prospettiva:
Prospettiva: note le dimensioni di un
oggetto, se ne può intuire la distanza dalle
sue dimensioni apparenti.
– Parallasse:
Parallasse: oggetti a distanze differenti,
si muovono con diverse velocità
velocità apparenti
Questi depthdepth-cues sono ben simulabili anche
da un’
un’appropriata immagine bidimensionale
Tuttavia, per quanto necessari, non sono
sufficienti
Rendering
Depth cues binoculari
Altri depthdepth-cues importanti sono:
– Prospettiva dinamica:
dinamica: quando
muoviamo, anche leggermente, il
nostro punto di vista, cambia la nostra
prospettiva del mondo. E’
E’ necessario
tenere traccia della posizione e
dell’
dell’orientazione della testa (tracking
(tracking))
e aggiornare la prospettiva
coerentemente.
– Separazione oculare:
oculare: i nostri occhi
sono separati da un certo offset. Ciò
implica che le prospettive siano
differenti: gli oggetti sono separati da
un offset crescente al diminuire della
distanza. E’
E’ necessario costruire due
immagine diverse per i due occhi.
Rendering
8
Depth cues binoculari
– Depth of field:
field: oggetti a distanza differente hanno una
messa a fuoco differente
– Campo visuale:
visuale: il campo di vista umano è di circa
180°
180°x120°
120°. La presenza di un bordo ai margini
dell’
dell’immagine stereoscopica “distrugge”
distrugge” l’illusione del
3D (es.un
(es.un monitor ha FOV=35°
FOV=35°x27°
27°)
– Indizi “non visuali”
visuali”: altre informazioni giungono da
apparati non legati direttamente alla visione (apparato
vestibolare, dati cinestetici dai muscoli del collo etc.)
etc.)
Importante: se mal implementati, depthdepth-cues in conflitto
possono non solo diminuire l’
l’effetto 3D complessivo ma
anche creare disagio nella percezione.
Non tutti i depthdepth-cues possono essere implementati
efficacemente. Si possono allora esaltare gli effetti dei
depthdepth-cues implementabili.
Rendering
Immagine stereoscopica
Un sistema per la visualizzazione 3D deve disporre di:
– SW adeguato per la generazione di DUE immagini
bidimensionali (R e L) opportunamente create e
sincronizzate in modo da restituire gli opportuni depthdepthcues
– HW in grado di far arrivare separatamente ai due occhi
le corrispondenti immagini
Problema dello “StereoStereo-crosstalk”
crosstalk”
(o ghosting):
ghosting):
– Il ghosting è la permanenza, su un
occhio, dell’
dell’immagine relativa all’
all’
altro occhio. Ciò produce la visione
di una silhouette “fantasma”
fantasma” insieme
all’
all’immagine corretta
Rendering
9
Immagine stereoscopica
Rendering
Immagine stereoscopica
Rendering
10
Anaglifi
Storicamente, le prime immagini
stereoscopiche (impiegate anche
in fotografia, cinema etc.)
etc.)
Le due immagini vengono
codificate usando filtri blu (o
verdi) e rossi.
Filtri analoghi decodificano le
immagini
S: Filtraggio distruttivo (bene
bianco e nero, molto meno bene
a colori)
Rendering
Stereogrammi
Come funzionano?
Quando osserviamo un oggetto, i nostri
occhi guardano lo stesso punto della
superficie dell’
dell’oggetto. Quindi, il
cervello calcola la distanza dell’
dell’oggetto
a partire dalle posizioni che gli occhi
hanno “catturato”
catturato”.
Quando osserviamo (correttamente) uno
stereogramma, i nostri occhi guardano
due punti della superficie, ma i pattern
su questi due punti sono gli stessi, per
cui il nostro cervello crede che siano lo
stesso punto.
Di conseguenza il nostro cervello calcola
una distanza errata e ci sembra che non
stiamo osservando lo stereogramma, ma
piuttosto qualcosa DIETRO lo stereostereogramma.
gramma.
Chi lo vede?
Rendering
11
Stereo Attivo
Un sistema di stereoscopia attiva usa:
– un solo proiettore (anche monitor)
– speciali occhiali (shutter
(shutter--glasses)
glasses) muniti di
particolari pannelli LCD che, alternativamente,
aprono e chiudono le lenti quando un’
un’opportuna
carica elettrica li attraversa
Le immagini vengono proiettate
sequenzialmente ad alta freqenza (120Hz).
Gli occhiali sono sincronizzati con la
proiezione, in modo che ogni lente sia
aperta quando viene proiettata l’
l’immagine
dell’
dell’occhio corrispondente.
Una sola immagine per volta viene dunque
inviata agli occhi, ma lo scambio avviene
così
così velocemente che il cervello crede di
vederle contemporaneamente e le “fonde”
fonde”
Rendering
Stereo attivo: analisi
Svantaggi delle tecniche attive:
– Necessarie schede grafiche che supportino lo stereo
–
–
–
–
attivo, spesso costose. Risoluzione solitamente non
alta.
I soli proiettori che supportano le alte frequenze
necessarie sono CRT, di solito ingombranti e di difficile
calibrazione (con alcuni trucchi ora anche i DLP)
Gli shutter glasses sono fragili e abbastanza costosi. Se
non sono wireless, i cavi possono essere di intralcio al
movimento.
Possibile flickering
Ghosting sulla parte bassa dell’
dell’immagine, dovuto al
tempo di percorrenza del raggio elettronico durante la
scansione dalla parte alta alla parte bassa.
Rendering
12
Stereo Passivo - polarizzazione
Un sistema di stereoscopia passiva a polarizzazione
usa:
– due proiettori, ognuno dotato di una lente di
polarizzazione che polarizza la luce in una
direzione per l’
l’immagine L e in quella opposta
per l’
l’immagine R
– uno schermo che mantenga la polarizzazione
– speciali occhiali dotati di analoghe lenti di
polarizzazione, in modo che all’
all’occhio R arrivi
solo l’
l’immagine R (lo stesso per L)
Entrambe le immagini vengono dunque
proiettate, ma una sola arriva ad ogni
occhio
Rendering
La polarizzazione della luce
Un
onda luminosa ruota in ogni direzione
La specifica orientazione, in un dato tempo
t, ne determina la “polarizzazione”
polarizzazione”
Polarizzare una luce, di per sè non
polarizzata, significa farne emergere una
particolare orientazione.
L’occhio umano è poco sensibile ai cambi di
polarizzazione e non percepisce sostanziali
differenze in ciò che vede.
Rendering
13
Tipi di polarizzazione
Lineare:
La luce viene polarizzata in un’
un’unica direzione.
La P.L. produce un’
un’ottima separazione delle immagini ed è
poco costosa ma, se l’
l’osservatore ruota la testa, la direzione
di polarizzazione degli occhiali non coincide più
più con quella
della luce, con conseguente perdita delle informazioni stereo
percepite dall’
dall’osservatore
Circolare:
La luce viene polarizzata in più
più direzioni.
La P.C. richiede un’
un’alta precisione e una corrispondenza
molto più
più stretta fra i filtri
di proiezione e quelli degli
occhiali.L
occhiali.L’’osservatore è
però libero di ruotare
la testa in ogni direzione.
Rendering
Stereo passivo – polarizzazione
Svantaggi della polarizzazione
– La P.L. può essere usata solo in ambienti in cui sono
previste piccolissime rotazioni della testa.
– La P.C. presenta problemi più
più importanti di ghosting e,
in alcuni casi, esso risulta dipendente dal colore.
– In entrambi i casi è necessario uno schermo di
materiale speciale in grado di mantenere la
polarizzazione.
Vantaggi delle tecniche passive:
– Si possono usare normali schede grafiche, ad alta
risoluzione, senza costi eccessivi.
– Costi limitati per l’
l’HW di proiezione (proiettori DLP ad
alta luminosità
luminosità, filtri, lenti, schermo)
Rendering
14
Stereo passivo – filtri infitec
Left Eye
Vantaggi rispetto alla polarizzazione:
Scarsissimi problemi di ghosting,
indipendenza dalla rotazione della testa
– Migliore separazione delle immagini
– Una qualsiasi superficie può fungere da
schermo
–
Right Eye
Svantaggi del filtraggio infitec
–
–
Alti costi
I colori vengono “virati”
virati” ed è consigliabile una correzione SW della gamma
Rendering
HW per la proiezione
Proiettori CRT (Catode
(Catode Ray Tube)
Tube)
V – Qualità
Qualità, Risoluzione, Tempo di vita, Calore, Nero
S – Ingombro, Calibrazione, Luminosità
Luminosità
L’immagine viene formata da tre raggi di elettroni che
vengono combinati con una lente.
Rendering
15
HW per la proiezione
Proiettori LCD (Liquid
(Liquid Crystal Display)
Display)
V – Nitidezza(Nitidezza(-), Peso, Luminosità
Luminosità-Efficienza (su DLP), Colore (su DLP)
S – Tempo di vita, Pixel morti, Costo dei pannelli, POLARIZZAZIONE
3 pannelli LC (R,G,B) che si oscurano o sono trasparenti a seconda
seconda
della carica che li percorre. Una singola fonte di luce illumina i 3
pannelli, le 3 immagini monocromatiche vengono composte con un
prisma, l’
l’immagine risultante viene proiettata tramite una lente.
Rendering
HW per la proiezione
Proiettori DLP (Digital
(Digital Light Processing)
Processing)
V – Peso, Luminosità
Luminosità, Calibrazione, Contrasto,
Contrasto, Tempo di vita (su
(su LCD)
S – Tempo di vita (su
(su CRT), Colore (Nero), Effetto arcobaleno
Simili a LCD ma digitali. I pannelli sono sostituiti da tre chip di silicio
contenente ~ 1M di specchi microscopici (uno per pixel) che si orientano
in modo da riflettere la luce verso la lente o in verso contrario.
contrario. Le 3
immagini monocromatiche vengono composte da un prisma e proiettate.
proiettate.
Rendering
16
Powerwall
Il Powerwall è uno schermo a retroretro-proiezione che
visualizza immagini stereoscopiche.
Permette la collaborazione di piccoli gruppi di ricercatori
che condividono gli stessi dati
La retroretro-proiezione garantisce la piena libertà
libertà di
movimento, dal momento che non c’è
c’è mai occlusione degli
utenti nei confronti del
fascio di luce.
Per limitare lo spazio
occupato, senza dimidiminuire il cammino ottico,
è possibile usare uno o
più
più specchi.
Rendering
Workbench
Simile al Powerwall, ma di dimensioni più
più ridotte (con
conseguente immersione ridotta) e orientazione piana o
inclinata.
Utile in alcuni contesti (es. simulazione chirurgica) in cui non è
necessaria l’
l’immersione in un ambiente virtuale, ma è
preferibile calare alcuni contenuti virtuali in un contesto reale.
reale.
CLIP
Rendering
17
Il CAVE
CAVE è un acronimo ricorsivo (CAVE Automatic Virtual
Environment.
Environment.
Il CAVE è un ambiente
multimulti-utente,
utente, una stanza
i cui muri sono powerwall
sincronizzati fra loro
e (opzionalmente) con
i movimenti dell’
dell’utente.
Ovviamente la visione
stereo è coerente con i
movimenti di un solo utente.
Gli altri sono “passeggeri”
passeggeri”
Hardware
Visualization
CLIP
CLIP
Rendering
Il CAVE – varianti
Esistono CAVE a 3, 4, 5 e 6 schermi. In Europa si trovano a
Londra (4), Stoccarda (4,6), Torino (3)...
Solitamente il pavimento non è retroproietretroproiettato,
,
a
meno
che
non
vi
sia
anche
il soffitto.
tato
Nel CAVE a 6 schermi (Fraunhofer
(Fraunhofer
Institute),
Institute), tutti sono retroproiettati.
retroproiettati.
Uno schermo è scorrevole per poter
accedere alla struttura.
E’ disponibile sia la versione con
stereo attivo (Onyx
(Onyx 6pipe, 1024x1024)
sia quella con passivo (cluster
(cluster di 12 PC,
polarizzazione circolare, 1400x1400)
Rendering
18
Display autostereoscopici
Tali display non fanno uso di lenti, occhiali o altri dispositivi
dispositivi
Volumetric displays:
displays:
Sistemi che mostrano le informazioni in un
volume predefinito. Invece che di pixel
si parla di voxel.
voxel.
Emissivi:
Emissivi: il volume è riempito con un mezzo
capace di emettere luce da ogni parte delle sue
componenti a seconda di come viene eccitato.
Rotanti:
Rotanti: uno schermo piatto ruota a 600 rpm.
rpm.
A seconda della posizione angolare dello
schermo, un sistema ottico proietta su di esso
l’immagine dell’
dell’oggetto corrispondente alla
prospettiva associata a quell’
quell’angolo.
CLIP
Rendering
Display autostereoscopici
Parallax displays:
displays:
La separazione delle immagini avviene mediante delle barriere
di parallasse, realizzate mediante due schermi sovrapposti che
vengono mostrati a colonne alternate, o mediante l’
l’emissione
della luce ad angoli differenti a seconda del colore.
Olografia:
Olografia:
I display olografici ricostruiscono l’
l’intensità
intensità e la direzione della
luce che colpisce un oggetto. La sensazione di tridimensionalità
tridimensionalità
è fortissima (quasi tutti i depthdepth-cues sono presenti) ma
l’occupazione in termini di banda è così
così
grande da non poter competere con le immagini di
alta qualità
qualità sintetizzate da computer. Inoltre
l’olografia è un processo simile a quello fotografico,
dunque si tratta di immagini campionate e non
sintetizzate.
Rendering
19
Head Mounted Display
Rendering
Head Mounted Display
E’ un caschetto,
caschetto, provvisto di 2 piccoli display,
indossabile dall’
dall’utente
Opzionalmente provvisto di cuffie e di tracker
Garantisce la migliore separazione possibile delle
immagini, dato che ogni occhio ha il suo display dedicato
Vantaggi:
- Immersione totale (non c’è
c’è alcun
contatto ottico con la realtà
realtà fisica)
Svantaggi:
- Costo elevato
- Risoluzione limitata
- FOV limitato (effetto sub)
Rendering
20
Canale acustico: componenti
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
CANALE
CANALE
VISIVO
VISIVO
CANALE
CANALE
ACUSTICO
ACUSTICO
CANALE
CANALE
APTICO
APTICO
Audio
Audio
Feedback
Feedback
CANALE
SW
CANALE
SWmodules
modulesof
ofaudio
audio
modelling
INERZIALE
modelling&&rendering
rendering
INERZIALE
HW
HWaudio
audio
devices
devices
UTENTE
UTENTE
Rendering
Dispositivi acustici di output
Rendering
21
Dispositivi acustici di output
STEREOFONIA:
I suoni sono ripartiti in due canali, uno per
l’orecchio destro, uno per il sinistro. Si può creare
l’illusione di una sorgente virtuale, ma solo lungo
la congiungente degli altoparlanti.
SISTEMI MULTICANALE:
Aumentando il numero di canali, è possibile
aumentare lo spazio nel quale è localizzata la
sorgente sonora virtuale.
Attenzione: il tipico effetto “Surround”
Surround” non aiuta
la percezione della localizzazione, ma causa un
effetto di spazializzazione:
spazializzazione: il suono sembra
provenire da una superficie più
più grande di quella
degli altoparlanti
Rendering
Crosstalk
Nei dispositivi basati sugli altoparlanti si crea un fenomeno
analogo al ghosting nella stereoscopia: il crosstalk.
crosstalk.
Una certa porzione del suono destinato all’
all’orecchio destro
arriva al sinistro e viceversa.
E’ possibile però usare dei filtri che cancellino il crosscross-talk,
aggiungendo del segnale tale che, se l’
l’ascoltatore è collocato in
un determinato punto (Sweet
(Sweet--Spot)
Spot) il crosstalk non viene
percepito.
Quando si lascia lo Sweet Spot, il crosstalk viene percepito tanto
più
più quanto più
più ci si allontana. Ma questa
percezione è molto più
più forte sulla
direzione LR che su quella FB.
La presenza degli altoparlanti posteriori
permette di estendere lo SweetSweet-Spot ad
una sfera, aumentando l’
l’area attiva.
Rendering
22
Cuffie
Analogamente all’
all’HMD, la cuffia fornisce la migliore separazione
tra i canali: ogni orecchio riceve solo il canale ad esso relativo.
relativo.
Evidentemente il segnale deve essere trattato a monte, in modo
che arrivi già
già trasformato con la opportuna HRTF
In questo modo è possibile percepire la direzionalità
direzionalità del suono
(in maniera minore nella direzione FR, dato che gli effetti di
mascheramento sono simulati e non reali)
Si creano dunque sorgenti virtuali
Esistono cuffie provviste di un decoder
surround che “virtualizza”
virtualizza” il sonoro, nel
senso che crea “canali virtuali”
virtuali” ma non
sorgenti virtuali.
Se l’
l’ascoltatore si muove, è necessario
conoscere la sua nuova pos./or.
pos./or.
Rendering
Canale aptico:
aptico: componenti
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
CANALE
CANALE
CANALE
CANALE
ACUSTICO
VISIVO
ACUSTICO
SW
VISIVO
modules
of
haptic
SW modules of haptic
CANALE
CANALE
APTICO
APTICO
CANALE
CANALE
INERZIALE
INERZIALE
modelling
modelling&&rendering
rendering
Haptic
Haptic
Feedback
Feedback
Haptic
Haptic Interfaces
Interfaces
UTENTE
UTENTE
Rendering
23
Interfacce aptiche
Desktop:
Whole Body movement Haptic Interfaces:
Possible use of a
Planar HI for the desktop locomotion interface
in a VE
A whole body
motion Haptic
Interface.
Anthropomorphic:
Anthropomorphic
Haptic Inerface:
Hand Exoskeleton
Remotely located
Actuators Tendon
Transmission
Anthropomorphic
Haptic Interface: 7
DOFs Arm
Exoskeleton
Rendering
Il problema della coco-location
I canali di interfaccia spesso agiscono in sistemi di
riferimento separati
Perché
Perché l’interazione sia corretta, è necessario che tali
sistemi collimino alla perfezione
Se questo si verifica, la naturalezza e il realismo
dell’
dell’interazione sono perfetti
Alcuni aspetti limitano una perfetta coco-location:
location:
– Gli errori insiti nelle trasformazioni fra sistemi di riferimento
riferimento
– Le ostruzioni visive che diminuiscono la sensazione di presenza
Rendering
24
Il problema della coco-location
Rendering
CoCo-location: soluzione Reachin
CLIP
Rendering
25
Interfacce aptiche: WBMHI
Feedback misto
Inerziale / Aptico
Rendering
Canale inerziale: componenti
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
CANALE
CANALE
VISIVO
VISIVO
CANALE
CANALE
ACUSTICO
ACUSTICO
CANALE
CANALE
APTICO
APTICO
CANALE
CANALE
INERZIALE
INERZIALE
Inertial
Inertial
Feedback
Feedback
UTENTE
UTENTE
Rendering
26
Feedback inerziale
Rendering
Feedback inerziale
Rendering
27
Rendering olfattivo
AMBIENTE
AMBIENTE VIRTUALE
VIRTUALE
…
…
CANALE
CANALE
OLFATTIVO
OLFATTIVO
CANALE
CANALE
DEL
DEL
GUSTO
GUSTO
…
…
UTENTE
UTENTE
Rendering
Rendering olfattivo
PARALLELO CON I DISPLAY GRAFICI:
Distribuzione “aperta”
aperta” di odori ↔ Illuminazione controllata
Distribuzione diretta nel naso con cannule ↔ HMD
Distribuzione in uno spazio “a portata di naso”
naso” ↔ HW Proiezione
GENERAZIONE DI ODORI
L’olfatto è sollecitato da stimoli chimici, a differenza degli altri
sensi su cui agiscono stimoli fisici
Non è stato ancora identificato un set di odori primari
Rendering
28
Rendering olfattivo
Rendering
29