Definizione Tecnologie: Applicazioni La Realtà Aumentata

La Realtà Aumentata
Definizione
Tecnologie:
HMD
Tracker
Applicazioni
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
La Realtà Aumentata
Diagramma del continuum realtà/virtualità di
Millmann (‘94)
AR come parte della Mixed Reality
Predomina la percezione del mondo reale, arricchita
di informazioni digitali generate dal computer
AR e AV sono destinate a fondersi quando le
differenze tra immagini sintetiche e reali saranno
molto sfumate
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
La Realtà Aumentata
Ambiente Reale
Realtà Aumentata
Virtualità Aumentata
Realtà Virtuale
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR vs VR
La AR aumenta la scena del mondo reale in modo
che l’utente mantenga comunque un senso di
presenza in tale mondo
La VR mira a “sostituire” il mondo reale
La AR mira ad arricchire la realtà di informazioni utili
per l’espletamento di compiti complessi
Il feedback visivo in VR è completamente sotto il controllo
del sistema digitale. In AR il feedback è misto.
Per questo motivo AR ha esigenze assenti in VR, quali
l’acquisizione di immagini reali e la fusione con quelle
digitali
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR vs VR - II
AR può essere:
Co-locata (oggetti reali e virtuali condividono lo stesso spazio)
Non-colocata
Per AR co-locata è necessaria una “registrazione”:
Deve esserci un’accurata calibrazione fra il mondo reale e quello
virtuale
Se vi sono errori di “matching” le sensazioni sono erronee o,
peggio, disturbanti, e non avviene la percezione della “fusione”
Scopo di AR è di migliorare la percezione del mondo e le
prestazioni di un operatore
Dal punto di vista tecnologico, l’obiettivo è la creazione di
un sistema in cui non si noti la differenza tra il mondo
reale e l’arricchimento virtuale.
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Display per Mixed Reality
Una categorizzazione [Milgram 96] dei display per
la MR è basata su tre fattori:
Fedeltà di rappresentazione (asse 1)
Misura la qualità dell’immagine digitale, a partire dal wireframe
fino al fotorealismo.
Trade-off fra qualità e velocità, vincoli del tempo reale.
Sensazione di presenza (asse 2)
Misura il livello di immersione dell’utente nella scena, a partire dal
monitor fino all’HMD
Conoscenza del mondo (asse 3)
Misura quanto necessarie sono le informazioni provenienti dal
mondo esterno. Necessità di localizzazione, calibrazione, etc.
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Tecnologie per AR
Soluzione basata su HMD Optical See-Through:
Utilizza un combinatore ottico per il mix dei segnali
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Tecnologie per AR
Soluzione basata su HMD Video See-Through:
Necessarie videocamere.
Permette avanzate tecniche di blending.
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Tecnologie per AR
Soluzione basata su monitor:
Possibile anche soluzione ottica (monitor see-through)
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Confronto tra tecnologie
Vantaggi dei dispositivi ottici rispetto a quelli
video:
Semplicità
Risoluzione
No offset
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Confronto tra tecnologie
Vantaggi dei dispositivi video rispetto a quelli
ottici:
Flessibilità nelle strategie di composizione
Largo campo visivo
I ritardi dovuti alla visione reale e a quella virtuale
possono essere eguagliati
Migliori strategie di calibrazione
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
HMD Video See-Through
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
HMD Optical See-Through
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
HMD OST: Retinal Displays
Nuova frontiera: retinal-displays
Nascono all’Università di
Washington nel 1993
Proiettano un fascio di luce
direttamente sulla retina
L’osservatore ha l’illusione di
vedere l’immagine come se
fosse a 50 cm da un display 14”
Caratteristiche:
Alta Risoluzione
Luminosità
Consumi
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Retinal Displays: video
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: esigenze
I sistemi di AR devono, in generale:
Essere eseguibili in tempo reale, in modo da
consentire l’interattività all’utente
Mostrare un’immagine realistica e coerente
A tal fine sono necessari:
Un adeguato frame rate nella generazione
dell’immagine aumentata
Una corretta calibrazione (registrazione) tra
l’immagine reale e quella virtuale (AR co-locata)
Il fotorealismo non guasta…
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR co-locata: problema della registrazione
Si possono avere problemi nella calibrazione
fra i due mondi a causa di:
Rumore nelle misure
Postura della camera rispetto alla scena reale
Fluttuazioni dei valori
Ritardi
Errori di calcolo nell’allineamento
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Tracker: requisiti
Il tracker ideale deve possedere i seguenti
requisiti:
Precisione
Ripetibilità
Alta frequenza di rilevazione
Bassa latenza
Leggerezza (sensori)
Scarso ingombro (sensori)
6-DOF (laddove richiesto): 3 pos + 3 orientazione
Robustezza
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Tracker: tipologie
Esistono varie tecnologie usate per i tracker*:
Meccanici
Acustici
Ottici
Magnetici
Inerziali
Misti
* vedi lezione su interazione
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Tecniche vision-based (VB)
L’elaboratore interpreta il video ripreso dalla/e
camera/e per localizzare la camera (l’utente)
tramite markers e metodi algoritmici (pose
estimation).
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
VB: Markers o landmarks
Figure, tipicamente bidimensionali, ad alto
contrasto con lo sfondo, facilmente “visibili”
al calcolatore.
Usate per localizzare sia
la camera che oggetti
mobili nella scena.
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
VB: Tecniche markerless
Riconoscono:
Proprietà della scena
Oggetti notevoli che “fungono” da marker
Movimenti (Gesture recognition)
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Pro e contro
I metodi elettromeccanici sono i più affidabili e
robusti, ma possono limitare i movimenti.
L’uso dei sensori introduce robustezza ma la loro
precisione e calibrazione non sono elevate quanto
richiesto dall’occhio umano.
I metodi vision-based sono molto precisi ma
richiedono ambienti strutturati e controllati (luce,
oggetti, occlusioni, movimenti rapidi).
L’approccio misto (visione + sensori convenzionali)
apporta migliori risultati sotto diversi punti di
vista.
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Occlusione
Uno dei problemi più delicati da gestire è
l’occlusione fra oggetti reali e virtuali
Se non gestita, gli oggetti digitali apparirebbero
sempre in primo piano rispetto a quelli reali
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR Toolkit
Libreria per la costruzione di applicazioni di AR
Usa algoritmi di computer vision basati su
marker:
Tracking dei 6DOF di una singola telecamera
Marker: pattern di quadrati neri
Distribuzioni per SGI, Linux, MacOS e WinOS
Distribuito con codice sorgente
http://www.hitl.washington.edu/artoolkit/
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR Toolkit: schema di funzionamento
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AMIRE
Authoring tool per Mixed Reality
Nasce da un progetto EU IST
Ha prodotto:
MR Gems, Components, Frameworks
MR Authoring Metaphors dedicate a tipologie di
applicazioni
Costruito on top of AR toolkit
http://webster.fh-
hagenberg.at/amire/development.html
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Audio Augmented Reality
Esempio: applicazione museale
Le guide sonore in cuffia causano l’isolamento delle
persone nei confronti dell’ambiente circostante
Solitamente prevedono un percorso
sequenziale predeterminato
AAR prevede che le descrizioni delle
opere partano quando ci si avvicina a
loro
L’accesso è dunque random
Gruppi di persone vicine ascolteranno
lo stesso contenuto
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Audio Augmented Reality
Esempio: icone sonore
AAR può fornire informazioni a utenti occupati in
un task “visualmente impegnativo”
Le informazioni vengono fornite come icone audio
3D, in modo da fornirne anche una localizzazione
spaziale
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: applicazioni
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: mixed environments
CLIP
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: information overlay
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
Wearable AR
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: post processing
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: intrattenimento
Pubblicità (Princeton Electronic Billboards)
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: intrattenimento
Inserimento di informazioni utili
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: intrattenimento
Inserimento di informazioni utili
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: intrattenimento
Attori virtuali
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: intrattenimento
Giochi
Pong
CLIP
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: Riparazione e manutenzione
Etichette
Visualizzazione di
procedure
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: Riparazione e manutenzione
Manuali interattivi
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: PERCRO AR Assistant
Architecture
Mobile Camera
Ar-Assistant Wearable System
LAN
Access Point
Communication Server
Ar-Assistant Control Station
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: PERCRO AR Assistant
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: PERCRO AR Assistant
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: Applicazioni militari
Visualizzazione di mappe con dati aumentati
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: Applicazioni militari
Coordinamento di missioni con teleguida
Cockpit virtuale
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: Medicina
Chirurgia guidata da immagini
acquisite in fase preoperatoria
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: Medicina
Biopsia assistita da immagini
sintetizzate da dati ricavati ad ultrasuoni
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata
AR: Medicina
Parto assistito da immagini sintetizzate
da dati ricavati ad ultrasuoni
Realtà
il futuro
Realtà Virtuale: il presente, il passato,
Realtà
Realtà Aumentata