Definizione Tecnologie: Applicazioni La Realtà Aumentata
Transcript
Definizione Tecnologie: Applicazioni La Realtà Aumentata
La Realtà Aumentata Definizione Tecnologie: HMD Tracker Applicazioni Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata La Realtà Aumentata Diagramma del continuum realtà/virtualità di Millmann (‘94) AR come parte della Mixed Reality Predomina la percezione del mondo reale, arricchita di informazioni digitali generate dal computer AR e AV sono destinate a fondersi quando le differenze tra immagini sintetiche e reali saranno molto sfumate Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata La Realtà Aumentata Ambiente Reale Realtà Aumentata Virtualità Aumentata Realtà Virtuale Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR vs VR La AR aumenta la scena del mondo reale in modo che l’utente mantenga comunque un senso di presenza in tale mondo La VR mira a “sostituire” il mondo reale La AR mira ad arricchire la realtà di informazioni utili per l’espletamento di compiti complessi Il feedback visivo in VR è completamente sotto il controllo del sistema digitale. In AR il feedback è misto. Per questo motivo AR ha esigenze assenti in VR, quali l’acquisizione di immagini reali e la fusione con quelle digitali Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR vs VR - II AR può essere: Co-locata (oggetti reali e virtuali condividono lo stesso spazio) Non-colocata Per AR co-locata è necessaria una “registrazione”: Deve esserci un’accurata calibrazione fra il mondo reale e quello virtuale Se vi sono errori di “matching” le sensazioni sono erronee o, peggio, disturbanti, e non avviene la percezione della “fusione” Scopo di AR è di migliorare la percezione del mondo e le prestazioni di un operatore Dal punto di vista tecnologico, l’obiettivo è la creazione di un sistema in cui non si noti la differenza tra il mondo reale e l’arricchimento virtuale. Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Display per Mixed Reality Una categorizzazione [Milgram 96] dei display per la MR è basata su tre fattori: Fedeltà di rappresentazione (asse 1) Misura la qualità dell’immagine digitale, a partire dal wireframe fino al fotorealismo. Trade-off fra qualità e velocità, vincoli del tempo reale. Sensazione di presenza (asse 2) Misura il livello di immersione dell’utente nella scena, a partire dal monitor fino all’HMD Conoscenza del mondo (asse 3) Misura quanto necessarie sono le informazioni provenienti dal mondo esterno. Necessità di localizzazione, calibrazione, etc. Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Tecnologie per AR Soluzione basata su HMD Optical See-Through: Utilizza un combinatore ottico per il mix dei segnali Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Tecnologie per AR Soluzione basata su HMD Video See-Through: Necessarie videocamere. Permette avanzate tecniche di blending. Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Tecnologie per AR Soluzione basata su monitor: Possibile anche soluzione ottica (monitor see-through) Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Confronto tra tecnologie Vantaggi dei dispositivi ottici rispetto a quelli video: Semplicità Risoluzione No offset Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Confronto tra tecnologie Vantaggi dei dispositivi video rispetto a quelli ottici: Flessibilità nelle strategie di composizione Largo campo visivo I ritardi dovuti alla visione reale e a quella virtuale possono essere eguagliati Migliori strategie di calibrazione Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata HMD Video See-Through Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata HMD Optical See-Through Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata HMD OST: Retinal Displays Nuova frontiera: retinal-displays Nascono all’Università di Washington nel 1993 Proiettano un fascio di luce direttamente sulla retina L’osservatore ha l’illusione di vedere l’immagine come se fosse a 50 cm da un display 14” Caratteristiche: Alta Risoluzione Luminosità Consumi Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Retinal Displays: video Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: esigenze I sistemi di AR devono, in generale: Essere eseguibili in tempo reale, in modo da consentire l’interattività all’utente Mostrare un’immagine realistica e coerente A tal fine sono necessari: Un adeguato frame rate nella generazione dell’immagine aumentata Una corretta calibrazione (registrazione) tra l’immagine reale e quella virtuale (AR co-locata) Il fotorealismo non guasta… Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR co-locata: problema della registrazione Si possono avere problemi nella calibrazione fra i due mondi a causa di: Rumore nelle misure Postura della camera rispetto alla scena reale Fluttuazioni dei valori Ritardi Errori di calcolo nell’allineamento Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Tracker: requisiti Il tracker ideale deve possedere i seguenti requisiti: Precisione Ripetibilità Alta frequenza di rilevazione Bassa latenza Leggerezza (sensori) Scarso ingombro (sensori) 6-DOF (laddove richiesto): 3 pos + 3 orientazione Robustezza Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Tracker: tipologie Esistono varie tecnologie usate per i tracker*: Meccanici Acustici Ottici Magnetici Inerziali Misti * vedi lezione su interazione Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Tecniche vision-based (VB) L’elaboratore interpreta il video ripreso dalla/e camera/e per localizzare la camera (l’utente) tramite markers e metodi algoritmici (pose estimation). Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata VB: Markers o landmarks Figure, tipicamente bidimensionali, ad alto contrasto con lo sfondo, facilmente “visibili” al calcolatore. Usate per localizzare sia la camera che oggetti mobili nella scena. Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata VB: Tecniche markerless Riconoscono: Proprietà della scena Oggetti notevoli che “fungono” da marker Movimenti (Gesture recognition) Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Pro e contro I metodi elettromeccanici sono i più affidabili e robusti, ma possono limitare i movimenti. L’uso dei sensori introduce robustezza ma la loro precisione e calibrazione non sono elevate quanto richiesto dall’occhio umano. I metodi vision-based sono molto precisi ma richiedono ambienti strutturati e controllati (luce, oggetti, occlusioni, movimenti rapidi). L’approccio misto (visione + sensori convenzionali) apporta migliori risultati sotto diversi punti di vista. Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Occlusione Uno dei problemi più delicati da gestire è l’occlusione fra oggetti reali e virtuali Se non gestita, gli oggetti digitali apparirebbero sempre in primo piano rispetto a quelli reali Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR Toolkit Libreria per la costruzione di applicazioni di AR Usa algoritmi di computer vision basati su marker: Tracking dei 6DOF di una singola telecamera Marker: pattern di quadrati neri Distribuzioni per SGI, Linux, MacOS e WinOS Distribuito con codice sorgente http://www.hitl.washington.edu/artoolkit/ Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR Toolkit: schema di funzionamento Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AMIRE Authoring tool per Mixed Reality Nasce da un progetto EU IST Ha prodotto: MR Gems, Components, Frameworks MR Authoring Metaphors dedicate a tipologie di applicazioni Costruito on top of AR toolkit http://webster.fh- hagenberg.at/amire/development.html Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Audio Augmented Reality Esempio: applicazione museale Le guide sonore in cuffia causano l’isolamento delle persone nei confronti dell’ambiente circostante Solitamente prevedono un percorso sequenziale predeterminato AAR prevede che le descrizioni delle opere partano quando ci si avvicina a loro L’accesso è dunque random Gruppi di persone vicine ascolteranno lo stesso contenuto Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Audio Augmented Reality Esempio: icone sonore AAR può fornire informazioni a utenti occupati in un task “visualmente impegnativo” Le informazioni vengono fornite come icone audio 3D, in modo da fornirne anche una localizzazione spaziale Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: applicazioni Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: mixed environments CLIP Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: information overlay Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata Wearable AR Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: post processing Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: intrattenimento Pubblicità (Princeton Electronic Billboards) Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: intrattenimento Inserimento di informazioni utili Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: intrattenimento Inserimento di informazioni utili Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: intrattenimento Attori virtuali Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: intrattenimento Giochi Pong CLIP Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: Riparazione e manutenzione Etichette Visualizzazione di procedure Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: Riparazione e manutenzione Manuali interattivi Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: PERCRO AR Assistant Architecture Mobile Camera Ar-Assistant Wearable System LAN Access Point Communication Server Ar-Assistant Control Station Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: PERCRO AR Assistant Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: PERCRO AR Assistant Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: Applicazioni militari Visualizzazione di mappe con dati aumentati Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: Applicazioni militari Coordinamento di missioni con teleguida Cockpit virtuale Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: Medicina Chirurgia guidata da immagini acquisite in fase preoperatoria Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: Medicina Biopsia assistita da immagini sintetizzate da dati ricavati ad ultrasuoni Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata AR: Medicina Parto assistito da immagini sintetizzate da dati ricavati ad ultrasuoni Realtà il futuro Realtà Virtuale: il presente, il passato, Realtà Realtà Aumentata