Corso di SISTEMI INTERATTIVI

Accademia Belle Arti di Catania
Corso di
SISTEMI INTERATTIVI
Anno Accademico 2010-2011
Dott. Giuseppe Claudio Guarnera
lez 4, discussione ed esempi
1
Mostra ST@RT – Scienza, Tecnologia, ARTe
• La visita ad una mostra didattica a tema scientifico è una
occasione per avvicinare i ragazzi ad un mondo
complesso ma affascinante.
• Oggi tale esperienza può realizzare, facendo uso delle
possibilità offerte dalla Informatica multimediale, l’ideale
didattico “imparo-facendo”, o “imparo-giocando”.
• Giovani e giovanissimi fa trovano naturale accostarsi ad
uno schermo ed una tastiera e decifrare la semantica dei
pulsanti, icone eccetera che viene loro offerta per
“scoprire” il gioco che viene loro offerto.
• Partendo da tali considerazioni si è tentato di proporre
percorsi di gioco che portino a “scoprire” alcuni
importanti concetti scientifici nell’ambito del sapere
biologico.
2
• Il percorso proposto si compone di giochi (o exhibit)
interattivi di stile, obiettivo, tecnica e ambiente
differente.
• Ciascun gioco si prefigge di educare divertendo,
includendo alcune caratteristiche fondamentali per
un gioco didattico: una struttura in grado di stimolare
il giocatore, realizzata tipicamente ponendo chiari
obiettivi da raggiungere gratificando con adeguata
grafica e sonoro i successi o stimolando
simpaticamente altri approcci se si fallisce il
conseguimento dell’obiettivo.
• Realizzato con ironia, in un linguaggio “cartoon”,
con abbondante uso di colori elementari: elementi
che cercano di parlare al giovanissimo nel suo
linguaggio.
3
• Oltre alle attività più semplici, realizzate nello stile
descritto, vi sono state una serie di esperienze più
complesse ed attinenti alla realtà virtuale
• I dispostivi per l’interazione impiegati sono di vario
tipo:
– tuta per il motion capture
– Markers ottici passivi
– Guanti per realtà virtuale
– Occhialini 3D
Daremo uno sguardo alle modalità di interazione
offerte e ne analizzeremo pro e contro
4
Il teatro virtuale dei pupi siciliani
L’“Opra dei Pupi Siciliani”, una
storia legata da sempre alla
tradizione popolare della nostra
terra.
Obiettivi: creazione di un
software di animazione realtime di personaggi 3D realizzati
in cartoon style e animati
mediante la combinazione di
due sistemi di motion capture:
• mocap meccanico.
•
mocap
marcatori.
ottico
senza
5
Bozzetti dei modelli
6
Sistemi Interattivi – A.A. 2010/2011 - lez 4, discussione ed esempi
7
Virtual glove
Motion Capture mediante sistemi meccanici:
 Dati in Real Time
subito utilizzabili.
 Nessun problema
di occlusioni.
 Maggiore libertà
di movimento per
l’utente.
8
9
Schema dell’interazione
Libreria
API
OpenCV
Acquisizione
Dati
Webcam
Elaborazione
Libreria
API
5DT
Acquisizione
Dati
Glove
deviceinput_MS
Elaborazione
deviceinput_5dt
Applicazione
Skeleton
10
11
Piattaforma multimediale
12
E’ possibile selezionare 8 espressioni facciali standard
(neutrale, arrabbiato, sorpreso, triste, spaventato,
allegro, disgustato, attento), modificarle o crearne delle
nuove
13
Il messaggio di benvenuto
14
Scelta contenuti
15
• Il comportamento dell’applicazione è guidato dagli
eventi e dalla tempistica dell’interazione con l’utente
• Il sistema è in grado di gestire le pause ed i tempi di
inattività, dalla cui durata dipende la selezione di
opportuni messaggi audiovisivi di intrattenimento
16
17
18
19
Illusioni ottiche – Interfaccia utente
Illusioni ottiche – Interfaccia utente
Illusioni ottiche – Interfaccia utente
Illusioni ottiche – Interfaccia utente
• L’interfaccia è essenziale, poiché non deve distrarre
dall’osservazione degli esperimenti e deve inoltre
risultare di immediata comprensione. Altro obiettivo
molto importante è l’adattabilità ad una vasta gamma di
tipologie di esperimento, in modo da consentire un
aggiornamento del sistema in tempi rapidi, considerata
l’obsolescenza e la necessità di inserimento di novità:
• I tasti non sono sempre attivi, il quanto il loro stato di
attivazione dipende dal passo di esecuzione
dell’esperimento corrente, definibile attraverso le funzioni
messe a disposizione degli sviluppatori. I tasti non attivi
sono riconoscibili poiché il colore con cui sono
visualizzati è il grigio, mentre un tasto attivo può avere
uno dei colori puri Red, Green o Blue a seconda della
tipologia di interazione che consente.
24
1) Tasto di “ripetizione”, di colore Green quando attivo, indicato da una icona
triangolare con la punta rivolta a destra. Consente di ripetere l’attuale il
passo corrente dell’esperimento, nel caso l’utente non ne abbia chiaro
qualche aspetto.
2) Tasto di “avanzamento”, di colore Green quando attivo, indicato da una
icona triangolare con la punta rivolta a sinistra. Consente di avanzare al
passo successivo, eventualmente saltando il passo corrente qualora non sia
ritenuto interessante.
3) Tasto di “interazione”, di colore Red quando attivo, indicato da una icona
circolare. Consente di interagire con la parte attiva dell’oggetto, ad esempio
attivando/disattivando zone visibili, animazioni, ecc.
4) Tasto di “ripetizione integrale dell’esperimento”, di colore Blue quando attivo,
indicato dalla tipica icona di “rewind”. Consente di ripetere l’esperimento dal
primo passo.
5) Tasto “ascolta/ferma la spiegazione”, di colore Blue quando attivo, consente
di ascoltare o fermare la spiegazione dell’esperimento. L’icona utilizzata
viene modificata a seconda dell’effetto che avrà la pressione del tasto: se
consentirà di ascoltare l’audio allora l’icona sarà un triangolo con la punta
rivolta verso l’alto, se lo metterà in pausa l’icona saranno due barre verticali
affiancate, simili alla classica icona di “pause”.6) Tasto “esci”: di colore Blue
quando attivo, indicato da una icona a forma di “X”. Consente di uscire
dall’esperimento, ritornando alla schermata di selezione degli esperimenti.
Comporta l’ingresso nello stato Contents
Specchio magico
26
Il motion capture oggi
27
28
Posizionamento telecamere
Sistemi Interattivi – A.A. 2010/2011 - lez 4, discussione ed esempi
29
Marker attivi e passivi
30