MICHELANGELO Room: un sistema

MICHELANGELO Room:
un sistema tecnologico integrato di
osservazione per supportare il clinico
nel trattamento dell’autismo
Federico Cruciani – I+ s.r.l. (Firenze)
24 MARZO 2015
Sistemi Pervasivi nell’e-health
Settings(*)
%
Ambulatory
6%
Home/Mobile
57%
Emergency
10%
Clinical
36%
Care
7%
Component Types(*)
%
Mobile device
51%
Wearables
42%
Implanted
3%
Stationary
51%
Il Progetto Michelangelo
Il Progetto Michelangelo:
•
Sessioni di terapia in clinica
•
Sessioni di gioco in casa
•
Follow-up periodico del progresso
Monitoraggio sessioni di terapia:

EEG - Electroencephalograph

ECG – Electrocardiograph

Video Observational platform
The Michelangelo Project is co-funded from the European Union's Seventh
Framework Programme (FP7/2007-2013) under grant agreement n° #288241
Michelangelo Room
Due Installazioni per il
progetto Michelangelo:
• Fondazione Stella Maris
• Pitié-Salpetrière (Parigi)
Michelangelo Room
Sessioni di terapia:
• One-to-one
Michelangelo Room
Una sala di controllo per:
• Registrazione e Controllo
durante le sessioni di
terapia
• Annotazione dei video
registrati in post-terapia
Michelangelo Room
Tablet utilizzati nelle sessioni
di Gioco
Michelangelo Room
Telecamere ambientali
utilizzate per registrare le
sessioni di terapia.
Osservazione Video
Telecamere Ambientali:
• Registrazione sessione
• Analisi dei movimenti dei
soggetti e degli oggetti
coinvolti nell’interazione
Telecamere Indossabili:
• Interazione Child/Therapist
Michelangelo Data Sources
Wearable sensor platform:

EEG

ECG
Other sources:

Serious Game Child/Therapist

Video Observational Platform

Robot/Child interaction assessment
Head-Mounted Camera
- Sistema (EEG/camera) per l’osservazione e
identificazione di stimoli significativi.
Integrazione di dati eterogenei
Integrazione di sorgenti multiple di dati. Formati dati eterogenei.
Obiettivo -> integrazione: sincronizzazione e
rappresentazione dei dati.
EEG
ECG
GAME
ROBOT
VIDEO
Raw Data
Integration of Multi source data
I dati prodotti dai sensori vengono processati da appositi
componenti Software per estrarre informazione utili a
contestualizzare la sessione di terapia.
Come ad es. lo stato fisiologico del bambino attraverso i
parametri misurati.
EEG
ECG
GAME
ROBOT
VIDEO
Raw Data
Software
Processing
Integration of Multi source data
Il risultato dell’analisi dei dati fornisce dati utili ed interpretabili
come dati di contesto.
EEG
ECG
GAME
Raw Data
Software
Processing
Features
(es. Frequenza Cardiaca)
ROBOT
Raw Data
VIDEO
Integration of Multi source data
Sui dati di contesto vengono estratte informazioni di più
alto livello.
Es. Tachicardia
Queste informazioni possono essere riportate in tempo reale
al terapeuta.
Events
EEG
ECG
GAME
(es. Tachicardia )
Raw Data
Software
Processing
Features
(es. Frequenza Cardiaca)
ROBOT
Raw Data
VIDEO
Real-Time interface
98
Griglia di annotazione
Interfaccia di annotazione
Visualization
EEG/ECG Data Export
Automatic Annotation
Tracking Data
Tracking Data 2
Interfaccia clinica