Lezione 2_3 - Scuola Superiore Sant`Anna

Ambiente
Ambienti Virtuali
Computer
Sensi
Utente
Simulazione
Interazione
Immersione
Presenza
1
Proprietà di un Ambiente Virtuale
Definizioni:
Presenza:
La sensazione mentale di essere in uno spazio virtuale (non necessariamente
sintetico – applicabile anche a libri e film). Dà una misura del COINVOLGIMENTO
dell’utente.
Immersività:
Il calarsi completamente nel mondo virtuale, a livello sensoriale, tramite
interfacce. Dà una misura della PERCEZIONE del mondo virtuale come esistente.
Interazione:
La possibilità dell’utente di modificare l’ambiente e, da parte dell’ambiente, di
rispondere alle azioni dell’utente. Dà una misura del REALISMO della simulazione.
Introduce requisiti stringenti sul tempo reale.
2
1
Presenza in Ambienti Virtuali
Un ambiente virtuale immersivo richiede una forte sensazione di presenza
dell’utente, al fine di renderne naturale l’interazione e di migliorarne la percezione
La sensazione di presenza è determinata da tre fattori:
Sensory Information
o Qualità delle informazioni sensoriali
• Modellazione
• Rendering
o Mobilità e controllo dei sensori
o Possibilità di modificare l’ambiente
Ability to Modify
Environment
Control of Sensors
3
Ambienti Virtuali immersivi
Negli AV immersivi tutte le
componenti (Presenza, Immersività
e Interazione) sono presenti, anche
se in quantità variabile.
Alcune caratteristiche comunemente
disponibili:
o Prospettiva legata ai movimenti della
testa
o Visione stereoscopica con head
tracking
o Ambiente virtuale realizzato con
proprietà e scala realistiche
o Interazione realistica con l’ambiente
tramite interfacce per
la manipolazione, operazione
controllo
o Eventuale ritorno auditivo, aptico, e
motorio
o Possibilità di condivisione
dell’ambiente
o Interattività, navigazione
o Rappresentazione ad avatar
4
2
Tipi di interazione:
Interazione
o Diretta: l’utente interagisce direttamente con l’ambiente virtuale
o Mediata: l’utente interagisce con l’AV mediante un avatar
• Prima persona (“Quake-like”)
• Terza persona (“Tomb Raider – like”)
L’interazione può essere “imposta” dall’hardware:
o CAVE: diretta
o HMD: mediata, prima persona
o Monitor: mediata, terza persona
Interazione diretta
3
Interazione indiretta
AV collaborativi
4
Interazione
Interazione
In un simulatore di sport,
8080
Alpha
dPhi
60
60
40
40
20
20 0
-20
0
-40
-20
-60
-40
-80
-100
-60 0
0
0.5
0.5
1
1
1.5
1.5
2
2.5
Time (s)
Time (s)
2
3
3.5
2.5
4
3
4.5
quale il canottaggio, è
possibile trasferire alla
persona le informazioni di
forza e di movimento
rispetto alla prestazione
atletica eseguita,
simulando in questo caso
l’interazione del remo con
l’acqua.
E’ possibile in questo caso
andare a modificare i
parametri della vogata del
singolo atleta e migliorare
la sua prestazione.
5
Presenza
Il senso di appartenenza di un
Presenza
Nel caso in cui i movimenti
della mano risultavano
asincroni a quelli pre-registrati
con il guanto, si osservava che
i soggetti puntavano alla
posizione reale dell’arto.
Nel caso i movimenti della
mano erano associati al
movimento della mano
virtuale, i soggetti puntavano
alla posizione dell’arto virtuale,
diverso dalla posizione
dell’arto reale (coperto alla
vista).
Differenza statisticamente
significativa (p<0.02).
Drift (cm)
arto virtuale aumenta
notevolmente l’esperienza di
presenza.
In un recente esperimento ai
soggetti veniva chiesto di indicare
la posizione del loro arto dopo
l’esperienza di osservazione di
una mano virtuale.
15
10
5
0
-5
Asynchronous
Synchronous
Condition
6
Sense of ownership and sense
of agency
Objectives of the study
o Examine the possible relations between the experience of
agency and the sense of ownership. Analytical assessment to
the proprioceptive perceived limb position drift.
o Analysis of sense of ownership using:
Non static hand: subjects are required to act in the
environment.
Sense of ownership: by studying the effect of multiple
sensory-motor correlations (synchronous or
asynchronous), in particular visual, proprioceptive (arm,
wrist, fingers), vibrotactile sensory stimulation.
Sense of agency: congruence between one’s intention
and the effect of the corresponding actions. In the active
condition the environment reacts to the tapping by the
subject.
Before and After the experiment the participant pointed the
position were he/she toughs his/her right hand was by
using the sensor in his left hand's index finger.
Video
15 Maggio 2010
7
Methods
A1
(synchronous)
A2
(asynchronous)
B1 (active)
G1
G1
B2 (passive)
G1
G1
Active vs Passive Touch:
o for the active touching the user is asked to tap on a yellow
block;
o for the passive user sees balls falling down and can feel the
contact between the ball and the hand.
Performance measuring:
o Proprioceptive Drift;
o Questionnaire on Likert scale.
Results
8
Action observation therapy
L’osservazione di tasks motori in azioni
quotidiane unita al concomitante training fisico,
può condurre ad un miglioramento significativo
della funzione motoria.
Ci sono evidenze infatti che le aree motorie sono
reclutate non solo quando l’azione viene eseguita,
ma anche quando viene semplicemente osservata
o mentalmente immaginata (Mirror neurons)
Motor imagery si è demostrato essere utile nella
action reabilitazione e training sportivo
Ertelt et al., Action observation has a positive impact on rehabilitation of
motor deficits after stroke, NeuroImage (2009)
15 Maggio 2010
Aree cerebrali maggiormente coinvolte
Come conseguenza
del trattamento
action-observation
therapy abbiamo
una maggiore
attivazione della:
o Ventral Premotor
Cortex (IFG)
o Supplementary motor
Areas (SMA)
o Supramarginal Gyrus
(SMG)
Questo puo indicare
una riattivazione di
una rete fisiologica
di aree motorie
15 Maggio 2010
9
Motor Imagery
One example is the distinction between relaxation, motion imagery and actual movement
employing scalp distributions of EEG power in different frequency bands.
Spectral power maps
in two bands (alpha and beta)
for three tasks
Effetto di un training in realtà virtuale
Ai pazienti viene fornito inoltre un feedback
aumentato al termine di ciascun esercizio in termini
di
o KR: knowledge of results, come errore, peso degli oggetti sollevati
o KP: Knowledge of performance: come qualità del movimento
Virtual Reality-Induced Cortical Reorganization and Associated Locomotor Recovery in Chronic Stroke: An Experimenter-Blind Randomized
Study Stroke (2005)
15 Maggio 2010
10
Esercizi effettuati
Sistema I-rex per l’identificazione del movimento
15 Maggio 2010
Studio su 10 pz. Affetti da
stroke
o A, T2-weighted diagnostic brain
MRI images. The arrow indicates
the lesion site.
o B, Before VR, all patients
showed the ipsilateral activations
(arrow) at primary SMCs.
o C, After VR, the ispilateral SMC
activity (arrow) disappeared
Virtual Reality-Induced Cortical Reorganization and
Associated Locomotor Recovery in Chronic Stroke: An
Experimenter-Blind Randomized Study
Stroke (2010)
15 Maggio 2010
11
Aumento dell’indice di lateralità
Laterality Index (LI) misurato nella corteccia
primaria SMC, associata al movimento del ginocchio
Virtual Reality-Induced Cortical
Reorganization and Associated
Locomotor Recovery in Chronic
Stroke: An Experimenter-Blind
Randomized Study
Stroke (2010)
15 Maggio 2010
A gaming system for rehabilitation
15 Maggio 2010
12
Effetti della terapia riabilitativa
Pazienti con stroke differiscono dai soggetti di
controllo per i livelli di attivazione corticali
motorio.
Prima della terapia, il pz presenta una ridotta
attivazione nelle corteccie sensomotorie
bilaterali, con una maggiore attivazione
ipsilaterale (M1)
Dopo la riabilitazione si ha un incremento dei
livelli di attivazione con uno shift verso le aree
controlaterale (ipsilesionale).
Evolution of fMRI Activation in the Perilesional Primary Motor Cortex and Cerebellum With
Rehabilitation Training-Related Motor Gains After Stroke: A Pilot Study, Neurorehab Neureal Repair
(2007)
15 Maggio 2010
Evolution of motor
cortical and cerebellar
activation patterns
during sequential finger
tapping with the paretic
left hand in one patient.
A progressive shift in M1
activation toward more
contralateral
(ipsilesional)
involvement was
observed across time
(blue circle, ipsilesional;
green circle,
contralesional). The
cerebellum was activated
predominantly
contralateral to the
paretic hand movements
for all 4 time points, but
a continuous increase of
ipsilateral cerebellar
activation across time
was observed (square).
15 Maggio 2010
13
Immersività
Negli AV immersivi tutte le componenti (Presenza, Immersività
e Interazione) sono presenti, anche se in quantità variabile.
Alcune caratteristiche comunemente disponibili:
- Prospettiva legata ai movimenti della testa
- Visione stereoscopica
- Ambiente virtuale realizzato con proprietà e scala realistiche
- Interazione realistica con l’ambiente tramite interfacce per
la manipolazione, operazione controllo
- Eventuale ritorno auditivo, aptico, e motorio
- Possibilità di condivisione dell’ambiente
Livelli di immersività
Completamente
immersivi
o Co-locati
Parzialmente immersivi
o Non-colocati
Realtà aumentata
o Strettamente
colocati.
1/24/2011
14
Case study:
un prototipo preliminare di simulatore per addestramento
■ Head-Mounted Display
stereoscopico, con
tracking della posizione
della testa.
■ Guanti con tracker
magnetici per la colocazione delle mani sul
modello virtuale
■ Ambiente virtuale
sincronizzato con
l’ambiente reale
Napoli, 7 Giugno
2008
Congresso Nazionale IRC
15 Maggio 2010
15
Flusso di dati in Ambienti Virtuali
AMBIENTE VIRTUALE
Informazioni
efferenti
INTERFACCIA
Informazioni
afferenti
UTENTE
Congresso Nazionale IRC
Napoli, 7 Giugno
2008
Flusso di dati in Ambienti Virtuali
VIRTUAL ENVIRONMENT
VISUAL
CHANNEL
ACOUSTICAL
CHANNEL
HAPTIC
CHANNEL
INERTIAL
CHANNEL
USER
16
Flusso di dati in Ambienti Virtuali
VIRTUAL ENVIRONMENT
VISUAL
CHANNEL
ACOUSTICAL
CHANNEL
HAPTIC
CHANNEL
INERTIAL
CHANNEL
USER
RV come tecnologia esperienziale
La realtà virtuale può essere considerata una interfaccia «esperienziale»,
in cui la componente percettiva (visiva, tattile, cinestetica) si fonde con
l’interattività:
Io conosco gli oggetti e/o le situazioni e imparo ad utilizzarli/controllarli
attraverso l’esperienza diretta e in tempo reale delle mie reazioni
(emozioni, pensieri, comportamenti) e delle loro in funzione delle mie
azioni.
34
17
RV come tecnologia cognitiva
Secondo l’ “Embodied Cognition” (Cognizione Incarnata/Corporea). il
corpo è il sistema di riferimento dei processi percettivi e cognitivi:
La seconda opportunità offerta dalla realtà virtuale immersiva è quella
di alterare in maniera diretta e rapida i processi cognitivi legati alla
corporeità.
Diversi studi hanno mostrato la capacità della realtà virtuale immersiva
di modificare in tempi rapidi il metabolismo cerebrale e la percezione
corporea all’interno di terapie differenti: disturbi alimentari, distrazione
dal dolore, disturbi sessuali maschili, ecc.
35
La realtà virtuale come
strumento di
distrazione dal dolore
acuto produce una
modificazione
significativa
nell’attività cerebrale.
Non si ha un effetto
simile utilizzando un
videogioco.
Scientific
American, April
2004
Pazienti soggetti ad
una medicazione per
gravi ustioni, durante
la medicazione
sperimentano un
sistema di realtà
virtuale
36
18
Esempio di bambino che durante la terapia fisica
sperimenta un sistema di realtà virtuale che gli
consente di lanciare delle palle di neve
15 Maggio 2010
Alcune statistiche
La malattia cerebrovascolare rappresenta
la terza causa di morte nei paesi
industrializzati e la prima causa di invalidità
permanente.
o In Italia circa 915.000 persone sono
state colpite da ictus.
o Circa il 30% di questi ha riportato
esiti invalidanti, tra i quali il più
frequente è la paralisi degli arti
superiori
Il progressivo invecchiamento della
popolazione e l’aumento dell’incidenza
della malattia cerebrovascolare comporta
un continuo aumento del numero di nuovi
casi per anno.
13 Novembre 2007
19
La più comune causa di
ischemia è una
trombosi.
Quando un arteria
viene ostruita dalla
presenza di un trombo.
13 Novembre 2007
Nuove tecnologie robotiche e di realtà virtuale
per la riabilitazione: Target
Si ha quindi un incremento
notevole dei costi ospedalieri
Questi costi rappresentano
tuttavia solo il 20% del costo
totale relativo alla gestione del
paziente con ictus comprendente
anche i costi indiretti derivanti
dalla perdita di produttività della
famiglia e del paziente.
A. Carolei, C. Marini, M. Baldassarre. Proiezioni statistiche e previsioni dei costi dell'ictus
Clinica Neurologica, Università degli Studi di L'Aquila, L'Aquila
13 Novembre 2007
20
Un interesse crescente
PubMED contiene:
o
o
MEDLINE – copre oltre 4800 riviste pubblicate negli Stati Uniti ed in piu di 70 paesi dal
1966 ad oggi
OLDMEDLINE – per le citazioni pre-1966
Un’analisi condotta sul numero di pubblicazioni scientifiche nell’area di
R
e
h
a
R
b
o
i
b
l
o
i
t
t
i
a
c
t
s
i
6
o
.
n
5
2
2
0
1
5
.
8
1
4
R
e
h
R
a
o
b
b
i
o
l
ti
it
ca
st
3
i
.o
6
n
8
4
6
5
.
7
6
9
Rehabilitation and Robotics rivela un netto trend in crescita
Totale
Rehab and Robotics in PubMED
273
Ultimi 5 anni
156
13 Novembre 2007
V
R
ie
rh
ta
u
b
a
i
l
i
R
t
e
a
a
t
li
io
tn
y2
2
0
.5
7
.
9
8
8
1
4
V
R
i
e
r
h
t
a
u
b
a
i
l
l
i
R
t
e
a
a
t
l
i
i
o
t
n
y
4
1
5
.
.
6
7
1
6
6
9
Un interesse crescente
Rehab and Virtual Reality in PubMED
Totale
221
Ultimi 5 anni
137
13 Novembre 2007
21
Motor and sensorial impairments are
consequences of several diseases:
Stroke
Sclerosis
Traumatic lesion of both central and peripheral nervous
system (e.g. Paraplegia, Quadriplegia)
Neurorehabilitation aim is the recovery
of the lost capabilities
13 Novembre 2007
The impairment of upper limb function is one of the
most common and challenging sequelae following
stroke, that limits the patient’s autonomy in daily
living and may lead to permanent disability. The
deficits are characterized:
Weakness of specific muscles
Abnormal muscle tone
Abnormal postural adjustment
Abnormal movement synergies
Incorrect timing of components within a movement
pattern
13 Novembre 2007
22
Neuroplasticity refers to the
changes that occur in the
organization of the brain, and in
particular changes that occur to
the location of specific
information processing functions,
as a result of the effect of
experience during development
and as mature animals.
A common and surprising
consequence of brain plasticity is
that the location of a given
function can "move" from one
location to another in the brain
due to repeated learning or brain
trauma.
13 Novembre 2007
La plasticità del SNC
La plasticità del SNC
viene definita dalla
sua capacità di
modificarsi.
Anche in epoca postnatale, il SNC può
modificarsi:
o ma i neuroni non
sono più liberi di
migrare, di
moltiplicarsi o di
ricostituire
connessioni a lunga
distanza
o Si possono modificare
le connessioni
sinaptiche in relazione
alle afferenze
23
Sviluppo motorio ed interazione ambientale
Sino alla fine degli anni ’70: modello
maturazionista
Il rapporto tra struttura nervosa e
funzione viene considerato come una
via a senso unico:
o Solamente il cambiamento della struttura nervosa
può comportare un cambiamento della funzione.
Struttura
nervosa
Funzione
Sviluppo motorio ed interazione ambientale
Negli anni ’80 assistiamo invece ad un
arrichimento di pensiero.
Ruolo delle afferenze ambientali:
o Le afferenze ambientali possono modificare sia lo
sviluppo di funzioni sia l’organizzazione
strutturale del sistema nervoso
o Importanze delle afferenze sensoriali nel
processo riabilitativo
Struttura
nervosa
Funzione
24
Gerarchia funzionale
IDEA (qual è il mio goal?)
Area cortic motorie
PIANO DI AZIONE (Come
posso raggiungerlo?)
PROGRAMMA (Quali
muscoli devo contrarre?
Quanto?)
ESECUZIONE (Comandi
motori)
Tronco encefalico
Midollo spinale
Muscoli
MOVIMENTO
25
Lesione e danno di funzione
Programmazione
dell’azione
Esecuzione
dell’azione
• Lesione a livello SNC
• Lesione a livello di
apparato locomotore
Approccio sistemico alla
riabilitazione neurofisiologica
26
Possibiltà offerte dalla realtà virtuale
Vantaggi della terapia assist. da robot(1)
Una maggiore efficacia della terapia che trae vantaggio da
un’aumentata frequenza delle sedute.
Estensione delle sedute di riabilitazione, con possibilità di
eseguire parte del ciclo di riabilitazione in ambiente
domestico e monitoraggio continuo da parte del
fisioterapista.
Riduzione del costo della terapia stessa, grazie
all’ottimizzazione del tempo del fisioterapista che può
seguire, anche a distanza, più pazienti
contemporaneamente.
Un alleggerimento degli oneri in termini di tempo, impegno
e risorse economiche delle famiglie dei pazienti.
Incentivo motivazionale per il paziente, derivante dalla
possibilità di disegnare esercizi riabilitativi vari, significati e
stimolanti con maggiore coinvolgimento per il paziente.
13 Novembre 2007
27
Vantaggi della terapia assist. da robot(2)
Possibilità di adattare la terapia alle necessità ed alle
capacità del singolo individuo. Mantenendo nel contempo
un’ elevata standardizzazione del protocollo sperimentale.
Possibilità di condurre di esercizi riabilitativi in condizioni
di sospensione attiva di carico, con riduzione completa o
parziale del peso degli arti del paziente.
Valutazione quantitativa sul corretto svolgimento
dell’esercizio e dei progressi del paziente.
Biofeedback: possibilità di mostrare al paziente il rilievo in
tempo reale di alcuni parametri fisiologici a supporto dello
terapia riabilitativa seguita.
13 Novembre 2007
Considerazioni aggiuntive
I fattori che più comunemente influenzano la mancata esecuzione
del movimento sono:
o Incremento del tono muscolare
o Mancanza di coordinamento, caratterizzata da mancanza di un controllo di forza
direzionale o “sinergie anomale”
o Debolezza agonista
o Spasticità o contrazione anormale: apparentemente sembra giocare un ruolo
minore
Va tenuto presente, che negli schemi di terapia attiva assistita, si
può incoraggiare la formazione di dissinergie del movimento, dal
momento che eventuali sinergie muscolari anomale vengono
bilanciate dall’effetto di guida del robot
Per prevenire la formazione di possibili dissinergie del movimento,
gli schemi di terapia assistita devono implementare dei controlli di
impedenza con cedevolezza diversa lungo la direzione di
movimento e quelle normali, di modo da fornire al paziente un
feedback nel momento in cui insorgano eventuali dissinergie
motorie
13 Novembre 2007
28
Il sistema robotico di riabilitazione può inserito
all’interno di un ambiente di realtà virtuale.
“Virtual Reality (VR) provides a unique
medium suited to the achievement of
several requirements for effective
rehabilitation. Specifically, therapy can be
provided within a functional, purposeful
and motivating context. Many VR
applications present opportunities for
individuals to participate in experience,
which are engaging and rewarding.”
H. Sveistrup, Motor rehabilitation using Virtual Reality, Journal of NeuroEngineering and Rehabilitation, 1 (10), 2004.
13 Novembre 2007
Aspetti peculiari
Il paziente è immerso in un
ambiente in cui le leggi che
governano il comportamento
degli oggetti rappresentati
possono essere definite in
maniera coerente o meno con la
realtà e regolate per soddisfare
le sue necessità.
Terapia occupazione in ambienti
virtuali
o lo schema principale di
riabilitazione mediante RV prevede
che al paziente venga chiesto di
compiere compiti specifici
nell’ambiente virtuale (per
esempio, spostare oggetti, seguire
percorsi predefiniti etc.).
13 Novembre 2007
29
This brings further advantages:
■
Patient’s increased motivation: the possibility to design a broad variety of
significant and stimulating rehabilitation exercises increases the patient’s
motivation and involvement
■
Biofeedback: possibility to show to the patient in real-time how good he is
doing with an increase of the patient involvement
■
Augmented attention and concentration in task execution
13 Novembre 2007
Schema di utilizzo della terapia assistita da robots
13 Novembre 2007
30
Le scale cliniche per la valutazione sensorimotoria
Scala Fugl Meyer
Scala di Ashworth
15 Maggio 2010
La scala di Ashworth
La scala Modified Ashworth Scale (MSE) è
considerate la misurazione clinica primaria della
spasticità muscolare nei pazienti con problemi
neurologici. Tuttavia, alcune pubblicazioni
questionano sulla sua capacità di misurare la
spasticità e criticano la Modified Ashworth Scale
come scala di valutazione per misurare le
anomalie nel tono muscolare o la resistenza ai
movimenti passivi, poiché non vi è clinicamente
metodo diretto per misurare la spasticità.
15 Maggio 2010
31
La scala di Ashworth
La scala Modified Ashworth Scale (MSE) è considerate
la misurazione clinica primaria della spasticità
muscolare nei pazienti con problemi neurologici.
Tuttavia, alcune pubblicazioni questionano sulla sua
capacità di misurare la spasticità e criticano la
Modified Ashworth Scale come scala di valutazione per
misurare le anomalie nel tono muscolare o la
resistenza ai movimenti passivi, poiché non vi è
clinicamente metodo diretto per misurare la
spasticità.
Anche se non esistono linee guida standardizzate per
l'uso, la Modified Ashworth Scale può essere applicata
ai muscoli di entrambe le estremità del corpo, inferiori
o superiori. Il valutatore deve estendere l'arto del
cliente da una posizione di massima flessione alla
massima estensione fino ad incontrare la prima
leggera resistenza.
15 Maggio 2010
La scala Fugl_Meyer
La Fugl-Meyer Assessment (FMA) è una scala di valutazione
della compromissione basata sulle performance dei pazienti
post-ictus. È stata progettata per valutare il funzionamento
motorio, l'equilibrio, la percezione e il funzionamento dei giunti
nei pazienti emiparetici. Si applica in campo clinico e nella
ricerca per determinare la gravità della malattia, descrivere il
recupero motorio e pianificare e valutare il trattamento.
La scala è composta da cinque domini e ci sono 155 punti in
totale:
o funzionamento motorio (nella estremità superiori e inferiori);
o funzionamento sensoriale (valuta il tocco leggero su due superfici del braccio e
della gamba, e la percezione della posizione per 8 articolazioni);
o bilanciamento (contiene 7 prove, 3 seduti e 4 in piedi);
o mobilizzazione dei range articolari (8 articolazioni);
o dolori articolari.
Se ridotta alla valutazione del solo arto superiore sono 66 punti
15 Maggio 2010
32
La scala di Ashworth
Score
0
1
Ashworth Scale (Ashworth, 1964)
Nessun aumento nel tono
Leggero aumento del tono mentre l'arto è
spostato in flessione o estensione
1+
2
3
4
N/A
Più marcato aumento nei toni, ma arto flesso
facilmente
Notevole aumento di tono e movimento passivo
difficile
Arto rigido in flessione o estensione
Modified Ashworth Scale (Bohannon & Smith,
1987)
Nessun aumento nel tono
Leggero aumento del tono muscolare, manifestato con la presa o il
rilascio o da una resistenza minima alla fine dell’escursione nel
movimento, quando la parte interessata è flessa o estesa
Leggero aumento del tono muscolare, si manifesta con una presa, seguito
da una resistenza minima per meno della metà dell’escursione nel
movimento
Più marcato aumento del tono muscolare attraverso la maggior parte
dell’escursione nel movimento, ma si possono facilmente spostare le
parti interessate
Notevole aumento del tono muscolare, il movimento passivo risulta
difficile
La parte interessata risulta rigida in flessione o in estensione
15 Maggio 2010
Revisione della letteratura clinica
Una ricerca condotto su 11 studi clinici
con terapia assistita di robot, mostra che
in tutti i casi gli strumenti di riabilitazione
robotica comportano un incremento dei
parametri di valutazione dell’abilità
motoria del paziente, scala di Fugl-Meyer
o La scala Fugl-Meyer fu sviluppata come un
o
primo metodo quantitativo per la valutazione
del recupero funzionale senso-motorio
Gli incrementi riscontrati sebbene
statisticamente significativi, non
rappresentano ancora una differenza
significativa dal punto di vista clinico, visto
che si parla di incrementi dell’ordine di 6 punti
percentuale
La compensazione di gravità induce una
migliore prestazione motoria a livello
dell’arto superiore
Prange, G.B., et al., Systematic review of the effect of robotaided therapy on recovery of the hemiparetic arm after stroke.
J Rehabil Res Dev, 2006. 43(2): p. 171-84.
Confidence Interval = 95%
Non si riscontrano differenze invece nel
miglioramento delle abilità funzionali tra il
gruppo sottoposta a terapia assistita da
robot ed il gruppo di controllo, mentre si
nota un miglioramento nello short-term
motor impairment, qulali attivazione
muscolare e selettività di movimento.
13 Novembre 2007
33
Schema di utilizzo di robots
Il reaching è spesso selezionato come task di riferimento: è
infatti un task fondamentale per molte attività quotidiane
o Tipicamente si svolge lungo traiettorie rettilinee
o Sono noti i profili di velocità nell’esecuzione del movimento (minimum
jerk trajectory)
Schema di terapia attivamente assistita da robot
o Il paziente riceve un feedback del movimento del braccio mediante una
sua rappresentazione nell’ambiente virtuale
o Il paziente inizia il movimento quando gli viene comunicato da un
segnale sonoro
o Il compito è di inseguire con il movimento attivo del braccio una sfera
gialla che si muove con velocità preassegnata verso una sfera target
fissa di colore verde
o Qualora il paziente non è in grado di mantenere l’inseguimento
dell’oggetto target, subentra il robot che applica attivamente delle forze
nella direzione della traiettoria
13 Novembre 2007
Alcuni prodotti commerciali
Haptic Master – FCS robotics
KineAssist Walking & Balance Exercise
System – CHICAGO PT
Lokomat – Hocoma AG
13 Novembre 2007
34
Revisione della letteratura clinica
Una ricerca condotto su 11 studi clinici
con terapia assistita di robot, mostra che
in tutti i casi gli strumenti di riabilitazione
robotica comportano un incremento dei
parametri di valutazione dell’abilità
motoria del paziente, scala di Fugl-Meyer
o La scala Fugl-Meyer fu sviluppata come un
o
primo metodo quantitativo per la valutazione
del recupero funzionale senso-motorio
Gli incrementi riscontrati sebbene
statisticamente significativi, non
rappresentano ancora una differenza
significativa dal punto di vista clinico, visto
che si parla di incrementi dell’ordine di 6 punti
percentuale
La compensazione di gravità induce una
migliore prestazione motoria a livello
dell’arto superiore
Prange, G.B., et al., Systematic review of the effect of robotaided therapy on recovery of the hemiparetic arm after stroke.
J Rehabil Res Dev, 2006. 43(2): p. 171-84.
Confidence Interval = 95%
Non si riscontrano differenze invece nel
miglioramento delle abilità funzionali tra il
gruppo sottoposta a terapia assistita da
robot ed il gruppo di controllo, mentre si
nota un miglioramento nello short-term
motor impairment, qulali attivazione
muscolare e selettività di movimento.
19 Novembre 2008
MIT-MANUS
Sviluppato presso il Newman Laboratory for Biomechanics and Human
Rehabilitation
■ Sistema robotico a 2 gradi di
libertà che consente movimenti piani
della spalla, del gomito e del polso
■Il dispositivo può compensare il
peso del braccio del paziente sul
piano dove viene svolto il
movimento.
■ Bassa inerzia e comportamento
prevalentemente isotropico
(1±0.3Kg)
■ Basso attrito e comportamento
pressochè isotropico (0.84±0.28N)
Principali limiti del sistema
Restrizione a movimenti nel piano frontale: questo esclude dalla
terapia un ampio numero di movimento. Il dispositivo non può
essere utilizzato per la riabitazione funzionale
Rotazione angolare tra lo schermo della visualizzazione ed il
piano del movimento
19 Novembre 2008
35
The Mit-Manus is now marketed by Interactive Motion Technologies
InMotion2 Shoulder-Elbow Robot
InMotion3 Wrist Robot
13 Novembre 2007
MIT-MANUS
Intervento in fase acuta
Variation of indexes in the acute phase
Motor Status Score
Motor Status
Shoulder and
Score Wrist and
Elbow
fingers
Group
Fugl-Meyer
Robotic therapy
(40 pts)
9,25±1,36
8,15±0,79
4,16±1,16
Control (36 pts)
7,1±1,20
3,42±0,62
2,74±0,78
Krebs, H.I., et al., Increasing productivity and quality of care: Robot-aided neurorehabilitation. Journal of Rehabilitation Research and Development, 2000. 37(6): p. 639–
652.
19 Novembre 2008
36
MIT-MANUS
Intervento in fase cronica
Evaluation
Start
End
Variation
Ashworth Modified
12,76±5,23
12,08±5,70
-0,68±2,59
Fugl-Meyer
27,52±10,36
30,88±11,88
3,36±3,97
Motor Status Score
Shoulder/Elbow
22,67±6,50
24,05±6,83
1,38±2,01
Motor Status Score
Wrist/Hand
13,89±10,10
14,14±10,42
0,25±2,34
S.E. Fasoli,H.I.Krebs, J.Stein, W.R. Frontera,R.Hughes, N.Hogan. Robotic Therapy for Chronic Motor
Impairments After Stroke: Follow-Up Results. Arch Phys Med Rehabil Vol 85, July 2004
19 Novembre 2008
Apprendimento di modelli di forza
Implicit learning
2-D curl field
Chronic stroke
13 Novembre 2007
37
Mirror Image Movement Enabler
(MIME)
Piattaforma basata su Puma
560
Intervento esegutio
4 modi operativi previsti:
assistenza attiva, passiva,
attivamente vincolato,
bimanuale
19 Novembre 2008
Mirror Image Movement Enabler (MIME)
Gruppo
FM prox
1 month
FM - prox
2 months
FM - prox
6m Followup
FM dist – 1
month
FM dist
2 months
FM dist
6m Followup
Robotic
therapy
2,2±0,8
3,3±0,7
3,6±1,0
1,2±0,4
1,4±0,5
1,3±0,4
Control
0,5±0,2
1,6±0,3
2,8±0,8
1,1±0,4
1,5±0,5
2±0,6
Robot-Assisted Movement Training Compared With Conventional Therapy Techniques for the Rehabilitation of
Upper-Limb Motor Function After Stroke. P.S. Lum, C.G. Burgar et al. Arch Phys Med Rehabil Vol 83, July 2002
19 Novembre 2008
38
ARM Guide
4 DOF, 1 actuated
Chronic stroke
Active-assistance
13 Novembre 2007
ARM Guide
4 DOF, ma 1 solo attuato
Intervento in pazienti cronici
Schema di assistenza attiva
19 Novembre 2008
39
ARM Guide
■ La macchina esercita un’azione che si opone al
movimento se la direzione del movimento non è
corretta. Se la direzione è corretta la macchina
fornisce un aiuto per il completamento del
movimento.
Gruppo
Terapia robotica (10
pazienti)
Controllo
pazienti)
Variazione
Tempo dall'evento
ChedokeMcMaster
all'ammissio
ne
75,8±45,5 mesi
3,5±0,9
0,2±0,4
103,1±48,8
3,2±1,0
03±0,5
(9
L.E.Kahn, M.L.Zygman1, W.Z.Rymer, D.J.Reinkensmeyer. Robot-assisted reaching exercise promotes arm
movement recovery in chronic hemiparetic stroke: a randomized controlled pilot study.
Journal of NeuroEngineering and Rehabilitation 2006, 3:12
19 Novembre 2008
There are proofs in literature that gravity
compensation leads to a recovery of motor
abilities.
o Rekensmeyer et al. (2006) The first study
demonstrated that individuals with chronic stroke
whose arm function is compromised in a normal
gravity environment can perform reaching and
drawing movements with gravity compensation. It
has been demonstrated that exercising the affected
arm over an eight week period improved unassisted
movement ability
o Envelope abilities during various levels of limb
support in the left, paretic limb (a) of a single
subject, inverted for comparison to the non-paretic
limb shown in (b). Axes units are in meters, and an
individual’s outline is provided in the non-paretic
(right) side for reference (“Shoulder abductioninduced reductions in reaching work area following
hemiparetic stroke: neuroscientific implications” Exp
Brain Research (2007) Sukal, Ellis et al.
40
WREX , T-WREX ed Armeo
Subject
Time from
stroke
Fugl-Meyer
At start
Change
1
3 yr.
11
+5
2
6 yr.
19
+5
3
9 yr.
27
+3
4
4 yr.
20
+8
5
11 yr.
32
+4
Sistema passivo (elementi
elastici)
Forza anti-gravità
4 GDL
R. J. Sanchez, D. J. Reinkensmeyer et al. Automating Arm Movement Training Following Severe Stroke:
Functional Exercises With Quantitative Feedback in a Gravity-Reduced Environment. IEEE
TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 14, NO. 3,
SEPTEMBER 2006
19 Novembre 2008
19 Novembre 2008
41
Swedish Helparm
Type of the system: passive
Goal: provide functional assistance and allows muscle
training
Typical patient problems: shoulder muscle impairment or
paresis, cervical spine injuries, shoulder nerve injuries,
hemiplegia, multiple sclerosis or certain forms of
rheumatoid arthritis and patient at home
Type of motion: 3D hand motion, limited range
Technical description:
• counterweights connected to the patient's arms by
ropes and pulleys to support the patient's arm;
• left and right arm supports are independent;
• the amount of support can be changed in discrete
steps.
GENTLE/S
HapticMaster
(force control)
Chronic stroke
Active-assist
3-D
13 Novembre 2007
42
Haptic master (GENTLE/s project)
Type of the system: interactive 3 DOF
Goal: rehabilitation of stroke patients
Type of motion: 3D arm motion,limited range
Technical description:
• robot designed as a haptic display;
• to the aim of training arm movements the wrist of the patient is
attached to the end-effector of the robot;
• undetermined spatial position for the elbow;
• two ropes of a weight-lifting system support the arm against
gravity;
• extension of the robot could be a robotic wrist joint that provides
one additional active and two passive DOFs;
• force and position sensors are implemented inside the robot;
• interactive support for patient movements is enabled
byadmittance control strategies.modes, including position and
impedance control strategies.
Technical overview of arm robots (5/11)
Hesse arm trainer
Type of the system: interactive one DOF
Goal: improve muscle strength and movement co-ordination
Type of motion: 1-DOF hand motion
Technical description:
• patient has the elbow joints flexed at about 90°;
• each hand grasps a handle and can be moved in 1 DOF;
• two handle sets are available, one with a horizontal axis for
forearm pronation/supination and one with a vertical axis for
wrist flexion/extension movements;
• device position is dependent on the selected movement;
• a display shows the number of cycles performed;
• force and position sensors to enable different control modes,
including position and impedance control strategies.
43
Technical overview of arm robots (8/11)
ARMin
Type of the system: interactive four DOFs
Goal: treatment of stroke and SCI patients
Type of motion: 3D shoulder motion in 4 DOFs
Technical description:
• 4 active DoFs for the arm motion (3 DoFs for
shoulder motion, 1 DoFs for elbow motion);
• The robot consist in exoskeleton structure;
• The robot is fixed to the wall, the patient sitting
beneath with the arm in an orthosis shell
connected to the structure;
• Several multiple axis force sensors and four
position sensors allow impedance control;
• The robot is back-drivable.
Technical overview of arm robots (11/11)
Mirror image movement enhancer (MIME)
Type of the system: interactive six DOFs
Goal: treatment of hemiparetic patients
Type of motion: 3D arm motion in 6 DOFs
Technical description:
• PUMA robot applied force to patient’s forearm, by
an handle connected to e.e. of robot;
• 6 axis sensor and position sensors are presented on
the robot, and permit to perform different control
modes;
• In bimanual mode, the affected arm performs a
mirror movement of movement of intact arm;
• A digitiser measures the movement of intact
forearm;
• Clinical results on 27 subjects.
44
Upper limb rehabilitation: uniqueness of the approach
L-Exos system
Bimanual rehabilitation system
• Spatial 3D system (not moving only in
the plane): possibility of
performing antigravitational
movements
• Rehabilitation of patients in
unimanual tasks
• Complete control of posture and arm
kinematics
• Antigravitational movement
• Activation of bimanual motor schemes
• Involvement of different neural
pathways
• Crosslateral motor pathways
• Ipsilateral bimanual neural pathways
What therapy can be
done?
Belfast, October 21, 2009
What assessment can be
done?
SKILLS General Meeting
La struttura del sistema L-Exos
Il sistema L-Exos, robot
esoscheletrico per l'arto superiore,
sviluppato presso il lab. PERCRO
dellaScuola Superiore Sant'Anna, è
stato utilizzato da nove pazienti
con emiplegia dx post-stroke (tre
sessioni di terapia per sei
settimane).
Frisoli A., Salsedo, F. Bergamasco M., Carboncini MC, Rossi,
B. "A force-feedback exoskeleton for upper limb
rehabilitation
Virtual
Applied
Bionics “ACT
and 3D exercise targets gravity-induced discoordination and improves reaching
M.D. Ellis, T.in
Sukal,
T. Reality",
DeMott, and
J. Dewald,
Biomechanics
2009
6(2)
work area
in individuals
with stroke”, Rehabilitation Robotics, 2007. ICORR 2007. IEEE 10th International Conference 2007
45
Che tipo di
intervento?
L’intervento può essere
condotto tenendo conto di
tre aspetti
o Tasks, esercizio terapeutico
o Modalità di controllo del robot
o Stato del paziente
SEVERE
MEDIUM
LOW
REACHING
POS CONTROL
HYBRID CONTROL
BIMANUAL
CATCHING
WIPING
ETC
Belfast, October 21, 2009
SKILLS General Meeting
STRATEGIA DI CONTROLLO
DEL ROBOT
15 Maggio 2010
46
Assistance as needed
Impedance based
assistance
Tipologia di assistenza
Triggered assistance
• Il robot utilizza un
controllore di tipo
proporzionale
• Riabilitazione
cammino
• Riabiltiaizona arto
superiore
• Il paziente si muove
lungo una traiettoria
desiderata
• Il robot interviene
quando il paziente devia
dalla traiettoria
programmata
• In questa variante
l’assistenza da parte del
robot viene iniziata solo
quando viene superata
una cerca soglia da
parte del paziente: ad
esempio tempo, forza
generata dal
partecipante, errore di
tracking spaziale o il
segnale EMG
Bilanciamento
antigravitazionale
• In questo caso viene
passivamente fornito un
supporto
antigravitazionale al
movimento dell’arto
• Questo si vede
determinare un
allurgamento dello
spazio raggiungibile
dall’avambraccio, in
virtu della riduzione
della co-contrazione del
bicipite associata
all’abduzione della
spalla
13 Novembre 2007
Tipologia di assistenza
EMG based
assistance
• In questo caso
l’elettromiografia
di superficie
viene utilizzata
per fornire una
guida e
l’assistenza al
robot
nell’esecuzione
dell’esercizio
Performance based
adaptation
• I parametri del
robot vengono
adattivamente
cambiati per un
tuning dei
parametri sulla
base delle
capacità motorie
ed effettive del
paziente
• Vedi Lokomat
Bilateral schemes
• In questo caso la
traiettoria
ottimale
desiderata viene
calcolata sulla
base del
movimento
compiuto dal
paziente con
l’arto non
paretico.
13 Novembre 2007
47
Ricerca
Strategie resistive
• Basata su principi
della PNG
(Neurofacilitazione
propriocettiva),
viene applicata
una forza costante
che si oppone al
movimento
durante la sua
esecuzione.
Constrain induced
therapies
Error-amplification
strategies
• In questo caso
avviene una
inibizione di uso
dell’arto non
paretico, forzando
il soggetto
all’utilizzo dell’arto
emiplegico
• In questo caso
avviene
un’amplificazione,
ad esempio visiva,
del movimento
eseguito
13 Novembre 2007
SCELTA E PROGETTAZIONE
DELL’ESERCIZIO
TERAPEUTICO
15 Maggio 2010
48
Esperienza
Significativa
Guidata
• Conoscenza diretta, prodotto di
un’attività volontaria
• Capace di destare nel soggetto
attenzione, interesse,
partecipazione emotiva, impegno
cognitivo
• Condotta secondo regole predefinite
suggerite dal terapista
Esercizio terapeutico come Esperienza
Significativa Guidata:
Esperienza: conoscenza diretta, prodotto di un’attività volontaria
Significativa: capace di destare nel soggetto attenzione, interesse,
partecipazione emotiva, impegno cognitivo
Guidata: Condotta secondo regole predefinite suggerite dal terapista
Sulla costruzione del movimento
Un uomo può compiere, supponiamo, un movimento
circolare con la mano in una serie di situazioni
straordinariamente dissimili. Ad esempio:
A) Durante un "vibrato" al pianoforte, molto rapido, vale a dire nel corso della ripetizione della stessa nota
od ottava con una frequenza di 6-8 volte il secondo, non di rado i punti della mano e dell'avambraccio si
muovono, nei virtuosi più eminenti, lungo piccoli cerchietti (od ovali).
B) Si può descrivere un cerchio in aria con la mano come esecuzione di un esercizio ginnico o di un
movimento coreografico.
C) Un uomo può tracciare con una matita il contorno di un cerchio già disegnato o stampato sulla carta
(C1) o, invece, ricopiare un cerchio (C2) che vede davanti a sé.
D) Può compiere un movimento circolare con la mano, facendo un punto con l’ago oppure sciogliendo un
nodo.
E) Egli può, dimostrando un teorema geometrico, tracciare sulla lavagna un cerchio, che rappresenta una
parte integrante del disegno che lui usa per la dimostrazione.
49
Livelli di costruzione
A) Durante un "vibrato" al pianoforte, molto rapido, vale a dire nel corso della
ripetizione della stessa nota od ottava con una frequenza di 6-8 volte il secondo,
non di rado i punti della mano e dell'avambraccio si muovono, nei virtuosi più
eminenti, lungo piccoli cerchietti (od ovali).
• I cerchietti secondo il tipo dell'esempio A si ottengono involontariamente, nella forma di un riflesso
propriocettivo non cosciente.
B) Si può descrivere un cerchio in aria con la mano come esecuzione di un
esercizio ginnico o di un movimento coreografico.
• Il cerchio ginnico o di danza (B) è fatto così a giro principalmente nel segno della correzione
propriocettiva, però non più elementare riflessa, ma in notevole parte cosciente, e manifesta già il
predominio non delle componenti muscolari di forza, ma articolari spaziali, dell’afferenza propriocettiva.
C) Un uomo può tracciare con una matita il contorno di un cerchio già disegnato o
stampato sulla carta (C1) o, invece, ricopiare un cerchio (C2) che vede davanti a
sé.
• Il cerchio disegnato sopra una traccia (C1) oppure ricopiato (C2) si compie con il controllo dominante
della vista: nel primo caso più diretto e primitivo, nel secondo effettuato dal sistema afferente sintetico,
molto complesso, "del campo visivo-spaziale".
Livelli di costruzione
D) Può compiere un movimento circolare con la mano, facendo un
punto con l’ago oppure sciogliendo un nodo.
• Nel caso D il sistema afferente di guida è l’idea dell'oggetto, l'appercezione
dell'oggetto, la comprensione della sua forma e significato, che dà come risultato
l’azione o la successione di azioni, dirette ad una conveniente manipolazione di
quest'oggetto.
E) Egli può, dimostrando un teorema geometrico, tracciare sulla
lavagna un cerchio, che rappresenta una parte integrante del
disegno che lui usa per la dimostrazione.
• Infine, nel caso E, per il cerchio, disegnato dal docente di matematica sulla lavagna,
il momento di direzione è rappresentato non tanto dalla riproduzione della forma
geometrica del cerchio (come sarebbe se si trovasse alla cattedra il docente di
disegno e non quello di matematica), ma dalla rappresentazione semiconvenzionale
dei rapporti della circonferenza disegnata con gli altri elementi del disegno
matematico. L'alterazione della forma corretta del cerchio non viola il proponimento
del docente di matematica e non suscita nei suoi movimenti alcun impulso
correttivo, che, al contrario, nascerebbe immediatamente in questa stessa
situazione nel docente di disegno.
50
LA VALUTAZIONE
15 Maggio 2010
Valutazione
3 scale di valutazione clinica:
1. Scala Fugl Meyer
2. Scala Asher
3. Range of Motion
Valutazione
mediante
robot
Due compiti robotassistiti:
1. Movimento di
raggiungimento
2. Movimento
vincolato
Un esercizio :
1. Compito di
raggiungimen
to
Valutazione clinica PRE
Valutazione clinica POST
Valutazione kinesiologica PRE
Valutazione kinesiologica POST
Valutazione automatica mediante ROBOT
51
Gli acceleratori
I FATTORI DETERMINANTI IL
RIAPPRENDIMENTO
15 Maggio 2010
Apprendimento motorio
Effetto dell’aiuto
del robot
sull’acquisizione di
uno skill motorio
15 Maggio 2010
52
Retention of ability
15 Maggio 2010
On-line\off-line performance scoring
Description: the user is informed about the performance of
the task, the task as a functional value as in occupational
therapy.
Performance scoring is useful to guide learning
o Sensor feedback modality: visual, proprioceptive
o Error, force (grasping, directional), some snapshots of feedback (sensorimotor
feedback/bio-feedback), or either score related to the game or the task
(motivational)
o Increase of force is an important point in the recovery of stroke.
Motivation:
o The role of the coach in sports training
o a patient the value of the maximal grasping force will allow to "know" its
progress during recovery
o In task based training, VR can provide high motivation to the patient
•Swinnen,
Proof of working either by experiments or by literature
S.P. (1996). Information feedback for motor skill learning: A review. In Advances in Motor Learning and Control, edited by
H.N. Zelaznik. Champaign, IL: Human Kinetics.
•Schmidt, R. A. and Lee, T. D. (2003). Motor control and learning: A behavioral emphasis. Human Kinetics, Champaign, IL, 3rd edition.
•Magill, R. A. (1989) Motor Learning Concepts and Application. 2nd ed. Dubuque, Iowa Brown Group.
•Todorov, E., Shadmehr, R., & Bizzi, E. (1997). Augmented feedback presented in a virtual environment accelerates learning of a
difficult motor task. Journal of Motor Behavior, 29, 147-158.
53
Feedback to the performer is used to guide learning.
The most useful is "knowledge of results" (KR) that is,
the augmented extrinsic information about task
success provided to the performer.
This information serves as a basis for error correction
on the next trial and thus can be used to achieve more
effective performance as practice continues. Because
of the importance of feedback, the effects of a number
of KR variations, such as the frequency, delay, and
precision with which error information is delivered,
can accelerate learning (if well chosen, otherwise
negative transfer).
----> also the effect of making visible what a patient
cannot easily feel : for example giving a patient the
value of the maximal grasping force will allow to
"know" its progress during recovery
Belfast, October 21,
2009
SKILLS General Meeting
KP and KR
Two types of feedback are knowledge of results
(KR) and knowledge of performance (KP).
Knowledge of results is information about the
outcome of a task, whereas knowledge of
performance is information about the execution
of the movement that produces the outcome
(Boyce, 1991; Hebert & Landin, 1994).
For example, after a golf swing KR would be
telling the golfer where the ball landed without
any other information, whereas KP would be
providing the golfer with information about the
swing, such as hip, shoulder, knee, or head
movements.
15 Maggio 2010
54
Belfast, October 21,
2009
SKILLS General Meeting
Grasping Sensors
Through the pressure sensors mounted on the handle, the grasping force of the
patient is recorded and used during the clinical sessions.
Pisa, March 16, 2010
SKILLS General Meeting
55
13 Novembre 2007
13 Novembre 2007
56
Feedback della performance ottenuta nei 5 giochi
Performance Based Progressive Therapy
Belfast, October 21,
2009
SKILLS General Meeting
57
Virtual Fixtures (uni-manual)
Description
o Training interjoint coordination
o Training execution of single joint movements
o Active vs passive movement
Motivation: force constraints associated to given cues
o Active guidance
o Constraints at the level of joint or end effector
o Force behavior associated to objects (simulated sensorymotor
contingencies)
Proof of working/Literature
o There is a wide literature providing evidences and indications for
different control strategies in robot aided trainng
System overview
The basic
movements of the
human arm are
controlled for all
time, attenuating
undesired excessive
motions of each
human arm
movement, i.e.,
abduction/adduction
,
flexion/extension,int
ernal/external
rotation and
All rehabilitation tasks are defined into the spatial space, nevertheless,
we have
handled this problem by using the local control at the human pronation/
arm joints.
supination
This leads to obtain a arm—constrained therapy. It constraints
at a
predefined level the maximum motion of each joint with the help of the
weighted inverse kinematics depending on the patient impairment degree.
Belfast, October 21, 2009
SKILLS General Meeting
58
Improvement of the technological platform
Three Axial Force Sensor.
-Maximum Load: 100 N.
-Resolution 0.0500 Volts/N.
-Three axial sensing.
-Nonlinearity 3%.
-Made in PERCRO.
Belfast, October 21,
2009
SKILLS General Meeting
The overall control scheme
Belfast, October 21, 2009
SKILLS General Meeting
59
Control mode developed within our system
1. Impedance Based Assistance. This mode lets the robot to take
the control of the upper limbs transferring their position and
perhaps their orientation; the patient—limbs are passive.
2. Performance based adaptation of task parameters
o Triggered Gain Position Mode. In this mode, the patient starts applying a force for
o
triggering the motion; the exerted force by the patient modules the motion, adjusting the
gains of the position controller which tracks the imposed trajectory in the task.
3. Composed Force/position Control Mode. The patient is constrained by a defined task
in terms of kinaesthetic forces and positions onto his/her workspace; It induces active
resistance to patient improving in this manner the patient coordination effort.
3. Direct Force Mode + Counterbalancing assistance. The patients
can freely move their arm into a defined space wherein just the
exerted force is controlled.
4. Open Loop assistance + Counterbalancing assistance. This
option lets to patient interacting with the virtual environment
trough several video—game—like applications; the patients use
their actual skills for playing but exerting forces and positions of
their limbs according the game responses.
Bilbao, December 16th,2009
SKILLS Third Review Meeting
Il task di reaching (mov. ballistico)
Traiettoria di Jerk Minimo
Traiettoria di rate of Torque minimo
60
13 Novembre 2007
Inverse Kinematics
•Closed—Form
d1
y0 α
q2
q1
O0
z0
x0
0
q3
•Adduction/abduction
movements
need to be “freeze” at the beginning
of the experiment, this fact results in a
stringent action to the patient…
•The last point can lead to compute
an ill-posed solution, even though the
adduction/abduction is freely to move
•Iterative-Form
d3
q4
q1
rc =
Pc = ( xc , y c , z c )T
q5
d5
Three—Axial
Force Sensor
O5
x5
Pc = ( xc , y c , z c )T
z5
Belfast, October 21, 2009
xc + y c + z c
•The pseudo-inverse and weighted
pseudo-inverse can be computed as
long as the states can be adapted for
getting the null space
J (q )† = W −1 J (q)T ( J (q )W −1 J (q)T )
W: diagonal matrix
of weights
−1
∆qd
=
J (q)† ∆X d ,
qi +1
= qi + ∆qd
SKILLS General Meeting
61
Iterative Solution
0.2
0.2 0
0
Angular Displacement [rad]
Angular Displacament [rad]
-0.2
w =100
1
-0.2
-0.4
-0.4
-0.6
w =50
-0.6
-0.8
w =1
w11=100
w1=50
1
w1=1
-0.8
-1
-1
-1.2
-1.2
-1.4
q
-1.4
q
1
-1.6
-1.6 40
50
55
50
60
65
60 70
q
2
75
70
TimeTime[s]
[s]
q1d
3
80
q
q2d
qd
4
85 80
q3d
qd
1
q4d
2
90
90
95
qd
qd
3
100
4
100
o 1st trial: the weight corresponding to abduction/adduction was set 1, as
well as the other weights.
o Next, into second trial, the weight of the first joint was set to 50,
o final trial the value of it was 100.
Belfast, October 21, 2009
SKILLS General Meeting
Constraint
Planes
Desired
Trajecto
ry
c
o
Possibility of selecting a different control strategy among the 3
direction of spaces:
•Longitudinal direction
•Transversal directions
Belfast, October 21, 2009
SKILLS General Meeting
62
David J. Reinkensmeyer1 and James L. Patton2
“Can Robots Help the Learning of
Skilled Actions?”
Focus on the restoration of functional
movement: motor synergies
In fact hemiparetic patients can exhibit abnormal
joint coupling between shoulder and elbow joints
(Brunnstrom 1970). Recovery of movements from
stroke in the upper extremity begins with the
development of a flexor synergy (shoulder
abducation-elbow flexion) followed by an extensor
synergy (shoulder adduction- elbow extension)
pattern (Cuccurullo 2004), while isolated joint
movements remain still compromised.
In fact, only in the later stages of recovery from
stroke, the reduction of the spasticity makes the
patient able to make movements out of synergy and
single joint movements. This deficit in single-joint
control may result into a disruption of movement in
terms of the required interjoint coordination (Levin,
1996 #44).
Di Pietro, Krebs et al, (2009) Changing Motor Synergies in Chronic Stroke, J Neurophysiology
63
Cortical overlap of joint representations contributes
to the loss of independent joint control following
stroke
Recent scientific evidences
shown that there are
significant increases in the
overlap of shoulder and
elbow joint
representations at the
cortical level in stroke
subjects as compared to
control subjects, measured
by means of measured
electroencephalographic
(EEG) and torque signals
during the generation of
static shoulder/elbow
torques.
Yao, Chen (2009), Neuroimage
Outward time in free movement after
robotic training
Results from
our experiment
of improvement
in reaching
movement
execution?
Controlateral
Central
Outward time comparison
Ipsi lateral
10
8
6
4
2
Are synergies
involved in this?
0
-2
-4
0
1
2
3
4
5
6
64
Active video motion capture
Charnwood Dynamics coda
13 Novembre 2007
13 Novembre 2007
65
Upper limb drinking motion
Marker
Marker name
1
C3
2
C7
3
T12
4
Acromian
5
UArm wandP
6
UArm wandD
7
Lateral epicondyle
8
LArm wandP
9
LArm wandD
10
Radial styloid
11
Ulna styloid
12
3mcp
13
5mcp
13 Novembre 2007
Mean range = 91.8 º
Mean range = 59.5 º
20
20
0
0
1
2
3
4
-20
-40
-60
-80
0
Angular displacement (º)
Angular displacement (º)
Elbow Flexion
/ Extension
0
1
2
3
4
-20
-40
-60
-80
-100
-100
Time (s)
Time (s)
Stroke
Non-stroke
100
60
40
20
0
-20 0
1
2
3
-40
x
y
z
80
4
Displacement (mm)
60
-60
40
20
0
-20 0
1
2
3
4
-40
-60
-80
-80
-100
-100
Time (s)
13 Novembre 2007
100
x
y
z
80
Displacement (mm)
Trunk (T12)
Deviation
Non-stroke
Time (s)
Stroke
66
CODA – angle angle plot
Cup to mouth
130
Upward
phase
Shoulder angle (º)
Shoulder angle (º)
135
130
Downward
phase
125
Upward
phase
125
Downward
phase
120
120
20
40
60
80
100
120
Elbow angle (º)
Non-Stroke
140
160
20
40
60
80
100
120
Elbow angle (º)
Stroke
13 Novembre 2007
RIABILITAZIONE ROBOT-ASSISTITA
NELL’ADULTO
67
Esercizi proposti
Compito di raggiungimento
Compito movimento vincolato
Compito di manipolazione
A Montagner, A Frisoli, Procopio C., B Rossi, et al. , A pilot clinical
study on robotic assisted rehabilitation in VR with an arm
exoskeleton device, Virtual Rehabilitation 2007, Venezia
Frisoli A., Procopio C. , Rossi B. et al. “Arm rehabilitation with a
robotic exoskeleleton in Virtual Reality”, Proc. of IEEE ICORR 2007,
Intern. Conf. on Rehabilitation Robotics
Pazienti selezionati
Anno
Ictus
Sede della lesione
FM(66)
Ashworth
Pt
Sesso
Eta
1
M
72
2003
Hemorrhagic
temporo-parietal, cortical-subcortical left side
36
39
2
M
79
2005
Hemorrhagic
posterior portion of the left lateral ventrical roof
with an extension corresponding to the
semioval center
52
22
3
M
37
2004
Hemorrhagic
nucleo-capsule-radiata left side
12
21
4
F
42
1988
Hemorrhagic
midbrain-thalamus left lesion
56
10
5
M
58
2006
Hemorrhagic
intra-parenchymal lenticular-capsular left
collection
57
9
6
M
69
2004
Ischemic
extensive lesion in the left parietal side
12
24
7
M
58
2002
Hemorrhagic
temporo-parietal left side
43
15
8
M
68
2004
Ischemic
parieto-occipital, cortical-subcortical left side
37
17
9
M
70
2005
Hemorrhagic
temporo-parietal left side
17
15
MODERATO
GRAVE
LIEVE
68
Acquisizione e analisi dei dati
Le registrazioni cinematiche ed
elettromiografiche sono state
ottenute quando il soggetto ha
eseguito tre diversi task di
reaching: è stato utilizzato il
sistema integrato Elite-BTS a 8
canali per gli EMG e 6 canali
dedicati alle telecamere per l’analisi
cinematica dei movimenti.
Il task motorio è stato ripetuto 18
volte a differenti velocità e per
raggiungere 3 differenti posizioni
target: si è chiesto al paziente, per
ogni posizione, di ripetere il
movimento3 volte a velocità
normale e 3 volte a velocità
massima.
Ipsilateral and central free movement
Before training
After training
Healthy Volunteer
69
Contralateral space exploration
Before training
After training
Healthy Volunteer
In the ipsilateral and central reaching executions the outward movement results in a
out-of-synergy movement consisting of a combination of elbow extension and
shoulder abduction. While before training the movement is particularly segmented
into the two phases of elbow extension and shoulder abduction, after the training
both a reduction of the shoulder abduction associated to an increase of elbow
extension and an improvement of the overall inter-joint coordination is present, with
a decrease of segmentation and much more similar performance to the healthy
subject’s one
Esercizio in modalità antigravitazionale
con grave danno di funzione
Significativa riduzione del tempo di esecuzione della traiettoria
Recupero fluidità del movimento
Miglioramento del tempo di esecuzione del cerchio
PRE
POST
70
lieve
moderato
Andamento temporale durante le sessioni per i due parametri
In ascisse i giorni/sedute di trattamento
Profilo di velocità del gomito
In un soggetto sano è possibile
Joint velocity in reaching
considerare il profilo della velocità di
apertura dell’angolo della spalla o del
gomito; i due picchi corrispondono ai
movimenti di andata e ritorno nel
movimento di reaching, come riportato
in figura.
Levin, M.F., Interjoint coordination during
pointing movements is disrupted in spastic
hemiparesis. Brain, 1996. 119(1): p. 281.
In modo analogo è possibile definire un
parametro chiamato T-angle, dal grafico
ottenuto da velocità di apertura
dell’angolo sull’angolo stesso, per ogni
articolazione. In un paziente sano con
una buona coordinazione articolare tale
parametro dovrebbe essere simile ad un
cerchio.
Cirstea, Levin et al., Interjoint coordination
dynamics during reaching in stroke, Exp
Brain Res (2003), 151:298-300
T-angles
Angular
velocity
Angular
displacement
71
Acquisizione e analisi dei dati
Le registrazioni cinematiche ed
elettromiografiche sono state
ottenute quando il soggetto ha
eseguito tre diversi task di
reaching: è stato utilizzato il
sistema integrato Elite-BTS a 8
canali per gli EMG e 6 canali
dedicati alle telecamere per l’analisi
cinematica dei movimenti.
Il task motorio è stato ripetuto 18
volte a differenti velocità e per
raggiungere 3 differenti posizioni
target: si è chiesto al paziente, per
ogni posizione, di ripetere il
movimento3 volte a velocità
normale e 3 volte a velocità
massima.
Caratteristiche del movimento (elevata
severità)
FM<2
0
Elbow angle at normal velocity before rehabilitation
Elbow angle at normal velocity after rehabilitation
10
20
88
Joint velocity
in reaching
90
0
Velocity (°/s)
Angle (°)
Angle (°)
0
Velocity (°/s)
5
86
84
-5
82
-10
0
1
2
3
4
t (sec)
5
6
7
8
0
0.5
1
Elbow angle at normal velocity before rehabilitation
-20
3
2.5
100
outward
inward
80
outward
inward
80
60
60
40
velocità (°/s)
velocity (°/s)
2
Elbow angle at normal velocity after rehabilitation
100
T-angles
1.5
t (sec)
20
0
40
20
0
-20
-20
-40
-40
-60
50
55
60
65
70
75
angle (°)
80
85
90
95
100
-60
50
55
60
65
70
75
angle (°)
80
85
90
95
100
72
Caratteristiche del movimento (media
severità)
20<FM<50
Elbow angle at normal velocity after rehabilitation
Elbow angle at normal velocity before rehabilitation
50
50
100
0
0
100
0
2
4
6
8
10
12
0
-50
14
1
2
3
t (sec)
4
t (sec)
5
6
Velocity (°/s)
Angle (°)
Velocity (°/s)
Angle (°)
Joint velocity
in reaching
-50
8
7
Elbow angle at normal velocity after rehabilitation
Elbow angle at normal velocity before rehabilitation
120
120
T-angles
outward
inward
100
outward
inward
100
80
80
60
60
40
velocità (°/s)
velocity (°/s)
40
20
0
20
0
-20
-20
-40
-40
-60
-60
-80
-80
-100
70
-100
70
80
90
100
110
angle (°)
120
130
140
80
90
100
150
110
angle (°)
120
130
140
150
Caratteristiche del movimento (bassa
severità)
50<FM<66
Elbow angle at normal velocity before rehabilitation
Elbow angle at normal velocity after rehabilitation
200
150
Joint velocity
in reaching
110
100
100
90
0
Velocity (°/s)
Angle (°)
0
Velocity (°/s)
Angle (°)
50
100
-50
80
-100
70
0
0.5
1
1.5
2
t (sec)
2.5
3
0
-200
4
3.5
0.5
1
1.5
2
2.5
-150
3.5
3
t (sec)
Elbow angle at normal velocity before rehabilitation
T-angles
Elbow angle at normal velocity after rehabilitation
outward
inward
100
outward
inward
100
50
velocità (°/s)
velocity (°/s)
50
0
-50
-100
50
0
-50
-100
60
70
80
90
angle (°)
100
110
120
130
50
60
70
80
90
angle (°)
100
110
120
130
73
Risultati clinici
Si è riscontrato un
miglioramento significativo
per :
o Scala Fugl-Meyer
o Scala Asher
o Range di movimento articolari: attivi
e passivi
Paziente
Pre-trattamento
Post-trattamento
1
36
41
Differenza
5
2
52
58
6
3
12
20
8
4
56
57
1
5
57
60
3
6
12
13
1
7
43
46
3
8
37
44
7
9
17
18
1
A. Frisoli, C. Procopio, B. Rossi, et al. Robot-Mediated Arm Rehabilitation in Virtual
Environments for Chronic Stroke Patients: A Clinical Study , Proceedings of IEEE
International Conference on Robotics & Automation ICRA 2008.
Meccanismo a feedback
Desired output
+
Comparator
Controller
Output
Feedback
Sensory
system
74
Controllo a feedback ideale
1
0.9
0.8
Posizione mano
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0
2
4
6
8
10
tempo (sec)
12
14
16
18
Effetto dei ritardi biologici
Errore rilevato
Ritardo di conduzione dal recettore al SNC
Ritardo di conduzione muscolo-cervello
Ritardo muscolo per
La generazione di forza
La correzione ha inizio qui
75
Effetto dei ritardi
200
150
Posizione mano
100
50
0
-50
-100
-150
-200
0
0.1
0.2
0.3
0.4
0.5
0.6
tempo (sec)
0.7
0.8
0.9
1
Effetto dirompente di un ritardo di soli 50 msec
Anticipazione dei comandi motori
Il ritardo nei sistemi sensoriali limita il loro uso ai
movimenti lienti
La stima dei movimenti veloci viene effettuata
attraverso dei sistemi predittori in avanti
Esistenza di repertorio motorio con funzioni
motorie pre-programmate (es. Movimento
ballistico)
76
Il task di reaching (mov. ballistico)
Traiettoria di Jerk Minimo
Traiettoria di rate of Torque minimo
Meccanismi a
compensazione anticipatoria
Learning
+
Desired output
Feedforward
controller
Stored
program
Generator
Output
77
Internal feedback-efferent copy
Desired
output
Feedforward
controller
Comparator
for internal
and external
feedback
Generator
Output
Internal feedback
External feedback
Feedforward and feedback loops
Brain
Feedforward
input
Feedback
(efferent copy)
Feedback
Spinal cord
Output
78