Lezione 2_3 - Scuola Superiore Sant`Anna
Transcript
Lezione 2_3 - Scuola Superiore Sant`Anna
Ambiente Ambienti Virtuali Computer Sensi Utente Simulazione Interazione Immersione Presenza 1 Proprietà di un Ambiente Virtuale Definizioni: Presenza: La sensazione mentale di essere in uno spazio virtuale (non necessariamente sintetico – applicabile anche a libri e film). Dà una misura del COINVOLGIMENTO dell’utente. Immersività: Il calarsi completamente nel mondo virtuale, a livello sensoriale, tramite interfacce. Dà una misura della PERCEZIONE del mondo virtuale come esistente. Interazione: La possibilità dell’utente di modificare l’ambiente e, da parte dell’ambiente, di rispondere alle azioni dell’utente. Dà una misura del REALISMO della simulazione. Introduce requisiti stringenti sul tempo reale. 2 1 Presenza in Ambienti Virtuali Un ambiente virtuale immersivo richiede una forte sensazione di presenza dell’utente, al fine di renderne naturale l’interazione e di migliorarne la percezione La sensazione di presenza è determinata da tre fattori: Sensory Information o Qualità delle informazioni sensoriali • Modellazione • Rendering o Mobilità e controllo dei sensori o Possibilità di modificare l’ambiente Ability to Modify Environment Control of Sensors 3 Ambienti Virtuali immersivi Negli AV immersivi tutte le componenti (Presenza, Immersività e Interazione) sono presenti, anche se in quantità variabile. Alcune caratteristiche comunemente disponibili: o Prospettiva legata ai movimenti della testa o Visione stereoscopica con head tracking o Ambiente virtuale realizzato con proprietà e scala realistiche o Interazione realistica con l’ambiente tramite interfacce per la manipolazione, operazione controllo o Eventuale ritorno auditivo, aptico, e motorio o Possibilità di condivisione dell’ambiente o Interattività, navigazione o Rappresentazione ad avatar 4 2 Tipi di interazione: Interazione o Diretta: l’utente interagisce direttamente con l’ambiente virtuale o Mediata: l’utente interagisce con l’AV mediante un avatar • Prima persona (“Quake-like”) • Terza persona (“Tomb Raider – like”) L’interazione può essere “imposta” dall’hardware: o CAVE: diretta o HMD: mediata, prima persona o Monitor: mediata, terza persona Interazione diretta 3 Interazione indiretta AV collaborativi 4 Interazione Interazione In un simulatore di sport, 8080 Alpha dPhi 60 60 40 40 20 20 0 -20 0 -40 -20 -60 -40 -80 -100 -60 0 0 0.5 0.5 1 1 1.5 1.5 2 2.5 Time (s) Time (s) 2 3 3.5 2.5 4 3 4.5 quale il canottaggio, è possibile trasferire alla persona le informazioni di forza e di movimento rispetto alla prestazione atletica eseguita, simulando in questo caso l’interazione del remo con l’acqua. E’ possibile in questo caso andare a modificare i parametri della vogata del singolo atleta e migliorare la sua prestazione. 5 Presenza Il senso di appartenenza di un Presenza Nel caso in cui i movimenti della mano risultavano asincroni a quelli pre-registrati con il guanto, si osservava che i soggetti puntavano alla posizione reale dell’arto. Nel caso i movimenti della mano erano associati al movimento della mano virtuale, i soggetti puntavano alla posizione dell’arto virtuale, diverso dalla posizione dell’arto reale (coperto alla vista). Differenza statisticamente significativa (p<0.02). Drift (cm) arto virtuale aumenta notevolmente l’esperienza di presenza. In un recente esperimento ai soggetti veniva chiesto di indicare la posizione del loro arto dopo l’esperienza di osservazione di una mano virtuale. 15 10 5 0 -5 Asynchronous Synchronous Condition 6 Sense of ownership and sense of agency Objectives of the study o Examine the possible relations between the experience of agency and the sense of ownership. Analytical assessment to the proprioceptive perceived limb position drift. o Analysis of sense of ownership using: Non static hand: subjects are required to act in the environment. Sense of ownership: by studying the effect of multiple sensory-motor correlations (synchronous or asynchronous), in particular visual, proprioceptive (arm, wrist, fingers), vibrotactile sensory stimulation. Sense of agency: congruence between one’s intention and the effect of the corresponding actions. In the active condition the environment reacts to the tapping by the subject. Before and After the experiment the participant pointed the position were he/she toughs his/her right hand was by using the sensor in his left hand's index finger. Video 15 Maggio 2010 7 Methods A1 (synchronous) A2 (asynchronous) B1 (active) G1 G1 B2 (passive) G1 G1 Active vs Passive Touch: o for the active touching the user is asked to tap on a yellow block; o for the passive user sees balls falling down and can feel the contact between the ball and the hand. Performance measuring: o Proprioceptive Drift; o Questionnaire on Likert scale. Results 8 Action observation therapy L’osservazione di tasks motori in azioni quotidiane unita al concomitante training fisico, può condurre ad un miglioramento significativo della funzione motoria. Ci sono evidenze infatti che le aree motorie sono reclutate non solo quando l’azione viene eseguita, ma anche quando viene semplicemente osservata o mentalmente immaginata (Mirror neurons) Motor imagery si è demostrato essere utile nella action reabilitazione e training sportivo Ertelt et al., Action observation has a positive impact on rehabilitation of motor deficits after stroke, NeuroImage (2009) 15 Maggio 2010 Aree cerebrali maggiormente coinvolte Come conseguenza del trattamento action-observation therapy abbiamo una maggiore attivazione della: o Ventral Premotor Cortex (IFG) o Supplementary motor Areas (SMA) o Supramarginal Gyrus (SMG) Questo puo indicare una riattivazione di una rete fisiologica di aree motorie 15 Maggio 2010 9 Motor Imagery One example is the distinction between relaxation, motion imagery and actual movement employing scalp distributions of EEG power in different frequency bands. Spectral power maps in two bands (alpha and beta) for three tasks Effetto di un training in realtà virtuale Ai pazienti viene fornito inoltre un feedback aumentato al termine di ciascun esercizio in termini di o KR: knowledge of results, come errore, peso degli oggetti sollevati o KP: Knowledge of performance: come qualità del movimento Virtual Reality-Induced Cortical Reorganization and Associated Locomotor Recovery in Chronic Stroke: An Experimenter-Blind Randomized Study Stroke (2005) 15 Maggio 2010 10 Esercizi effettuati Sistema I-rex per l’identificazione del movimento 15 Maggio 2010 Studio su 10 pz. Affetti da stroke o A, T2-weighted diagnostic brain MRI images. The arrow indicates the lesion site. o B, Before VR, all patients showed the ipsilateral activations (arrow) at primary SMCs. o C, After VR, the ispilateral SMC activity (arrow) disappeared Virtual Reality-Induced Cortical Reorganization and Associated Locomotor Recovery in Chronic Stroke: An Experimenter-Blind Randomized Study Stroke (2010) 15 Maggio 2010 11 Aumento dell’indice di lateralità Laterality Index (LI) misurato nella corteccia primaria SMC, associata al movimento del ginocchio Virtual Reality-Induced Cortical Reorganization and Associated Locomotor Recovery in Chronic Stroke: An Experimenter-Blind Randomized Study Stroke (2010) 15 Maggio 2010 A gaming system for rehabilitation 15 Maggio 2010 12 Effetti della terapia riabilitativa Pazienti con stroke differiscono dai soggetti di controllo per i livelli di attivazione corticali motorio. Prima della terapia, il pz presenta una ridotta attivazione nelle corteccie sensomotorie bilaterali, con una maggiore attivazione ipsilaterale (M1) Dopo la riabilitazione si ha un incremento dei livelli di attivazione con uno shift verso le aree controlaterale (ipsilesionale). Evolution of fMRI Activation in the Perilesional Primary Motor Cortex and Cerebellum With Rehabilitation Training-Related Motor Gains After Stroke: A Pilot Study, Neurorehab Neureal Repair (2007) 15 Maggio 2010 Evolution of motor cortical and cerebellar activation patterns during sequential finger tapping with the paretic left hand in one patient. A progressive shift in M1 activation toward more contralateral (ipsilesional) involvement was observed across time (blue circle, ipsilesional; green circle, contralesional). The cerebellum was activated predominantly contralateral to the paretic hand movements for all 4 time points, but a continuous increase of ipsilateral cerebellar activation across time was observed (square). 15 Maggio 2010 13 Immersività Negli AV immersivi tutte le componenti (Presenza, Immersività e Interazione) sono presenti, anche se in quantità variabile. Alcune caratteristiche comunemente disponibili: - Prospettiva legata ai movimenti della testa - Visione stereoscopica - Ambiente virtuale realizzato con proprietà e scala realistiche - Interazione realistica con l’ambiente tramite interfacce per la manipolazione, operazione controllo - Eventuale ritorno auditivo, aptico, e motorio - Possibilità di condivisione dell’ambiente Livelli di immersività Completamente immersivi o Co-locati Parzialmente immersivi o Non-colocati Realtà aumentata o Strettamente colocati. 1/24/2011 14 Case study: un prototipo preliminare di simulatore per addestramento ■ Head-Mounted Display stereoscopico, con tracking della posizione della testa. ■ Guanti con tracker magnetici per la colocazione delle mani sul modello virtuale ■ Ambiente virtuale sincronizzato con l’ambiente reale Napoli, 7 Giugno 2008 Congresso Nazionale IRC 15 Maggio 2010 15 Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE Informazioni efferenti INTERFACCIA Informazioni afferenti UTENTE Congresso Nazionale IRC Napoli, 7 Giugno 2008 Flusso di dati in Ambienti Virtuali VIRTUAL ENVIRONMENT VISUAL CHANNEL ACOUSTICAL CHANNEL HAPTIC CHANNEL INERTIAL CHANNEL USER 16 Flusso di dati in Ambienti Virtuali VIRTUAL ENVIRONMENT VISUAL CHANNEL ACOUSTICAL CHANNEL HAPTIC CHANNEL INERTIAL CHANNEL USER RV come tecnologia esperienziale La realtà virtuale può essere considerata una interfaccia «esperienziale», in cui la componente percettiva (visiva, tattile, cinestetica) si fonde con l’interattività: Io conosco gli oggetti e/o le situazioni e imparo ad utilizzarli/controllarli attraverso l’esperienza diretta e in tempo reale delle mie reazioni (emozioni, pensieri, comportamenti) e delle loro in funzione delle mie azioni. 34 17 RV come tecnologia cognitiva Secondo l’ “Embodied Cognition” (Cognizione Incarnata/Corporea). il corpo è il sistema di riferimento dei processi percettivi e cognitivi: La seconda opportunità offerta dalla realtà virtuale immersiva è quella di alterare in maniera diretta e rapida i processi cognitivi legati alla corporeità. Diversi studi hanno mostrato la capacità della realtà virtuale immersiva di modificare in tempi rapidi il metabolismo cerebrale e la percezione corporea all’interno di terapie differenti: disturbi alimentari, distrazione dal dolore, disturbi sessuali maschili, ecc. 35 La realtà virtuale come strumento di distrazione dal dolore acuto produce una modificazione significativa nell’attività cerebrale. Non si ha un effetto simile utilizzando un videogioco. Scientific American, April 2004 Pazienti soggetti ad una medicazione per gravi ustioni, durante la medicazione sperimentano un sistema di realtà virtuale 36 18 Esempio di bambino che durante la terapia fisica sperimenta un sistema di realtà virtuale che gli consente di lanciare delle palle di neve 15 Maggio 2010 Alcune statistiche La malattia cerebrovascolare rappresenta la terza causa di morte nei paesi industrializzati e la prima causa di invalidità permanente. o In Italia circa 915.000 persone sono state colpite da ictus. o Circa il 30% di questi ha riportato esiti invalidanti, tra i quali il più frequente è la paralisi degli arti superiori Il progressivo invecchiamento della popolazione e l’aumento dell’incidenza della malattia cerebrovascolare comporta un continuo aumento del numero di nuovi casi per anno. 13 Novembre 2007 19 La più comune causa di ischemia è una trombosi. Quando un arteria viene ostruita dalla presenza di un trombo. 13 Novembre 2007 Nuove tecnologie robotiche e di realtà virtuale per la riabilitazione: Target Si ha quindi un incremento notevole dei costi ospedalieri Questi costi rappresentano tuttavia solo il 20% del costo totale relativo alla gestione del paziente con ictus comprendente anche i costi indiretti derivanti dalla perdita di produttività della famiglia e del paziente. A. Carolei, C. Marini, M. Baldassarre. Proiezioni statistiche e previsioni dei costi dell'ictus Clinica Neurologica, Università degli Studi di L'Aquila, L'Aquila 13 Novembre 2007 20 Un interesse crescente PubMED contiene: o o MEDLINE – copre oltre 4800 riviste pubblicate negli Stati Uniti ed in piu di 70 paesi dal 1966 ad oggi OLDMEDLINE – per le citazioni pre-1966 Un’analisi condotta sul numero di pubblicazioni scientifiche nell’area di R e h a R b o i b l o i t t i a c t s i 6 o . n 5 2 2 0 1 5 . 8 1 4 R e h R a o b b i o l ti it ca st 3 i .o 6 n 8 4 6 5 . 7 6 9 Rehabilitation and Robotics rivela un netto trend in crescita Totale Rehab and Robotics in PubMED 273 Ultimi 5 anni 156 13 Novembre 2007 V R ie rh ta u b a i l i R t e a a t li io tn y2 2 0 .5 7 . 9 8 8 1 4 V R i e r h t a u b a i l l i R t e a a t l i i o t n y 4 1 5 . . 6 7 1 6 6 9 Un interesse crescente Rehab and Virtual Reality in PubMED Totale 221 Ultimi 5 anni 137 13 Novembre 2007 21 Motor and sensorial impairments are consequences of several diseases: Stroke Sclerosis Traumatic lesion of both central and peripheral nervous system (e.g. Paraplegia, Quadriplegia) Neurorehabilitation aim is the recovery of the lost capabilities 13 Novembre 2007 The impairment of upper limb function is one of the most common and challenging sequelae following stroke, that limits the patient’s autonomy in daily living and may lead to permanent disability. The deficits are characterized: Weakness of specific muscles Abnormal muscle tone Abnormal postural adjustment Abnormal movement synergies Incorrect timing of components within a movement pattern 13 Novembre 2007 22 Neuroplasticity refers to the changes that occur in the organization of the brain, and in particular changes that occur to the location of specific information processing functions, as a result of the effect of experience during development and as mature animals. A common and surprising consequence of brain plasticity is that the location of a given function can "move" from one location to another in the brain due to repeated learning or brain trauma. 13 Novembre 2007 La plasticità del SNC La plasticità del SNC viene definita dalla sua capacità di modificarsi. Anche in epoca postnatale, il SNC può modificarsi: o ma i neuroni non sono più liberi di migrare, di moltiplicarsi o di ricostituire connessioni a lunga distanza o Si possono modificare le connessioni sinaptiche in relazione alle afferenze 23 Sviluppo motorio ed interazione ambientale Sino alla fine degli anni ’70: modello maturazionista Il rapporto tra struttura nervosa e funzione viene considerato come una via a senso unico: o Solamente il cambiamento della struttura nervosa può comportare un cambiamento della funzione. Struttura nervosa Funzione Sviluppo motorio ed interazione ambientale Negli anni ’80 assistiamo invece ad un arrichimento di pensiero. Ruolo delle afferenze ambientali: o Le afferenze ambientali possono modificare sia lo sviluppo di funzioni sia l’organizzazione strutturale del sistema nervoso o Importanze delle afferenze sensoriali nel processo riabilitativo Struttura nervosa Funzione 24 Gerarchia funzionale IDEA (qual è il mio goal?) Area cortic motorie PIANO DI AZIONE (Come posso raggiungerlo?) PROGRAMMA (Quali muscoli devo contrarre? Quanto?) ESECUZIONE (Comandi motori) Tronco encefalico Midollo spinale Muscoli MOVIMENTO 25 Lesione e danno di funzione Programmazione dell’azione Esecuzione dell’azione • Lesione a livello SNC • Lesione a livello di apparato locomotore Approccio sistemico alla riabilitazione neurofisiologica 26 Possibiltà offerte dalla realtà virtuale Vantaggi della terapia assist. da robot(1) Una maggiore efficacia della terapia che trae vantaggio da un’aumentata frequenza delle sedute. Estensione delle sedute di riabilitazione, con possibilità di eseguire parte del ciclo di riabilitazione in ambiente domestico e monitoraggio continuo da parte del fisioterapista. Riduzione del costo della terapia stessa, grazie all’ottimizzazione del tempo del fisioterapista che può seguire, anche a distanza, più pazienti contemporaneamente. Un alleggerimento degli oneri in termini di tempo, impegno e risorse economiche delle famiglie dei pazienti. Incentivo motivazionale per il paziente, derivante dalla possibilità di disegnare esercizi riabilitativi vari, significati e stimolanti con maggiore coinvolgimento per il paziente. 13 Novembre 2007 27 Vantaggi della terapia assist. da robot(2) Possibilità di adattare la terapia alle necessità ed alle capacità del singolo individuo. Mantenendo nel contempo un’ elevata standardizzazione del protocollo sperimentale. Possibilità di condurre di esercizi riabilitativi in condizioni di sospensione attiva di carico, con riduzione completa o parziale del peso degli arti del paziente. Valutazione quantitativa sul corretto svolgimento dell’esercizio e dei progressi del paziente. Biofeedback: possibilità di mostrare al paziente il rilievo in tempo reale di alcuni parametri fisiologici a supporto dello terapia riabilitativa seguita. 13 Novembre 2007 Considerazioni aggiuntive I fattori che più comunemente influenzano la mancata esecuzione del movimento sono: o Incremento del tono muscolare o Mancanza di coordinamento, caratterizzata da mancanza di un controllo di forza direzionale o “sinergie anomale” o Debolezza agonista o Spasticità o contrazione anormale: apparentemente sembra giocare un ruolo minore Va tenuto presente, che negli schemi di terapia attiva assistita, si può incoraggiare la formazione di dissinergie del movimento, dal momento che eventuali sinergie muscolari anomale vengono bilanciate dall’effetto di guida del robot Per prevenire la formazione di possibili dissinergie del movimento, gli schemi di terapia assistita devono implementare dei controlli di impedenza con cedevolezza diversa lungo la direzione di movimento e quelle normali, di modo da fornire al paziente un feedback nel momento in cui insorgano eventuali dissinergie motorie 13 Novembre 2007 28 Il sistema robotico di riabilitazione può inserito all’interno di un ambiente di realtà virtuale. “Virtual Reality (VR) provides a unique medium suited to the achievement of several requirements for effective rehabilitation. Specifically, therapy can be provided within a functional, purposeful and motivating context. Many VR applications present opportunities for individuals to participate in experience, which are engaging and rewarding.” H. Sveistrup, Motor rehabilitation using Virtual Reality, Journal of NeuroEngineering and Rehabilitation, 1 (10), 2004. 13 Novembre 2007 Aspetti peculiari Il paziente è immerso in un ambiente in cui le leggi che governano il comportamento degli oggetti rappresentati possono essere definite in maniera coerente o meno con la realtà e regolate per soddisfare le sue necessità. Terapia occupazione in ambienti virtuali o lo schema principale di riabilitazione mediante RV prevede che al paziente venga chiesto di compiere compiti specifici nell’ambiente virtuale (per esempio, spostare oggetti, seguire percorsi predefiniti etc.). 13 Novembre 2007 29 This brings further advantages: ■ Patient’s increased motivation: the possibility to design a broad variety of significant and stimulating rehabilitation exercises increases the patient’s motivation and involvement ■ Biofeedback: possibility to show to the patient in real-time how good he is doing with an increase of the patient involvement ■ Augmented attention and concentration in task execution 13 Novembre 2007 Schema di utilizzo della terapia assistita da robots 13 Novembre 2007 30 Le scale cliniche per la valutazione sensorimotoria Scala Fugl Meyer Scala di Ashworth 15 Maggio 2010 La scala di Ashworth La scala Modified Ashworth Scale (MSE) è considerate la misurazione clinica primaria della spasticità muscolare nei pazienti con problemi neurologici. Tuttavia, alcune pubblicazioni questionano sulla sua capacità di misurare la spasticità e criticano la Modified Ashworth Scale come scala di valutazione per misurare le anomalie nel tono muscolare o la resistenza ai movimenti passivi, poiché non vi è clinicamente metodo diretto per misurare la spasticità. 15 Maggio 2010 31 La scala di Ashworth La scala Modified Ashworth Scale (MSE) è considerate la misurazione clinica primaria della spasticità muscolare nei pazienti con problemi neurologici. Tuttavia, alcune pubblicazioni questionano sulla sua capacità di misurare la spasticità e criticano la Modified Ashworth Scale come scala di valutazione per misurare le anomalie nel tono muscolare o la resistenza ai movimenti passivi, poiché non vi è clinicamente metodo diretto per misurare la spasticità. Anche se non esistono linee guida standardizzate per l'uso, la Modified Ashworth Scale può essere applicata ai muscoli di entrambe le estremità del corpo, inferiori o superiori. Il valutatore deve estendere l'arto del cliente da una posizione di massima flessione alla massima estensione fino ad incontrare la prima leggera resistenza. 15 Maggio 2010 La scala Fugl_Meyer La Fugl-Meyer Assessment (FMA) è una scala di valutazione della compromissione basata sulle performance dei pazienti post-ictus. È stata progettata per valutare il funzionamento motorio, l'equilibrio, la percezione e il funzionamento dei giunti nei pazienti emiparetici. Si applica in campo clinico e nella ricerca per determinare la gravità della malattia, descrivere il recupero motorio e pianificare e valutare il trattamento. La scala è composta da cinque domini e ci sono 155 punti in totale: o funzionamento motorio (nella estremità superiori e inferiori); o funzionamento sensoriale (valuta il tocco leggero su due superfici del braccio e della gamba, e la percezione della posizione per 8 articolazioni); o bilanciamento (contiene 7 prove, 3 seduti e 4 in piedi); o mobilizzazione dei range articolari (8 articolazioni); o dolori articolari. Se ridotta alla valutazione del solo arto superiore sono 66 punti 15 Maggio 2010 32 La scala di Ashworth Score 0 1 Ashworth Scale (Ashworth, 1964) Nessun aumento nel tono Leggero aumento del tono mentre l'arto è spostato in flessione o estensione 1+ 2 3 4 N/A Più marcato aumento nei toni, ma arto flesso facilmente Notevole aumento di tono e movimento passivo difficile Arto rigido in flessione o estensione Modified Ashworth Scale (Bohannon & Smith, 1987) Nessun aumento nel tono Leggero aumento del tono muscolare, manifestato con la presa o il rilascio o da una resistenza minima alla fine dell’escursione nel movimento, quando la parte interessata è flessa o estesa Leggero aumento del tono muscolare, si manifesta con una presa, seguito da una resistenza minima per meno della metà dell’escursione nel movimento Più marcato aumento del tono muscolare attraverso la maggior parte dell’escursione nel movimento, ma si possono facilmente spostare le parti interessate Notevole aumento del tono muscolare, il movimento passivo risulta difficile La parte interessata risulta rigida in flessione o in estensione 15 Maggio 2010 Revisione della letteratura clinica Una ricerca condotto su 11 studi clinici con terapia assistita di robot, mostra che in tutti i casi gli strumenti di riabilitazione robotica comportano un incremento dei parametri di valutazione dell’abilità motoria del paziente, scala di Fugl-Meyer o La scala Fugl-Meyer fu sviluppata come un o primo metodo quantitativo per la valutazione del recupero funzionale senso-motorio Gli incrementi riscontrati sebbene statisticamente significativi, non rappresentano ancora una differenza significativa dal punto di vista clinico, visto che si parla di incrementi dell’ordine di 6 punti percentuale La compensazione di gravità induce una migliore prestazione motoria a livello dell’arto superiore Prange, G.B., et al., Systematic review of the effect of robotaided therapy on recovery of the hemiparetic arm after stroke. J Rehabil Res Dev, 2006. 43(2): p. 171-84. Confidence Interval = 95% Non si riscontrano differenze invece nel miglioramento delle abilità funzionali tra il gruppo sottoposta a terapia assistita da robot ed il gruppo di controllo, mentre si nota un miglioramento nello short-term motor impairment, qulali attivazione muscolare e selettività di movimento. 13 Novembre 2007 33 Schema di utilizzo di robots Il reaching è spesso selezionato come task di riferimento: è infatti un task fondamentale per molte attività quotidiane o Tipicamente si svolge lungo traiettorie rettilinee o Sono noti i profili di velocità nell’esecuzione del movimento (minimum jerk trajectory) Schema di terapia attivamente assistita da robot o Il paziente riceve un feedback del movimento del braccio mediante una sua rappresentazione nell’ambiente virtuale o Il paziente inizia il movimento quando gli viene comunicato da un segnale sonoro o Il compito è di inseguire con il movimento attivo del braccio una sfera gialla che si muove con velocità preassegnata verso una sfera target fissa di colore verde o Qualora il paziente non è in grado di mantenere l’inseguimento dell’oggetto target, subentra il robot che applica attivamente delle forze nella direzione della traiettoria 13 Novembre 2007 Alcuni prodotti commerciali Haptic Master – FCS robotics KineAssist Walking & Balance Exercise System – CHICAGO PT Lokomat – Hocoma AG 13 Novembre 2007 34 Revisione della letteratura clinica Una ricerca condotto su 11 studi clinici con terapia assistita di robot, mostra che in tutti i casi gli strumenti di riabilitazione robotica comportano un incremento dei parametri di valutazione dell’abilità motoria del paziente, scala di Fugl-Meyer o La scala Fugl-Meyer fu sviluppata come un o primo metodo quantitativo per la valutazione del recupero funzionale senso-motorio Gli incrementi riscontrati sebbene statisticamente significativi, non rappresentano ancora una differenza significativa dal punto di vista clinico, visto che si parla di incrementi dell’ordine di 6 punti percentuale La compensazione di gravità induce una migliore prestazione motoria a livello dell’arto superiore Prange, G.B., et al., Systematic review of the effect of robotaided therapy on recovery of the hemiparetic arm after stroke. J Rehabil Res Dev, 2006. 43(2): p. 171-84. Confidence Interval = 95% Non si riscontrano differenze invece nel miglioramento delle abilità funzionali tra il gruppo sottoposta a terapia assistita da robot ed il gruppo di controllo, mentre si nota un miglioramento nello short-term motor impairment, qulali attivazione muscolare e selettività di movimento. 19 Novembre 2008 MIT-MANUS Sviluppato presso il Newman Laboratory for Biomechanics and Human Rehabilitation ■ Sistema robotico a 2 gradi di libertà che consente movimenti piani della spalla, del gomito e del polso ■Il dispositivo può compensare il peso del braccio del paziente sul piano dove viene svolto il movimento. ■ Bassa inerzia e comportamento prevalentemente isotropico (1±0.3Kg) ■ Basso attrito e comportamento pressochè isotropico (0.84±0.28N) Principali limiti del sistema Restrizione a movimenti nel piano frontale: questo esclude dalla terapia un ampio numero di movimento. Il dispositivo non può essere utilizzato per la riabitazione funzionale Rotazione angolare tra lo schermo della visualizzazione ed il piano del movimento 19 Novembre 2008 35 The Mit-Manus is now marketed by Interactive Motion Technologies InMotion2 Shoulder-Elbow Robot InMotion3 Wrist Robot 13 Novembre 2007 MIT-MANUS Intervento in fase acuta Variation of indexes in the acute phase Motor Status Score Motor Status Shoulder and Score Wrist and Elbow fingers Group Fugl-Meyer Robotic therapy (40 pts) 9,25±1,36 8,15±0,79 4,16±1,16 Control (36 pts) 7,1±1,20 3,42±0,62 2,74±0,78 Krebs, H.I., et al., Increasing productivity and quality of care: Robot-aided neurorehabilitation. Journal of Rehabilitation Research and Development, 2000. 37(6): p. 639– 652. 19 Novembre 2008 36 MIT-MANUS Intervento in fase cronica Evaluation Start End Variation Ashworth Modified 12,76±5,23 12,08±5,70 -0,68±2,59 Fugl-Meyer 27,52±10,36 30,88±11,88 3,36±3,97 Motor Status Score Shoulder/Elbow 22,67±6,50 24,05±6,83 1,38±2,01 Motor Status Score Wrist/Hand 13,89±10,10 14,14±10,42 0,25±2,34 S.E. Fasoli,H.I.Krebs, J.Stein, W.R. Frontera,R.Hughes, N.Hogan. Robotic Therapy for Chronic Motor Impairments After Stroke: Follow-Up Results. Arch Phys Med Rehabil Vol 85, July 2004 19 Novembre 2008 Apprendimento di modelli di forza Implicit learning 2-D curl field Chronic stroke 13 Novembre 2007 37 Mirror Image Movement Enabler (MIME) Piattaforma basata su Puma 560 Intervento esegutio 4 modi operativi previsti: assistenza attiva, passiva, attivamente vincolato, bimanuale 19 Novembre 2008 Mirror Image Movement Enabler (MIME) Gruppo FM prox 1 month FM - prox 2 months FM - prox 6m Followup FM dist – 1 month FM dist 2 months FM dist 6m Followup Robotic therapy 2,2±0,8 3,3±0,7 3,6±1,0 1,2±0,4 1,4±0,5 1,3±0,4 Control 0,5±0,2 1,6±0,3 2,8±0,8 1,1±0,4 1,5±0,5 2±0,6 Robot-Assisted Movement Training Compared With Conventional Therapy Techniques for the Rehabilitation of Upper-Limb Motor Function After Stroke. P.S. Lum, C.G. Burgar et al. Arch Phys Med Rehabil Vol 83, July 2002 19 Novembre 2008 38 ARM Guide 4 DOF, 1 actuated Chronic stroke Active-assistance 13 Novembre 2007 ARM Guide 4 DOF, ma 1 solo attuato Intervento in pazienti cronici Schema di assistenza attiva 19 Novembre 2008 39 ARM Guide ■ La macchina esercita un’azione che si opone al movimento se la direzione del movimento non è corretta. Se la direzione è corretta la macchina fornisce un aiuto per il completamento del movimento. Gruppo Terapia robotica (10 pazienti) Controllo pazienti) Variazione Tempo dall'evento ChedokeMcMaster all'ammissio ne 75,8±45,5 mesi 3,5±0,9 0,2±0,4 103,1±48,8 3,2±1,0 03±0,5 (9 L.E.Kahn, M.L.Zygman1, W.Z.Rymer, D.J.Reinkensmeyer. Robot-assisted reaching exercise promotes arm movement recovery in chronic hemiparetic stroke: a randomized controlled pilot study. Journal of NeuroEngineering and Rehabilitation 2006, 3:12 19 Novembre 2008 There are proofs in literature that gravity compensation leads to a recovery of motor abilities. o Rekensmeyer et al. (2006) The first study demonstrated that individuals with chronic stroke whose arm function is compromised in a normal gravity environment can perform reaching and drawing movements with gravity compensation. It has been demonstrated that exercising the affected arm over an eight week period improved unassisted movement ability o Envelope abilities during various levels of limb support in the left, paretic limb (a) of a single subject, inverted for comparison to the non-paretic limb shown in (b). Axes units are in meters, and an individual’s outline is provided in the non-paretic (right) side for reference (“Shoulder abductioninduced reductions in reaching work area following hemiparetic stroke: neuroscientific implications” Exp Brain Research (2007) Sukal, Ellis et al. 40 WREX , T-WREX ed Armeo Subject Time from stroke Fugl-Meyer At start Change 1 3 yr. 11 +5 2 6 yr. 19 +5 3 9 yr. 27 +3 4 4 yr. 20 +8 5 11 yr. 32 +4 Sistema passivo (elementi elastici) Forza anti-gravità 4 GDL R. J. Sanchez, D. J. Reinkensmeyer et al. Automating Arm Movement Training Following Severe Stroke: Functional Exercises With Quantitative Feedback in a Gravity-Reduced Environment. IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 14, NO. 3, SEPTEMBER 2006 19 Novembre 2008 19 Novembre 2008 41 Swedish Helparm Type of the system: passive Goal: provide functional assistance and allows muscle training Typical patient problems: shoulder muscle impairment or paresis, cervical spine injuries, shoulder nerve injuries, hemiplegia, multiple sclerosis or certain forms of rheumatoid arthritis and patient at home Type of motion: 3D hand motion, limited range Technical description: • counterweights connected to the patient's arms by ropes and pulleys to support the patient's arm; • left and right arm supports are independent; • the amount of support can be changed in discrete steps. GENTLE/S HapticMaster (force control) Chronic stroke Active-assist 3-D 13 Novembre 2007 42 Haptic master (GENTLE/s project) Type of the system: interactive 3 DOF Goal: rehabilitation of stroke patients Type of motion: 3D arm motion,limited range Technical description: • robot designed as a haptic display; • to the aim of training arm movements the wrist of the patient is attached to the end-effector of the robot; • undetermined spatial position for the elbow; • two ropes of a weight-lifting system support the arm against gravity; • extension of the robot could be a robotic wrist joint that provides one additional active and two passive DOFs; • force and position sensors are implemented inside the robot; • interactive support for patient movements is enabled byadmittance control strategies.modes, including position and impedance control strategies. Technical overview of arm robots (5/11) Hesse arm trainer Type of the system: interactive one DOF Goal: improve muscle strength and movement co-ordination Type of motion: 1-DOF hand motion Technical description: • patient has the elbow joints flexed at about 90°; • each hand grasps a handle and can be moved in 1 DOF; • two handle sets are available, one with a horizontal axis for forearm pronation/supination and one with a vertical axis for wrist flexion/extension movements; • device position is dependent on the selected movement; • a display shows the number of cycles performed; • force and position sensors to enable different control modes, including position and impedance control strategies. 43 Technical overview of arm robots (8/11) ARMin Type of the system: interactive four DOFs Goal: treatment of stroke and SCI patients Type of motion: 3D shoulder motion in 4 DOFs Technical description: • 4 active DoFs for the arm motion (3 DoFs for shoulder motion, 1 DoFs for elbow motion); • The robot consist in exoskeleton structure; • The robot is fixed to the wall, the patient sitting beneath with the arm in an orthosis shell connected to the structure; • Several multiple axis force sensors and four position sensors allow impedance control; • The robot is back-drivable. Technical overview of arm robots (11/11) Mirror image movement enhancer (MIME) Type of the system: interactive six DOFs Goal: treatment of hemiparetic patients Type of motion: 3D arm motion in 6 DOFs Technical description: • PUMA robot applied force to patient’s forearm, by an handle connected to e.e. of robot; • 6 axis sensor and position sensors are presented on the robot, and permit to perform different control modes; • In bimanual mode, the affected arm performs a mirror movement of movement of intact arm; • A digitiser measures the movement of intact forearm; • Clinical results on 27 subjects. 44 Upper limb rehabilitation: uniqueness of the approach L-Exos system Bimanual rehabilitation system • Spatial 3D system (not moving only in the plane): possibility of performing antigravitational movements • Rehabilitation of patients in unimanual tasks • Complete control of posture and arm kinematics • Antigravitational movement • Activation of bimanual motor schemes • Involvement of different neural pathways • Crosslateral motor pathways • Ipsilateral bimanual neural pathways What therapy can be done? Belfast, October 21, 2009 What assessment can be done? SKILLS General Meeting La struttura del sistema L-Exos Il sistema L-Exos, robot esoscheletrico per l'arto superiore, sviluppato presso il lab. PERCRO dellaScuola Superiore Sant'Anna, è stato utilizzato da nove pazienti con emiplegia dx post-stroke (tre sessioni di terapia per sei settimane). Frisoli A., Salsedo, F. Bergamasco M., Carboncini MC, Rossi, B. "A force-feedback exoskeleton for upper limb rehabilitation Virtual Applied Bionics “ACT and 3D exercise targets gravity-induced discoordination and improves reaching M.D. Ellis, T.in Sukal, T. Reality", DeMott, and J. Dewald, Biomechanics 2009 6(2) work area in individuals with stroke”, Rehabilitation Robotics, 2007. ICORR 2007. IEEE 10th International Conference 2007 45 Che tipo di intervento? L’intervento può essere condotto tenendo conto di tre aspetti o Tasks, esercizio terapeutico o Modalità di controllo del robot o Stato del paziente SEVERE MEDIUM LOW REACHING POS CONTROL HYBRID CONTROL BIMANUAL CATCHING WIPING ETC Belfast, October 21, 2009 SKILLS General Meeting STRATEGIA DI CONTROLLO DEL ROBOT 15 Maggio 2010 46 Assistance as needed Impedance based assistance Tipologia di assistenza Triggered assistance • Il robot utilizza un controllore di tipo proporzionale • Riabilitazione cammino • Riabiltiaizona arto superiore • Il paziente si muove lungo una traiettoria desiderata • Il robot interviene quando il paziente devia dalla traiettoria programmata • In questa variante l’assistenza da parte del robot viene iniziata solo quando viene superata una cerca soglia da parte del paziente: ad esempio tempo, forza generata dal partecipante, errore di tracking spaziale o il segnale EMG Bilanciamento antigravitazionale • In questo caso viene passivamente fornito un supporto antigravitazionale al movimento dell’arto • Questo si vede determinare un allurgamento dello spazio raggiungibile dall’avambraccio, in virtu della riduzione della co-contrazione del bicipite associata all’abduzione della spalla 13 Novembre 2007 Tipologia di assistenza EMG based assistance • In questo caso l’elettromiografia di superficie viene utilizzata per fornire una guida e l’assistenza al robot nell’esecuzione dell’esercizio Performance based adaptation • I parametri del robot vengono adattivamente cambiati per un tuning dei parametri sulla base delle capacità motorie ed effettive del paziente • Vedi Lokomat Bilateral schemes • In questo caso la traiettoria ottimale desiderata viene calcolata sulla base del movimento compiuto dal paziente con l’arto non paretico. 13 Novembre 2007 47 Ricerca Strategie resistive • Basata su principi della PNG (Neurofacilitazione propriocettiva), viene applicata una forza costante che si oppone al movimento durante la sua esecuzione. Constrain induced therapies Error-amplification strategies • In questo caso avviene una inibizione di uso dell’arto non paretico, forzando il soggetto all’utilizzo dell’arto emiplegico • In questo caso avviene un’amplificazione, ad esempio visiva, del movimento eseguito 13 Novembre 2007 SCELTA E PROGETTAZIONE DELL’ESERCIZIO TERAPEUTICO 15 Maggio 2010 48 Esperienza Significativa Guidata • Conoscenza diretta, prodotto di un’attività volontaria • Capace di destare nel soggetto attenzione, interesse, partecipazione emotiva, impegno cognitivo • Condotta secondo regole predefinite suggerite dal terapista Esercizio terapeutico come Esperienza Significativa Guidata: Esperienza: conoscenza diretta, prodotto di un’attività volontaria Significativa: capace di destare nel soggetto attenzione, interesse, partecipazione emotiva, impegno cognitivo Guidata: Condotta secondo regole predefinite suggerite dal terapista Sulla costruzione del movimento Un uomo può compiere, supponiamo, un movimento circolare con la mano in una serie di situazioni straordinariamente dissimili. Ad esempio: A) Durante un "vibrato" al pianoforte, molto rapido, vale a dire nel corso della ripetizione della stessa nota od ottava con una frequenza di 6-8 volte il secondo, non di rado i punti della mano e dell'avambraccio si muovono, nei virtuosi più eminenti, lungo piccoli cerchietti (od ovali). B) Si può descrivere un cerchio in aria con la mano come esecuzione di un esercizio ginnico o di un movimento coreografico. C) Un uomo può tracciare con una matita il contorno di un cerchio già disegnato o stampato sulla carta (C1) o, invece, ricopiare un cerchio (C2) che vede davanti a sé. D) Può compiere un movimento circolare con la mano, facendo un punto con l’ago oppure sciogliendo un nodo. E) Egli può, dimostrando un teorema geometrico, tracciare sulla lavagna un cerchio, che rappresenta una parte integrante del disegno che lui usa per la dimostrazione. 49 Livelli di costruzione A) Durante un "vibrato" al pianoforte, molto rapido, vale a dire nel corso della ripetizione della stessa nota od ottava con una frequenza di 6-8 volte il secondo, non di rado i punti della mano e dell'avambraccio si muovono, nei virtuosi più eminenti, lungo piccoli cerchietti (od ovali). • I cerchietti secondo il tipo dell'esempio A si ottengono involontariamente, nella forma di un riflesso propriocettivo non cosciente. B) Si può descrivere un cerchio in aria con la mano come esecuzione di un esercizio ginnico o di un movimento coreografico. • Il cerchio ginnico o di danza (B) è fatto così a giro principalmente nel segno della correzione propriocettiva, però non più elementare riflessa, ma in notevole parte cosciente, e manifesta già il predominio non delle componenti muscolari di forza, ma articolari spaziali, dell’afferenza propriocettiva. C) Un uomo può tracciare con una matita il contorno di un cerchio già disegnato o stampato sulla carta (C1) o, invece, ricopiare un cerchio (C2) che vede davanti a sé. • Il cerchio disegnato sopra una traccia (C1) oppure ricopiato (C2) si compie con il controllo dominante della vista: nel primo caso più diretto e primitivo, nel secondo effettuato dal sistema afferente sintetico, molto complesso, "del campo visivo-spaziale". Livelli di costruzione D) Può compiere un movimento circolare con la mano, facendo un punto con l’ago oppure sciogliendo un nodo. • Nel caso D il sistema afferente di guida è l’idea dell'oggetto, l'appercezione dell'oggetto, la comprensione della sua forma e significato, che dà come risultato l’azione o la successione di azioni, dirette ad una conveniente manipolazione di quest'oggetto. E) Egli può, dimostrando un teorema geometrico, tracciare sulla lavagna un cerchio, che rappresenta una parte integrante del disegno che lui usa per la dimostrazione. • Infine, nel caso E, per il cerchio, disegnato dal docente di matematica sulla lavagna, il momento di direzione è rappresentato non tanto dalla riproduzione della forma geometrica del cerchio (come sarebbe se si trovasse alla cattedra il docente di disegno e non quello di matematica), ma dalla rappresentazione semiconvenzionale dei rapporti della circonferenza disegnata con gli altri elementi del disegno matematico. L'alterazione della forma corretta del cerchio non viola il proponimento del docente di matematica e non suscita nei suoi movimenti alcun impulso correttivo, che, al contrario, nascerebbe immediatamente in questa stessa situazione nel docente di disegno. 50 LA VALUTAZIONE 15 Maggio 2010 Valutazione 3 scale di valutazione clinica: 1. Scala Fugl Meyer 2. Scala Asher 3. Range of Motion Valutazione mediante robot Due compiti robotassistiti: 1. Movimento di raggiungimento 2. Movimento vincolato Un esercizio : 1. Compito di raggiungimen to Valutazione clinica PRE Valutazione clinica POST Valutazione kinesiologica PRE Valutazione kinesiologica POST Valutazione automatica mediante ROBOT 51 Gli acceleratori I FATTORI DETERMINANTI IL RIAPPRENDIMENTO 15 Maggio 2010 Apprendimento motorio Effetto dell’aiuto del robot sull’acquisizione di uno skill motorio 15 Maggio 2010 52 Retention of ability 15 Maggio 2010 On-line\off-line performance scoring Description: the user is informed about the performance of the task, the task as a functional value as in occupational therapy. Performance scoring is useful to guide learning o Sensor feedback modality: visual, proprioceptive o Error, force (grasping, directional), some snapshots of feedback (sensorimotor feedback/bio-feedback), or either score related to the game or the task (motivational) o Increase of force is an important point in the recovery of stroke. Motivation: o The role of the coach in sports training o a patient the value of the maximal grasping force will allow to "know" its progress during recovery o In task based training, VR can provide high motivation to the patient •Swinnen, Proof of working either by experiments or by literature S.P. (1996). Information feedback for motor skill learning: A review. In Advances in Motor Learning and Control, edited by H.N. Zelaznik. Champaign, IL: Human Kinetics. •Schmidt, R. A. and Lee, T. D. (2003). Motor control and learning: A behavioral emphasis. Human Kinetics, Champaign, IL, 3rd edition. •Magill, R. A. (1989) Motor Learning Concepts and Application. 2nd ed. Dubuque, Iowa Brown Group. •Todorov, E., Shadmehr, R., & Bizzi, E. (1997). Augmented feedback presented in a virtual environment accelerates learning of a difficult motor task. Journal of Motor Behavior, 29, 147-158. 53 Feedback to the performer is used to guide learning. The most useful is "knowledge of results" (KR) that is, the augmented extrinsic information about task success provided to the performer. This information serves as a basis for error correction on the next trial and thus can be used to achieve more effective performance as practice continues. Because of the importance of feedback, the effects of a number of KR variations, such as the frequency, delay, and precision with which error information is delivered, can accelerate learning (if well chosen, otherwise negative transfer). ----> also the effect of making visible what a patient cannot easily feel : for example giving a patient the value of the maximal grasping force will allow to "know" its progress during recovery Belfast, October 21, 2009 SKILLS General Meeting KP and KR Two types of feedback are knowledge of results (KR) and knowledge of performance (KP). Knowledge of results is information about the outcome of a task, whereas knowledge of performance is information about the execution of the movement that produces the outcome (Boyce, 1991; Hebert & Landin, 1994). For example, after a golf swing KR would be telling the golfer where the ball landed without any other information, whereas KP would be providing the golfer with information about the swing, such as hip, shoulder, knee, or head movements. 15 Maggio 2010 54 Belfast, October 21, 2009 SKILLS General Meeting Grasping Sensors Through the pressure sensors mounted on the handle, the grasping force of the patient is recorded and used during the clinical sessions. Pisa, March 16, 2010 SKILLS General Meeting 55 13 Novembre 2007 13 Novembre 2007 56 Feedback della performance ottenuta nei 5 giochi Performance Based Progressive Therapy Belfast, October 21, 2009 SKILLS General Meeting 57 Virtual Fixtures (uni-manual) Description o Training interjoint coordination o Training execution of single joint movements o Active vs passive movement Motivation: force constraints associated to given cues o Active guidance o Constraints at the level of joint or end effector o Force behavior associated to objects (simulated sensorymotor contingencies) Proof of working/Literature o There is a wide literature providing evidences and indications for different control strategies in robot aided trainng System overview The basic movements of the human arm are controlled for all time, attenuating undesired excessive motions of each human arm movement, i.e., abduction/adduction , flexion/extension,int ernal/external rotation and All rehabilitation tasks are defined into the spatial space, nevertheless, we have handled this problem by using the local control at the human pronation/ arm joints. supination This leads to obtain a arm—constrained therapy. It constraints at a predefined level the maximum motion of each joint with the help of the weighted inverse kinematics depending on the patient impairment degree. Belfast, October 21, 2009 SKILLS General Meeting 58 Improvement of the technological platform Three Axial Force Sensor. -Maximum Load: 100 N. -Resolution 0.0500 Volts/N. -Three axial sensing. -Nonlinearity 3%. -Made in PERCRO. Belfast, October 21, 2009 SKILLS General Meeting The overall control scheme Belfast, October 21, 2009 SKILLS General Meeting 59 Control mode developed within our system 1. Impedance Based Assistance. This mode lets the robot to take the control of the upper limbs transferring their position and perhaps their orientation; the patient—limbs are passive. 2. Performance based adaptation of task parameters o Triggered Gain Position Mode. In this mode, the patient starts applying a force for o triggering the motion; the exerted force by the patient modules the motion, adjusting the gains of the position controller which tracks the imposed trajectory in the task. 3. Composed Force/position Control Mode. The patient is constrained by a defined task in terms of kinaesthetic forces and positions onto his/her workspace; It induces active resistance to patient improving in this manner the patient coordination effort. 3. Direct Force Mode + Counterbalancing assistance. The patients can freely move their arm into a defined space wherein just the exerted force is controlled. 4. Open Loop assistance + Counterbalancing assistance. This option lets to patient interacting with the virtual environment trough several video—game—like applications; the patients use their actual skills for playing but exerting forces and positions of their limbs according the game responses. Bilbao, December 16th,2009 SKILLS Third Review Meeting Il task di reaching (mov. ballistico) Traiettoria di Jerk Minimo Traiettoria di rate of Torque minimo 60 13 Novembre 2007 Inverse Kinematics •Closed—Form d1 y0 α q2 q1 O0 z0 x0 0 q3 •Adduction/abduction movements need to be “freeze” at the beginning of the experiment, this fact results in a stringent action to the patient… •The last point can lead to compute an ill-posed solution, even though the adduction/abduction is freely to move •Iterative-Form d3 q4 q1 rc = Pc = ( xc , y c , z c )T q5 d5 Three—Axial Force Sensor O5 x5 Pc = ( xc , y c , z c )T z5 Belfast, October 21, 2009 xc + y c + z c •The pseudo-inverse and weighted pseudo-inverse can be computed as long as the states can be adapted for getting the null space J (q )† = W −1 J (q)T ( J (q )W −1 J (q)T ) W: diagonal matrix of weights −1 ∆qd = J (q)† ∆X d , qi +1 = qi + ∆qd SKILLS General Meeting 61 Iterative Solution 0.2 0.2 0 0 Angular Displacement [rad] Angular Displacament [rad] -0.2 w =100 1 -0.2 -0.4 -0.4 -0.6 w =50 -0.6 -0.8 w =1 w11=100 w1=50 1 w1=1 -0.8 -1 -1 -1.2 -1.2 -1.4 q -1.4 q 1 -1.6 -1.6 40 50 55 50 60 65 60 70 q 2 75 70 TimeTime[s] [s] q1d 3 80 q q2d qd 4 85 80 q3d qd 1 q4d 2 90 90 95 qd qd 3 100 4 100 o 1st trial: the weight corresponding to abduction/adduction was set 1, as well as the other weights. o Next, into second trial, the weight of the first joint was set to 50, o final trial the value of it was 100. Belfast, October 21, 2009 SKILLS General Meeting Constraint Planes Desired Trajecto ry c o Possibility of selecting a different control strategy among the 3 direction of spaces: •Longitudinal direction •Transversal directions Belfast, October 21, 2009 SKILLS General Meeting 62 David J. Reinkensmeyer1 and James L. Patton2 “Can Robots Help the Learning of Skilled Actions?” Focus on the restoration of functional movement: motor synergies In fact hemiparetic patients can exhibit abnormal joint coupling between shoulder and elbow joints (Brunnstrom 1970). Recovery of movements from stroke in the upper extremity begins with the development of a flexor synergy (shoulder abducation-elbow flexion) followed by an extensor synergy (shoulder adduction- elbow extension) pattern (Cuccurullo 2004), while isolated joint movements remain still compromised. In fact, only in the later stages of recovery from stroke, the reduction of the spasticity makes the patient able to make movements out of synergy and single joint movements. This deficit in single-joint control may result into a disruption of movement in terms of the required interjoint coordination (Levin, 1996 #44). Di Pietro, Krebs et al, (2009) Changing Motor Synergies in Chronic Stroke, J Neurophysiology 63 Cortical overlap of joint representations contributes to the loss of independent joint control following stroke Recent scientific evidences shown that there are significant increases in the overlap of shoulder and elbow joint representations at the cortical level in stroke subjects as compared to control subjects, measured by means of measured electroencephalographic (EEG) and torque signals during the generation of static shoulder/elbow torques. Yao, Chen (2009), Neuroimage Outward time in free movement after robotic training Results from our experiment of improvement in reaching movement execution? Controlateral Central Outward time comparison Ipsi lateral 10 8 6 4 2 Are synergies involved in this? 0 -2 -4 0 1 2 3 4 5 6 64 Active video motion capture Charnwood Dynamics coda 13 Novembre 2007 13 Novembre 2007 65 Upper limb drinking motion Marker Marker name 1 C3 2 C7 3 T12 4 Acromian 5 UArm wandP 6 UArm wandD 7 Lateral epicondyle 8 LArm wandP 9 LArm wandD 10 Radial styloid 11 Ulna styloid 12 3mcp 13 5mcp 13 Novembre 2007 Mean range = 91.8 º Mean range = 59.5 º 20 20 0 0 1 2 3 4 -20 -40 -60 -80 0 Angular displacement (º) Angular displacement (º) Elbow Flexion / Extension 0 1 2 3 4 -20 -40 -60 -80 -100 -100 Time (s) Time (s) Stroke Non-stroke 100 60 40 20 0 -20 0 1 2 3 -40 x y z 80 4 Displacement (mm) 60 -60 40 20 0 -20 0 1 2 3 4 -40 -60 -80 -80 -100 -100 Time (s) 13 Novembre 2007 100 x y z 80 Displacement (mm) Trunk (T12) Deviation Non-stroke Time (s) Stroke 66 CODA – angle angle plot Cup to mouth 130 Upward phase Shoulder angle (º) Shoulder angle (º) 135 130 Downward phase 125 Upward phase 125 Downward phase 120 120 20 40 60 80 100 120 Elbow angle (º) Non-Stroke 140 160 20 40 60 80 100 120 Elbow angle (º) Stroke 13 Novembre 2007 RIABILITAZIONE ROBOT-ASSISTITA NELL’ADULTO 67 Esercizi proposti Compito di raggiungimento Compito movimento vincolato Compito di manipolazione A Montagner, A Frisoli, Procopio C., B Rossi, et al. , A pilot clinical study on robotic assisted rehabilitation in VR with an arm exoskeleton device, Virtual Rehabilitation 2007, Venezia Frisoli A., Procopio C. , Rossi B. et al. “Arm rehabilitation with a robotic exoskeleleton in Virtual Reality”, Proc. of IEEE ICORR 2007, Intern. Conf. on Rehabilitation Robotics Pazienti selezionati Anno Ictus Sede della lesione FM(66) Ashworth Pt Sesso Eta 1 M 72 2003 Hemorrhagic temporo-parietal, cortical-subcortical left side 36 39 2 M 79 2005 Hemorrhagic posterior portion of the left lateral ventrical roof with an extension corresponding to the semioval center 52 22 3 M 37 2004 Hemorrhagic nucleo-capsule-radiata left side 12 21 4 F 42 1988 Hemorrhagic midbrain-thalamus left lesion 56 10 5 M 58 2006 Hemorrhagic intra-parenchymal lenticular-capsular left collection 57 9 6 M 69 2004 Ischemic extensive lesion in the left parietal side 12 24 7 M 58 2002 Hemorrhagic temporo-parietal left side 43 15 8 M 68 2004 Ischemic parieto-occipital, cortical-subcortical left side 37 17 9 M 70 2005 Hemorrhagic temporo-parietal left side 17 15 MODERATO GRAVE LIEVE 68 Acquisizione e analisi dei dati Le registrazioni cinematiche ed elettromiografiche sono state ottenute quando il soggetto ha eseguito tre diversi task di reaching: è stato utilizzato il sistema integrato Elite-BTS a 8 canali per gli EMG e 6 canali dedicati alle telecamere per l’analisi cinematica dei movimenti. Il task motorio è stato ripetuto 18 volte a differenti velocità e per raggiungere 3 differenti posizioni target: si è chiesto al paziente, per ogni posizione, di ripetere il movimento3 volte a velocità normale e 3 volte a velocità massima. Ipsilateral and central free movement Before training After training Healthy Volunteer 69 Contralateral space exploration Before training After training Healthy Volunteer In the ipsilateral and central reaching executions the outward movement results in a out-of-synergy movement consisting of a combination of elbow extension and shoulder abduction. While before training the movement is particularly segmented into the two phases of elbow extension and shoulder abduction, after the training both a reduction of the shoulder abduction associated to an increase of elbow extension and an improvement of the overall inter-joint coordination is present, with a decrease of segmentation and much more similar performance to the healthy subject’s one Esercizio in modalità antigravitazionale con grave danno di funzione Significativa riduzione del tempo di esecuzione della traiettoria Recupero fluidità del movimento Miglioramento del tempo di esecuzione del cerchio PRE POST 70 lieve moderato Andamento temporale durante le sessioni per i due parametri In ascisse i giorni/sedute di trattamento Profilo di velocità del gomito In un soggetto sano è possibile Joint velocity in reaching considerare il profilo della velocità di apertura dell’angolo della spalla o del gomito; i due picchi corrispondono ai movimenti di andata e ritorno nel movimento di reaching, come riportato in figura. Levin, M.F., Interjoint coordination during pointing movements is disrupted in spastic hemiparesis. Brain, 1996. 119(1): p. 281. In modo analogo è possibile definire un parametro chiamato T-angle, dal grafico ottenuto da velocità di apertura dell’angolo sull’angolo stesso, per ogni articolazione. In un paziente sano con una buona coordinazione articolare tale parametro dovrebbe essere simile ad un cerchio. Cirstea, Levin et al., Interjoint coordination dynamics during reaching in stroke, Exp Brain Res (2003), 151:298-300 T-angles Angular velocity Angular displacement 71 Acquisizione e analisi dei dati Le registrazioni cinematiche ed elettromiografiche sono state ottenute quando il soggetto ha eseguito tre diversi task di reaching: è stato utilizzato il sistema integrato Elite-BTS a 8 canali per gli EMG e 6 canali dedicati alle telecamere per l’analisi cinematica dei movimenti. Il task motorio è stato ripetuto 18 volte a differenti velocità e per raggiungere 3 differenti posizioni target: si è chiesto al paziente, per ogni posizione, di ripetere il movimento3 volte a velocità normale e 3 volte a velocità massima. Caratteristiche del movimento (elevata severità) FM<2 0 Elbow angle at normal velocity before rehabilitation Elbow angle at normal velocity after rehabilitation 10 20 88 Joint velocity in reaching 90 0 Velocity (°/s) Angle (°) Angle (°) 0 Velocity (°/s) 5 86 84 -5 82 -10 0 1 2 3 4 t (sec) 5 6 7 8 0 0.5 1 Elbow angle at normal velocity before rehabilitation -20 3 2.5 100 outward inward 80 outward inward 80 60 60 40 velocità (°/s) velocity (°/s) 2 Elbow angle at normal velocity after rehabilitation 100 T-angles 1.5 t (sec) 20 0 40 20 0 -20 -20 -40 -40 -60 50 55 60 65 70 75 angle (°) 80 85 90 95 100 -60 50 55 60 65 70 75 angle (°) 80 85 90 95 100 72 Caratteristiche del movimento (media severità) 20<FM<50 Elbow angle at normal velocity after rehabilitation Elbow angle at normal velocity before rehabilitation 50 50 100 0 0 100 0 2 4 6 8 10 12 0 -50 14 1 2 3 t (sec) 4 t (sec) 5 6 Velocity (°/s) Angle (°) Velocity (°/s) Angle (°) Joint velocity in reaching -50 8 7 Elbow angle at normal velocity after rehabilitation Elbow angle at normal velocity before rehabilitation 120 120 T-angles outward inward 100 outward inward 100 80 80 60 60 40 velocità (°/s) velocity (°/s) 40 20 0 20 0 -20 -20 -40 -40 -60 -60 -80 -80 -100 70 -100 70 80 90 100 110 angle (°) 120 130 140 80 90 100 150 110 angle (°) 120 130 140 150 Caratteristiche del movimento (bassa severità) 50<FM<66 Elbow angle at normal velocity before rehabilitation Elbow angle at normal velocity after rehabilitation 200 150 Joint velocity in reaching 110 100 100 90 0 Velocity (°/s) Angle (°) 0 Velocity (°/s) Angle (°) 50 100 -50 80 -100 70 0 0.5 1 1.5 2 t (sec) 2.5 3 0 -200 4 3.5 0.5 1 1.5 2 2.5 -150 3.5 3 t (sec) Elbow angle at normal velocity before rehabilitation T-angles Elbow angle at normal velocity after rehabilitation outward inward 100 outward inward 100 50 velocità (°/s) velocity (°/s) 50 0 -50 -100 50 0 -50 -100 60 70 80 90 angle (°) 100 110 120 130 50 60 70 80 90 angle (°) 100 110 120 130 73 Risultati clinici Si è riscontrato un miglioramento significativo per : o Scala Fugl-Meyer o Scala Asher o Range di movimento articolari: attivi e passivi Paziente Pre-trattamento Post-trattamento 1 36 41 Differenza 5 2 52 58 6 3 12 20 8 4 56 57 1 5 57 60 3 6 12 13 1 7 43 46 3 8 37 44 7 9 17 18 1 A. Frisoli, C. Procopio, B. Rossi, et al. Robot-Mediated Arm Rehabilitation in Virtual Environments for Chronic Stroke Patients: A Clinical Study , Proceedings of IEEE International Conference on Robotics & Automation ICRA 2008. Meccanismo a feedback Desired output + Comparator Controller Output Feedback Sensory system 74 Controllo a feedback ideale 1 0.9 0.8 Posizione mano 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 2 4 6 8 10 tempo (sec) 12 14 16 18 Effetto dei ritardi biologici Errore rilevato Ritardo di conduzione dal recettore al SNC Ritardo di conduzione muscolo-cervello Ritardo muscolo per La generazione di forza La correzione ha inizio qui 75 Effetto dei ritardi 200 150 Posizione mano 100 50 0 -50 -100 -150 -200 0 0.1 0.2 0.3 0.4 0.5 0.6 tempo (sec) 0.7 0.8 0.9 1 Effetto dirompente di un ritardo di soli 50 msec Anticipazione dei comandi motori Il ritardo nei sistemi sensoriali limita il loro uso ai movimenti lienti La stima dei movimenti veloci viene effettuata attraverso dei sistemi predittori in avanti Esistenza di repertorio motorio con funzioni motorie pre-programmate (es. Movimento ballistico) 76 Il task di reaching (mov. ballistico) Traiettoria di Jerk Minimo Traiettoria di rate of Torque minimo Meccanismi a compensazione anticipatoria Learning + Desired output Feedforward controller Stored program Generator Output 77 Internal feedback-efferent copy Desired output Feedforward controller Comparator for internal and external feedback Generator Output Internal feedback External feedback Feedforward and feedback loops Brain Feedforward input Feedback (efferent copy) Feedback Spinal cord Output 78