Interfacce Uomo-Macchina avanzate Advanced Human Machine

Testo inglese
Interfacce Uomo-Macchina avanzate
Dipartimento di Bioingegneria
Advanced Human Machine interfaces
Gruppo di ricerca
Research group
Giuseppe Andreoni
Luca Maggi
Luca Piccini
Sergio Parini
Anno di avvio attività
Beginning of activity
2003
Cooperazioni nazionali e internazionali
National and international collaboration
IRCCS “La Nostra Famiglia”, Bosisio Parini, (LC)
AST - STMicroelectronics, Agrate (MI)
Una Brain Computer Interface (BCI) è una
interfaccia uomo-macchina che, senza far uso dei
normali canali di comunicazione del sistema nervoso
centrale quali i nervi periferici e i muscoli, è in
grado di stabilire una modalità di comunicazione
diretta tra il cervello e il mondo esterno. Le attività
fisiologiche di diverse aree cerebrali possono
essere correlate con le intenzioni del soggetto o
modulate dall’interazione dello stesso con l’ambiente
circostante: per esempio l’onda P300 si verifica
quando l’attenzione del soggetto è catturata da
50
A Brain Computer Interface (BCI) is a new humanmachine communication system that doesn’t rely
on the normal output pathways of the central
nervous system, like peripheral nerves and muscles,
but introduces a direct communication channel
between the brain and the external world. The
physiological activity of different areas of the brain
are correlated either with the subject intention or
with the interaction of the subject with the external
world: for example the P300 occurs when the
subject attention is captured by a cognitive stimulus.
1.
Struttura tipica di un sistema BCI
Structure of a typical BCI
system
2.
Il caschetto EEG da noi
sviluppato
Picture of our EEG helmet.
uno stimolo con valenza cognitiva. Un sistema BCI
cerca di riconoscere determinate attività cerebrali
che possono essere definite esogene (se generate da
particolari stimoli esterni), endogene (se generate
autonomamente dal soggetto mediante esercizi di
concentrazione o immaginazione) e di associarle
a comandi utili per l’interazione con il computer e
tramite questo con l’ambiente.
A BCI equipment exploits these phenomena
trying to detect some modifications in the brain
activity. Such patterns are defined exogenous when
generated by specific external stimuli, endogenous
if they are autonomically generated by the subject
(during concentration or imagination tasks). The
fundamental principle is to associate those variations
with commands useful to interact with the external
environment through a computer or similar devices.
Since ’70, BCIs have been studied, for military
purposes. The poor performances in terms of
information throughput and in terms of reliability
didn’t allow to reach the objective of driving and
aircraft or activating a weapon. Scientists have
explored the advantages and the applications of
a direct connection between the brain and the
external world in other fields, but nowadays the
most important and fascinating application of a BCI
is the aid to disabled people. Since there are many
other technologies able to improve the residual
abilities of the subject, the BCI addresses people with
severe disabilities and whose residual capabilities are
minimal.
Stato dell’arte
Attualmente l’elettroencefalogramma (EEG) è il
segnale più utilizzato per estrarre le informazioni
necessarie per questo genere di informazioni.
Come affermato precedentemente una BCI sfrutta le
informazioni relative all’attività fisiologica cerebrale
per comprendere e tradurre in comandi le intenzioni
del soggetto. Il sistema si compone tipicamente dei
blocchi seguenti (Figura 1):
1.un sistema di acquisizione;
2.un sistema per l’elaborazione dei dati in tempo
reale;
3.una interfaccia utente.
Il metodo per la rilevazione dell’attività cerebrale
51
è l’elettroencefalogramma (EEG). Il segnale EEG
riflette l’attività elettro-fisiologica del cervello e
può essere utilizzato utilizzando elettrodi applicati
sullo scalpo. Sono disponibili anche altre tecnologie,
tuttavia richiedono strumentazione più ingombrante
e costosa.
Per poter estrarre un comando dal segnale
ricevuto, è necessario un sistema di elaborazione:
questo sistema deve essere sufficientemente veloce
da assicurare un funzionamento in real-time.
L’utente deve svolgere specifiche e predeterminate
operazioni mentali affinché sia prodotto un segnale
riconoscibile e associabile a uno specifico comando:
ciascun comando è associato a una classe di attività
cerebrali simili.
In primo luogo un blocco di estrazione delle features
estrae alcuni parametri descrittivi del segnale che
permettono di dividerlo in classi differenti.
Un vettore di features identifica uno spazio multi
dimensionale nel quale ciascuna classe è localizzata
in un punto diverso.
Il classificatore ha il compito di identificare la linea
di demarcazione tra una classe e l’altra: in questo
modo, date le coordinate che collocano un certo
segnale in un punto nello spazio, è possibile risalire a
quale classe appartiene.
In seguito alla classificazione è possibile associare
questa ultima a un comando.
Questa operazione viene eseguita dall’interfaccia
utente che può essere un’applicazione di wordprocessing, l’attivazione di una stimolazione elettrica
funzionale oppure di un dispositivo domestico.
I risultati consolidati della ricerca mondiale
permettono di considerare la BCI come un ausilio
domestico per le persone affette da disabilità.
Questa affascinante prospettiva, tuttavia, deve
scontrarsi con il fatto che questi sistemi sono spesso
voluminosi, ingombranti e troppo costosi per essere
considerati una soluzione adatta all’applicazione
domestica della BCI. Ulteriormente il numero di
canali EEG utilizzati dagli algoritmi dovrebbe essere
minimizzato al fine di semplificare l’applicazione
degli elettrodi; l’algoritmo di classificazione e
di estrazione delle features dovrebbe escludere
ridondanze per ridurre il carico computazionale del
computer.
52
State of the art
Nowadays the electroencephalogram (EEG) signal
is the most frequently used signal to extract the
information required for the implementation of a
BCI system.
As stated before a BCI has to exploit the information
about the brain physiological activity in order to
understand the user’s intention. In order to perform
such an operation, the system is typically composed
by the following blocks:
1.a data acquisition system;
2.a data processing real-time system;
3.a user interface.
The most diffused method for the acquisition of the
brain activity is the electroencephalogram (EEG).
The EEG signal reflects the electrophysiological
activity of the brain and can be recorded by means
of superficial electrodes applied on the scalp. There
are also other ways to record the brain activity, but
those techniques are invasive or require extremely
expensive or bulky instrumentation.
In order to extract the user’s will from the signal
there is a data processing system: this system must
process all the data as fast as possible in order to
provide a real-time operation. The user has to
perform some kind of activity in order to produce
the signal associated to a specific command: each
command is identified by a class of similar brain
activities.
The first part is a block which performs a data
preprocessing in order to reject artefact and to
increase the signal to noise ratio (SNR), some kind
of elaboration are band-pass filtering, adaptive
filtering of envelope extraction.
After that a feature extraction block extracts the
parameters (called ‘features’) from the signal which
can be used to discriminate between different classes
of possible commands. Typical features are the
power density in certain areas of the spectrum, the
value and the index of the maximum and the root
mean square amplitude.
The features vector identifies a multidimensional
space inside which each class is situated in a
different place. The classifier has to identify the
border of discrimination between each area in order
to be able, given the coordinates of the signal in the
space of the features, to understand to which class it
Obiettivi e stato di avanzamento del progetto
L’aspetto che maggiormente caratterizza questo
progetto è l’utilizzo di sensori miniaturizzati e
indossabili e di dispositivi elettronici in grado di
sfruttare tutte le risorse residue delle persone disabili
permettendo all’individuo di interagire con il
mondo esterno.
Lo scopo di questo progetto è mettere a disposizione
un sistema BCI affidabile, robusto ed
economico. Questo obiettivo sarà raggiunto
progettando un framework per la realizzazione,
il test e l’applicazione della BCI basandosi su un
sistema wearable. Più in dettaglio, il nostro sistema
attualmente è composto da un elmetto indossabile
chiamato Kimera in grado di acquisire diversi
biosegnali, principalmente il segnale EEG. Grazie a
un microprocessore a bordo, il sistema sarà in grado
di effettuare localmente e in real-time l’elaborazione
del segnale e di controllare il programma
(Bellerophonte) in esecuzione sul computer. Il
paradigma BCI da noi utilizzato si basa su due
protocolli, SSVEP e Motor Imagery. Il primo si basa
sull’utilizzo di stimoli luminosi intermittenti per la
generazione di potenziali evocati che vengono poi
associati a comandi specifici. Il secondo, sicuramente
più interessante, prevede invece il riconoscimento di
segnali evocati autonomamente dal soggetto
durante la preparazione del movimento, senza
richiedere l’effettiva esecuzione dello stesso.
La semplicità di utilizzo e il basso costo della
piattaforma formata da Kimera e Bellerophonte
renderanno possibile lo sviluppo di applicazioni BCI
domestiche e studi a lungo termine dell’applicazione
di questa tecnologia.
corresponds.
After the class is identified it is possible to associate it
to a command. The command is executed by the user
interface: it can be a word processing application, a
functional electrical stimulation of some muscles or
the activation of a home automation device.
Now the consolidated outcomes of the worldwide
research allow to conceive BCI as a potential
actual aid for people at home. This fascinating
perspective faces the problems related to those
systems, which often are bulky and too expensive to
become a practical solution for domestic appliance
of BCI. Moreover the number of channel used by
the algorithms should be minimized in order to
simplify the application of electrodes; the feature
extraction and classification algorithm should avoid
redundancy in order to reduce the computational
workload to the host computer.
Objectives and current work
The focus of this project is the use of wearable
sensors and microelectronics technologies in
order to exploit all the available resources from
the disabled to allow them to interact with the
surrounding environment. The aim of this project
is to provide a reliable, smart and low cost system.
This objective will be achieved by designing a
framework for the realization, the test and the
application of BCI at home, based on wearable
system. More in detail, our system is composed of
a wearable EEG helmet (called Kimera) with a on
board Data Processing Unit, able to perform a local
real-time processing and to control the software
(Bellerophonte) running on the host computer by a
low-power RF connection.
Our BCI paradigm is based on two protocols, the
SSVEP and the Motor Imagery. The first requires
different flashing sources in order to generate visual
evoked potential mapped on specific commands.
The second, without doubt the most interesting one,
uses the signals generated when the subjects prepare
their movement, without requiring its execution.
The user-friendliness and low cost of the
Kimera&Bellerophonte platform will make it suitable
for the development of home BCI applications, and
long term application studies.
53