Analisi e valutazione di algoritmi per eye tracking operanti in - e-Lite

Transcript

POLITECNICO DI TORINO
III Facoltà di Ingegneria
Corso di Laurea in Ingegneria Informatica
Tesi di Laurea Magistrale
Analisi e valutazione di algoritmi
per eye tracking operanti in luce
visibile
Relatore:
Prof. Fulvio Corno
Candidato:
Alessio Moscatello
Novembre 2007
Indice
1 Introduzione
1
2 Eye
2.1
2.2
2.3
2.4
tracking
Storia . . . . . . . . . . . . . . . . . . . .
Utilizzi . . . . . . . . . . . . . . . . . . . .
Classificazione . . . . . . . . . . . . . . . .
Funzionamento . . . . . . . . . . . . . . .
2.4.1 Determinazione del punto osservato
2.4.2 Calibrazione . . . . . . . . . . . . .
2.5 Sistemi commerciali . . . . . . . . . . . . .
2.6 Panoramica sugli algoritmi di eye tracking
2.6.1 Algoritmi in tempo reale . . . . . .
2.6.2 Algoritmi di analisi offline . . . . .
3 Ambiente di test
3.1 Introduzione . . . . . . . . . . . . .
3.2 Database dei filmati . . . . . . . .
3.2.1 Struttura XML . . . . . . .
3.2.2 DTD . . . . . . . . . . . . .
3.3 Tagger . . . . . . . . . . . . . . . .
3.3.1 Interfaccia dell’applicazione
3.4 Benchmark . . . . . . . . . . . . .
3.4.1 Interfaccia dell’applicazione
3.4.2 Struttura dell’applicazione .
3.4.3 Classe Algo . . . . . . . . .
3.4.4 Classe InfoFrame . . . . . .
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
6
7
8
10
13
15
15
18
18
20
.
.
.
.
.
.
.
.
.
.
.
23
23
24
24
27
28
29
30
30
31
33
37
3.4.5
3.4.6
Classe Starbust . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Classe Sandra . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4 Algoritmi scelti e implementati
4.1 Starbust . . . . . . . . . . . .
4.1.1 Adattamenti . . . . . .
4.2 Active Shape Model . . . . .
4.2.1 Adattamenti . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5 Test
5.1 Introduzione . . . . . . . . . . . . . . . . . .
5.1.1 Parametri di riferimento . . . . . . .
5.2 Test effettuati su Starbust . . . . . . . . . .
5.2.1 Parametri ottimali . . . . . . . . . .
5.2.2 Prestazioni globali dell’algoritmo . .
5.3 Test effettuati su ASM . . . . . . . . . . . .
5.3.1 Effetti della variazione dei parametri
5.3.2 Effetti della variazione del modello .
5.4 Test comparativi . . . . . . . . . . . . . . .
5.4.1 Caso migliore . . . . . . . . . . . . .
5.4.2 Caso medio . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6 Conclusioni
6.1 Analisi dei risultati . . . . . . . . . . . . . . .
6.2 Miglioramenti relativi a Starbust . . . . . . .
6.3 Miglioramenti relativi ad Active Shape Model
6.4 Miglioramenti degli strumenti di cattura . . .
6.5 Ulteriori analisi . . . . . . . . . . . . . . . . .
A Appendici
A.1 Anatomia dell’occhio .
A.1.1 Termini medici
A.2 Libreria Qt . . . . . .
A.3 Libreria OpenCV . . .
A.4 Classificatore Haar . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
41
42
48
51
54
.
.
.
.
.
.
.
.
.
.
.
57
57
58
59
59
66
68
68
68
73
73
74
.
.
.
.
.
76
76
77
77
78
79
.
.
.
.
.
80
80
83
84
84
84
A.5 Filtri per immagini . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
A.5.1 Filtro smooth . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
A.5.2 Filtro sharpening . . . . . . . . . . . . . . . . . . . . . . . . . 86
3
Elenco delle tabelle
5.1
5.2
5.3
5.4
5.5
5.6
Prestazioni globali di Starbust . . . . . . . . . . . . . . . .
Effetti della variazione dei parametri di ASM . . . . . . . .
Effetti della variazio del modello utilizzato da ASM . . . .
Variazione della statistica al variare del modello utilizzato
Prestazioni dei due algoritmi nel caso migliore . . . . . . .
Prestazioni dei due algoritmi nel caso medio . . . . . . . .
4
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
66
68
69
69
74
74
Elenco delle figure
2.1 Un esempio dell’utilizzo dell’eye tracking è l’analisi delle fissazioni che
l’occhio effettua durante la lettura . . . . . . . . . . . . . . . . . . . .
7
2.2 Videooculografia con pupilla e riflesso corneale . . . . . . . . . . . . . 11
2.3 Sistema completo che utilizza la pupilla e il riflesso corneale . . . . . 12
2.4 Sistema indossabile e schema della tastiera visibile sullo schermo . . . 13
2.5 Sistema che si basa solo sulla pupilla utilizzando videocamera a basso
costo e software di elaborazione immagini . . . . . . . . . . . . . . . . 13
2.6 Un sistema di elettrooculografia . . . . . . . . . . . . . . . . . . . . . 14
2.7 Esempio di calibrazione statica con un numero crescente di punti . . . 16
2.8 Esempio di calibrazione dinamica: il punto si muove sullo schermo
con un percorso casuale . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.9 Immagine che rappresenta le differenze tra due fotogrammi successivi,
i cerchi bianchi indicano le differenze attribuite al movimento delle
palpebre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.10 Sequenza delle operazioni effettuate dall’algoritmo di Amarnag: (a)
output dopo il pre-processamento (b) output dopo il classificatore
Bayesiano (c) output dopo l’algoritmo di clustering (d) risultato finale 20
2.11 Schema della rete neurale competitiva proposta da Marcone et al. . . 21
2.12 Esempio di variazioni possibili di un modello deformabile dell’iride:
1 traslazione, 2 scalamento, 3-5 combinazione di trasformazioni, 6-9
trasformazioni complesse . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.13 Training set utilizzato per addestrare la rete neurale utilizzata nell’algoritmo descritto da Pedersen e Spivey . . . . . . . . . . . . . . . 22
3.1 Il disegno raffigura la struttura dei tag che rappresentano occhi e pupille 26
3.2 Un fotogramma in cui sono visibili i tag relativi a pupille, occhi e naso 29
5
3.3 Anteprima dell’analisi di un filmato: si nota il riferimento della pupilla
(cerchio verde) e il centro della pupilla rilevata (croce gialla) . . . . . 31
3.4 Finestra di configurazione dell’algoritmo Starbust . . . . . . . . . . . 32
4.1 Posizionamento della webcam nel sistema openEyes . . . . . . . . . . 43
4.2 Immagine dell’occhio prima dell’eliminazione del riflesso corneale . . . 44
4.3 La stessa immagine di figura 4.2 dopo l’eliminazione del riflesso corneale 44
4.4 Ricerca punti caratteristici della pupilla utilizzando l’algoritmo Starbust 46
4.5 La figura mostra l’ellisse risultante dopo aver applicato all’immagine
l’algoritmo Starbust . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.6 Un’immagine del training set (8 picchetti) utilizzato per riconoscere
l’occhio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.7 Modello dell’occhio con 16 picchetti . . . . . . . . . . . . . . . . . . . 55
4.8 Modello con 16 picchetti: si può notare che il baricentro (in giallo)
non corrisponde al centro della pupilla, perchè quest’ultima è spostata
verso sinistra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.9 Modello con 8 picchetti: in questo caso il baricentro dei picchetti (in
giallo) corrisponde alla pupilla anche se non si trova al centro dell’occhio 56
5.1 Andamento della precisione e del tempo di elaborazione all’aumentare
del numero di raggi utilizzati per analizzare un filmato che riprende
l’intero volto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.2 Andamento della precisione e del tempo di elaborazione all’aumentare
del numero di raggi utilizzati per analizzare un filmato che riprende
solamente l’occhio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.3 Influenza della dimensione del riflesso corneale su un’immagine del
volto intero . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.4 Influenza della dimensione del riflesso corneale su un’immagine dell’occhio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.5 Influenza del numero di feature utilizzate per l’interpolazione dell’ellisse nel caso di un filmato che riprende solamente l’occhio . . . . . . 62
5.6 Influenza del numero di feature utilizzate per l’interpolazione dell’ellisse nel caso di un filmato del volto, in condizioni di scarsa luminosità 63
5.7 Influenza del numero di feature utilizzate per l’interpolazione dell’ellisse nel caso di un filmato del volto, in condizioni di ottima luminosità 63
6
5.8 In condizioni di buona illuminazione e alta qualità del filmato, la
variazione del livello di soglia causa una variazione dell’errore medio
molto ridotta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.9 Utilizzando un filmato con illuminazione ambientale più bassa, la
variazione della soglia influisce sull’errore . . . . . . . . . . . . . . .
5.10 Utilizzando un filmato di bassa qualità e luminosità (webcam) la
variazione della soglia influisce molto sull’errore . . . . . . . . . . .
5.11 Funzione di probabilità stimata nel caso di un modello poco accurato,
sono separati i dati relativi all’errore in direzione orizzontale e l’errore
in direzione verticale . . . . . . . . . . . . . . . . . . . . . . . . . .
5.12 Funzione di probabilità stimata nel caso di un modello accurato . .
5.13 Funzione di probabilità stimata nel caso di un modello errato (il grafico è stato espanso per evidenziare i picchi secondari), in questo caso sono stati accorpati gli errori relativi all’asse delle ascisse e delle
ordinate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.14 Funzione di probabilità stimata nel caso di un modello accurato . .
A.1 Anatomia dell’occhio . . . . . . . . . . . . . . . . . . . . . . . . . .
A.2 Sezione del bulbo oculare . . . . . . . . . . . . . . . . . . . . . . . .
A.3 Formazione dell’immagine sulla retina . . . . . . . . . . . . . . . . .
7
. 64
. 65
. 65
. 70
. 71
.
.
.
.
.
71
72
80
81
83
Capitolo 1
Introduzione
Un sistema di eye tracking è un dispositivo che permette di tracciare la posizione
della pupilla e di risalire al punto osservato dall’utente: è un sistema complesso
che permette di utilizzare lo sguardo per interagire con strumenti elettronici. Gli
utilizzi di un eye tracker possono essere molteplici (cap. 2.2), ma per questa tesi ci
si è concentrati sui sistemi di eye tracking che si integrano con i normali personal
computer: lo sguardo viene utilizzato per spostare il cursore sullo schermo senza
dover utilizzare un mouse.
La nascita dell’eye tracking può essere fatta risalire ai primi studi sui movimenti
oculari dell’Ottocento (5), ma solamente negli ultimi vent’anni le tecnologie di eye
tracking si sono sviluppate al punto da rendere disponibili sistemi commerciali molto
precisi, anche se molto costosi. Con il progredire delle tecniche di Computer Vision
si sono sviluppati sistemi di eye tracking a basso costo; questi sistemi, a differenza
di quelli commerciali, utilizzano la luce visibile anziché l’infrarosso: utilizzando la
luce visibile per riprendere l’occhio i contorni della pupilla risultano meno definiti,
perciò gli eye tracker in luce visibile sono meno precisi di quelli commerciali, ma,
dato il costo ridotto, sono accessibili ad un maggior numero di utenti.
Lo scopo di questa tesi è creare una piattaforma di benchmarking per effettuare
un’analisi oggettiva e dettagliata di algoritmi di eye tracking che utilizzino periferiche a basso costo. Il sistema di eye tracking che verrà analizzato in questa tesi
è costituito da una videocamera e un personal computer: la videocamera riprende il volto dell’utente mentre il computer, analizzando i singoli fotogrammi, ricava
la posizione del punto osservato. Le videocamere utilizzate non verranno in alcun
1
1 – Introduzione
modo modificate e verranno posizionate in modo da non interferire con il normale
utilizzo del computer: in questo modo si vuole testare un sistema che sia facilmente
utilizzabile da qualsiasi utente.
I motivi che hanno portato allo studio di questo sistema di valutazione sono
molteplici. Innanzi tutto esistono numerosi algoritmi in letteratura, ma è difficile
effettuarne un confronto utilizzando i dati presentati negli articoli che li descrivono.
Ogni ricercatore, infatti, utilizza parametri di valutazione diversi e diverse sono le
condizioni in cui gli algoritmi vengono testati: mancano, quindi, criteri oggettivi
per effettuare una comparazione. Inoltre si deve ricordare che non sempre sono
disponibili i mezzi per effettuare studi di usabilità e, qualora vi siano, è difficile
trovare utenti disponibili ad effettuare lunghi e, talvolta, ripetitivi test.
Il sistema di test non opererà in tempo reale, perché per stabilire la precisione di
un algoritmo è necessario disporre di una serie di riferimenti con cui confrontare le
misure che fornisce: tipicamente un algoritmo di eye tracking fornisce come output
la posizione della pupilla, ma per calcolarne l’errore devono essere disponibili le
coordinate della pupilla relative al fotogramma esaminato. Sfortunatamente non
esistono database pubblici che memorizzino anche solo la posizione delle pupille,
perciò si è deciso di crearne uno ex novo.
Il database di filmati è stato costruito utilizzando tre tipologie di periferiche video: una webcam, una fotocamera digitale e una telecamera per videoconferenza.
Sono state utilizzate queste tre tipologie, perchè possono essere considerate a basso costo: il prezzo di una normale webcam è di circa 20 e mentre la telecamera
per videoconferenza ha un costo di circa 800 e. I filmati sono stati realizzati non
solo in condizioni di luce ottimale, ma anche in condizioni di scarsa illuminazione:
infatti in una prospettiva di utilizzo realistica non è sempre possibile intervenire
sull’illuminazione ambientale.
La struttura del database (cap. 3.2) è stata progettata per poter memorizzare
un numero variabile di dati relativi ai fotogrammi: per ogni fotogramma si possono
memorizzare dei riferimenti che permettono di stabilire l’esatta posizioni di pupille
e occhi, inoltre la struttura permette di inserire riferimenti non previsti inizialmente come, ad esempio, la posizione delle sopracciglia. Nel caso specifico, oltre alla
posizione di occhi e pupille, si è scelto di memorizzare la posizione del naso, perché
alcuni algoritmi si basano sugli spostamenti del naso per tracciare il movimento del
viso dell’utente.
2
1 – Introduzione
La gestione del database viene effettuata con un’applicazione dedicata (cap. 3.3)
che permette di posizionare i riferimenti (o tag) un fotogramma alla volta. L’applicazione è stata progettata per velocizzare il posizionamento dei riferimenti: infatti
il numero di fotogrammi da elaborare può essere molto elevato anche se si utilizzano
filmati con il modesto frame rate tipico delle fotocamere a basso costo (15 fotogrammi/s). I dati memorizzati dall’applicazione vengono descritti con il formalismo XML
che li rende indipendenti dall’ambiente in cui sono stati ricavati: il database, in questo modo, potrà essere facilmente riutilizzato anche con applicazioni completamente
diverse da quelle sviluppate per questa tesi.
La realizzazione dell’ambiente di test (cap. 3.4) ha richiesto un notevole sforzo
progettuale volto alla creazione di un’applicazione facilmente espandibile, ma che
fosse abbastanza generica da poter implementare un qualunque tipo di algoritmo
per eye tracker a basso costo. É stato utilizzato un approccio ad oggetti per avere
un alto livello di astrazione che permetta di elaborare efficacemente i dati ricavati
dai test e per facilitare l’utilizzo dell’ambiente agli altri componenti del gruppo di
ricerca presso cui è stata realizzata la tesi.
La ricerca degli algoritmi da implementare e testare ha richiesto un’attenta analisi degli articoli riguardanti l’eye tracking a basso costo (cap. 2.6): gli approcci
possibili sono molti e spesso radicalmente differenti, perciò la scelta è stata effettuata analizzando dettagliatamente i punti di forza e le debolezze di ogni tipo di
algoritmo. Le principali differenze rilevate riguardano la modalità di ricerca della
pupilla e il livello di generalità dell’algoritmo. La ricerca della pupilla può essere
effettuata sull’intera immagine o su una porzione limitata di essa: in questo secondo
caso l’algoritmo deve essere strutturato per cercare, anche approssimativamente, la
posizione dell’occhio e, successivamente, effettuare una ricerca più precisa della pupilla. Alcuni algoritmi sono abbastanza generici da poter essere utilizzati in qualsiasi
situazione, altri hanno notevoli limitazioni e richiedono una fase di training. La fase
di addestramento di un algoritmo può essere molto semplice, ad esempio la selezione
dell’area in cui effettuare la ricerca, oppure può essere molto complessa, ad esempio
nel caso in cui l’occhio venga rappresentato da un modello che deve essere ricavato
per ogni utente. Si è ritenuto opportuno analizzare algoritmi di cui fosse disponibile il codice sorgente: infatti implementare un algoritmo partendo solamente dallo
pseudocodice può essere causa di errori che portano a prestazioni molto differenti
da quelle dichiarate dall’autore dell’algoritmo. Inoltre si è scelto di testare algoritmi
3
1 – Introduzione
il cui principio di funzionamento fosse radicalmente differente, per cercare di capire
quale fosse l’approccio migliore.
La scelta è ricaduta sugli algoritmi Starbust e Active Shape Model (cap. 4).
Starbust utilizza tecniche peculiari di Computer Vision e non necessita di addestramento: la posizione della pupilla viene rilevata partendo dalla ricerca del riflesso
corneale; successivamente, partendo dalla posizione del riflesso, vengono rilevati i
pixel che presentano il più alto contrasto ovvero i pixel che corrispondono al contorno della pupilla. ASM utilizza un modello dell’occhio e necessita di addestramento:
il modello dell’occhio, specifico per ogni utente, viene creato a mano e presenta alcuni parametri che consentono di deformarlo. La ricerca dell’occhio nell’immagine
avverrà traslando e deformando il modello in relazione alle caratteristiche dell’immagine. La struttura di questi due algoritmi è differente, perché si è scelto di testare
due approcci completamente diversi per stabilire quale dei due fosse il più adatto
per tracciare i movimenti della pupilla.
I test effettuati sono stati divisi in due gruppi, in quanto si è voluto dapprima
analizzare gli algoritmi singolarmente e, solo successivamente, confrontarli (cap. 5).
Il primo gruppo di test era volto a stabilire quali fossero le condizioni di utilizzo ottimale del singolo algoritmo: perciò si è cercato di stabilire quali fossero i parametri
migliori con cui inizializzare l’algoritmo. Il numero di test effettuati in questa fase è
differente per i due algoritmi: a differenza di Starbust, per cui sono stati effettuati
numerosi test, ASM ha un numero di parametri molto ridotto, in quanto il comportamento è quasi completamente influenzato dal modello utilizzato. Nel secondo
gruppo di test si è cercato di stabilire quale dei due algoritmi avesse prestazioni
migliori rispetto ad alcuni indici di riferimento.
Gli indici scelti per confrontare gli algoritmi sono: il tempo medio di elaborazione
di un fotogramma e l’errore medio di rilevamento della pupilla. Il tempo medio di
elaborazione permette di avere una stima della reattività del sistema; mentre l’errore
medio di rilevamento della pupilla permette di stimare la precisione del sistema, in
quanto incide direttamente sulla precisione con cui viene ricavato il punto osservato.
Analizzando i risultati dei test effettuati si è potuto concludere che Starbust ha
un tempo di elaborazione estremamente ridotto e un errore medio inferiore ad ASM,
ma la misura della posizione della pupilla è soggetta ad una certa rumorosità; ASM,
d’altro canto, è più lento, ma la posizione rilevata ha una variazione minore. La
rumorosità delle misure è un parametro da analizzare attentamente, in quanto, se
4
1 – Introduzione
troppo elevato, può rendere difficile il rilevamento delle fissazioni, ovvero le aree
dello schermo in cui lo sguardo rimane fisso per un certo periodo di tempo.
L’approfondita analisi dei due algoritmi ha permesso di accertare che entrambi
hanno spazio per alcuni miglioramenti. Starbust può essere migliorato riducendone la rumorosità (cap. 6.2), mentre ASM può essere migliorato riducendone la
complessità computazionale(cap. 6.3).
I test effettuati hanno permesso di stabilire una relazione tra la qualità della
periferica di acquisizione e l’errore di rilevamento della pupilla: l’errore minimo
si ottiene utilizzando la telecamera per videoconferenza, che presenta un’elevata
qualità dell’immagine, mentre l’errore massimo si ottiene utilizzando la webcam che
presenta immagini molto degradate. Il compromesso migliore tra costo e precisione
si ottiene però con la fotocamera digitale: presenta un errore medio maggiore, ma
ha un costo che è circa la metà rispetto alla telecamera per videoconferenza.
I risultati ottenuti testando questi algoritmi confermano che la precisione ottenibile da sistemi a luce visibile è inferiore a quella ottenibile da sistemi a luce
infrarossa, ma il miglioramento delle periferiche di acquisizione e il raffinamento degli algoritmi può portare a sistemi a basso costo che potranno essere affiancati ai
normali canali di input.
5
Capitolo 2
Eye tracking
Inizialmente l’utilizzo di sistemi di eye tracking era confinato agli studiosi di movimenti oculari, col progresso della tecnica, però l’utilizzo di eye tracker ha subito una
notevole diffusione: non solo come strumento per affiancare i normali canali di input, ma anche come strumento sostitutivo ad essi. Infatti un’eye tracker può essere
utilizzato non solo per migliorare l’interazione uomo-macchina, ma anche per dare
una concreta possibilità di utilizzo degli strumenti elettronici a persone diversamente
abili.
2.1
Storia
I primi studi sui movimenti oculari risalgono all’Ottocento ed erano eseguiti con
osservazioni dirette. Nel 1898 Huey (5) costruı̀ un rudimentale eye tracker composto
da una sorta di lente a contatto collegata ad un puntatore in alluminio, che si
spostava in risposta ai movimenti oculari; con questo rudimentale strumento riuscı̀
a dimostrare che leggendo una frase non ci si concentra su ogni parola, ma solo su
quelle che il nostro cervello ritiene più “rilevanti“.
Il primo eye tracker non intrusivo venne costruito da George Buswell: una fonte di
luce illuminava l’occhio e il riflesso veniva impressionato su pellicola; il movimento
dell’occhio provocava un corrispondente spostamento del tracciato impresso sulla
pellicola fotografica.
Il progresso della tecnica ha permesso di sviluppare sistemi di eye tracking sempre
più performanti sino ad utilizzare videocamere per filmare l’occhio e un computer
6
2 – Eye tracking
per elaborare queste immagini: in questo modo è possibile controllare un normale
computer con lo sguardo anzichè utilizzare mouse e tastiera.
2.2
Utilizzi
Inizialmente l’eye tracking è stato utilizzato in ambito accademico per meglio comprendere i meccanismi alla base della percezione visiva: si è scoperto che durante
la lettura non ci si concentra sulle singole lettere di una parola, ma solo su alcuni
gruppi di lettere e che, per il cervello, alcune parole di una frase sono più importanti
di altre: si noti ad esempio il tracciato seguito da un lettore in figura 2.1; i cerchi
rappresentano i punti in cui si è fissato lo sguardo, il diametro è proporzionale al
tempo di fissazione.
Figura 2.1. Un esempio dell’utilizzo dell’eye tracking è l’analisi delle fissazioni che
l’occhio effettua durante la lettura
L’analisi delle fissazioni è stata anche utilizzata dagli psicologi per mostrare come
uomini e donne si concentrino su caratteristiche diverse osservando immagini di altre
persone e viene utilizzata dall’industria per localizzare gli “attrattori attenzionali”
all’interno dello stimolo visivo: in questo modo si possono realizzare pubblicità
che attirino di più l’attenzione, perché si posizonano i messaggi da trasmettere nei
punti di massima visibilità. Oppure si possono utilizzare queste informazioni per
7
2 – Eye tracking
migliorare la disposizione di avvisi, come ad esempio i cartelli stradali, o segnalazioni
importanti, come le vie di fuga.
In campo militare gli utilizzi sono i più disparati, in quanto gli studi sull’eye
tracking effettuati dall’esercito degli Stati Uniti risalgono addirittura agli anni ’50
(17): i primi utilizzi riguardarono studi sulle aree più osservate dai piloti durante
il volo; successivamente si è cercato di costruire strumentazioni che permettessero
di selezionare alcuni comandi solamente osservando opportune icone, in modo dal
distrarre il pilota il meno possibile.
Solo ultimamente l’eye-tracking è stato utilizzato come alternativa ai classici
strumenti di input (mouse e tastiera) per creare un sistema “handless” diretto ad
utenti professionali (campo biomedico) o diversamente abili. In futuro si prevede un
utilizzo sempre più massiccio di sistemi di eye tracking, se non per sostituire, almeno
per affiancare i normali canali di input e per migliorare l’interazione con gli strumenti
elettronici. Si stanno effettuando studi anche sulla sicurezza degli automobilisti:
infatti un eye tracker potrebbe essere utilizzato per monitorare costantemente il
livello di attenzione del guidatore e prendere provvedimenti nel caso non risulti in
condizioni adatte alla guida.
Secondo recenti analisi (6) gli ambiti di maggior utilizzo degli eye tracker sono i
seguenti:
• test sulle aree di interesse
• scienze cognitive
• disabilità motoria
• misurazione livello di attenzione degli automobilisti
• domotica
• medicina
2.3
Classificazione
I sistemi di eye tracking possono essere classificati in base al metodo utilizzato per
rilevare i movimenti della pupilla (sensore ottico o elettrodi) e in base al fatto che
siano indossabili o meno.
8
2 – Eye tracking
Gli eye tracker più diffusi utilizzano la tecnica della videooculografia (VOG): una
telecamera riprende l’occhio utilizzando un sensore sensibile all’infrarosso o alla luce
visibile.
Infrarosso E’ una soluzione costosa1 , infatti, oltre ad un illuminatore infrarosso, si deve utilizzare un sensore sensibile alla radiazione infrarossa che fa levitare
il costo dell’apparato.
Visibile E’ la tecnica più semplice, perché permette di tracciare i movimenti
oculari con una semplice videocamera o, addirittura, con una webcam. Il costo è
ridotto2 , ma la precisione di un eye tracker di questo tipo è molto inferiore ad un
eye tracker infrarosso.
Vi è anche un ulteriore gruppo di eye tracker, ovvero gli eye tracker basati sull’elettrooculogramma (EOG). Questa tecnica permette di rilevare i movimenti della
pupilla misurando, con alcuni elettrodi, il potenziale elettrico in un’area vicina all’occhio; questo tipo di eye tracker è stato inizialmente utilizzato per rilevare i movimenti saccadici3 durante la fase REM4 del sonno, ma attualmente viene utilizzato
anche da alcuni modelli commerciali.
Un ulteriore distinzione dei sistemi di eye tracking si basa sul fatto che siano
indossabili o meno. I sistemi non indossabili non sono invasivi, hanno, però, un
grande problema: l’utente deve mantenere l’occhio all’interno del campo visivo del
sensore. Naturalmente si può ovviare a questo problema utilizzando più telecamere
a raggi infrarossi permettendo, cosı̀, una grande libertà di movimento, ma il costo
del sistema levita ulteriormente. Un’altra soluzione soluzione al problema consiste
nell’inquadrare interamente il viso dell’utente e compensare in qualche modo i movimenti del capo: si deve perciò tracciare il movimento della testa dell’utente per
eliminare il movimento apparente dell’occhio.
I sistemi indossabili non sono soggetti ad errori dovuti al movimento della testa,
infatti il sensore, essendo montato su occhiali, non cambia posizione rispetto all’occhio; questi sistemi possono, però, intralciare i movimenti, perché normalmente vi
1
Il costo è dell’ordine di 10.000 e
Al di sotto dei 1000 e
3
Vedere appendice A.1
4
Vedere appendice A.1.1
2
9
2 – Eye tracking
è un cavo di collegamento con il computer. Si deve anche notare che un utilizzo
prolungato potrebbe creare alcuni fastidi ad utenti che non hanno mai utilizzato
occhiali.
2.4
Funzionamento
Il funzionamento di un eye tracker è, in linea di principio, molto semplice: viene
ripreso un soggetto e ne vengono tracciati i movimenti della pupilla. I movimenti
verranno registrati (nel caso di analisi off-line) oppure verranno tradotti in spostamenti del cursore sullo schermo (nel caso l’eye tracker venga utilizzato per controllare
un computer).
Per spiegare il funzionamento di un eye tracker si deve innanzitutto suddividere
l’analisi in base alle modalità di ricerca dello sguardo; di seguito viene riportata una
panoramica dei metodi di funzionamento tratta da una ricerca effettuata dalla rete
europea di eccellenza COGAIN (10):
• videooculografia: utilizzando pupilla e riflesso corneale
• videooculografia: utilizzando solamente la pupilla
• videooculografia: utilizzando la doppia riflessione di Purkinje (se la fronte
di illuminazione è frontale si hanno due riflessi da tracciare anzichè uno solo)
• videooculografia: utilizzando il limbo (confine tra cornea e sclera)
• elettrooculografia: utilizzando il potenziale elettrico generato dall’occhio
• oculografia elettromagnetica: utilizzando una sonda posizionata sulla cornea (utilizzata per ricerche mediche, è una tecnica molto invasiva)
• lenti a contatto: utilizzando lenti a contatto nell’occhio
Analizzeremo in dettaglio le tecniche attualmente utilizzate dagli eye tracker
commerciali, ovvero la videooculografia e l’elettrooculografia. Sono le tecniche più
utilizzate in quanto danno i risultati migliori: la risoluzione media di questi sistemi è di circa 1◦ di campo visivo utilizzando la videooculografia e 2◦ utilizzando
l’elettrooculografia.
10
2 – Eye tracking
Videooculografia basata su pupilla e riflesso corneale Questo metodo determina la direzione dello sguardo comparando le posizioni relative della pupilla e
del riflesso corneale determinato da una luce incidente. Normalmente il sistema consiste in un emettitore infrarosso e in una singola fotocamera sensibile alla radiazione
infrarossa; la fotocamera è provvista di alcune lenti e di un sistema autofocus per
compensare i movimenti del capo. Se l’illuminatore non è posto in direzione della
pupilla, quest’ultima apparirà completamente nera (metodo dark pupil). Nell’immagine risultante (fig. 2.2) si vedrà muoversi solo la pupilla, mentre il riflesso corneale
rimarrà pressochè costante e verrà utilizzato per compensare eventuali spostamenti
della testa. Un sistema completo di illuminatore e fotocamera sensibile all’infrarosso
è rappresentato in figura 2.3.
Figura 2.2.
Videooculografia con pupilla e riflesso corneale
Videooculografia basata solo sulla pupilla La videooculografia che utilizza
solamente la pupilla è molto simile a quella che utilizza le informazioni ricavabili
da pupilla e riflesso corneale; l’utilizzo della sola pupilla rende il sistema sensibile
ai movimenti della testa. Tipicamente si risolve questo inconveniente montando la
telecamera su occhiali (fig. 2.4), si crea quindi un sistema indossabile; il sistema
11
2 – Eye tracking
Figura 2.3.
Sistema completo che utilizza la pupilla e il riflesso corneale
viene integrato con un piccolo schermo dedicato che visualizza una tastiera: l’utente
comporrà parole e frasi semplicemente fissando i tasti “virtuali”.
Un secondo approccio nell’utilizzo della sola pupilla consiste nel riprendere l’immagine completa del volto (fig. 2.5): questa è una variante semplificata della videooculografia che utilizza la pupilla e il riflesso corneale. Viene utilizzata una
videocamera a basso costo (una webcam o una videocamera USB) in concomitanza
con l’utilizzo di un software avanzato di elaborazione immagini: verranno tracciati
non solo i movimenti della pupilla, ma anche la posizione dell’occhio per compensare
gli spostamenti della testa.
Elettrooculografia L’elettrooculografia si basa sulla misurazione della differenza
di potenziale tra la cornea e la retina (circa 1 mV). Questo potenziale crea un campo
elettrico difronte alla testa; questo campo cambia orientamento seguendo la direzione dello sguardo e può essere rilevato ponendo degli elettrodi attorno all’occhio.
Tipicamente il sistema consiste in un apparato contenente strumenti per amplificare i segnali rilevati, strumenti di controllo e un piccolo computer per convertire la
12
2 – Eye tracking
Figura 2.4.
Sistema indossabile e schema della tastiera visibile sullo schermo
Figura 2.5. Sistema che si basa solo sulla pupilla utilizzando videocamera a basso
costo e software di elaborazione immagini
posizione rilevata in un segnale digitale. Un sistema di questo tipo è rappresentato
in figura 2.6.
2.4.1
Determinazione del punto osservato
La ricerca del punto osservato cambia a seconda del tipo di illuminazione e dalla
tipologia del sistema di eye tracking.
Per determinare la direzione dello sguardo nei sistemi a luce infrarossa viene
13
2 – Eye tracking
Figura 2.6.
Un sistema di elettrooculografia
utilizzata la differenza di posizione tra il riflesso sulla cornea e il riflesso della pupilla.
La rilevazione del riflesso della pupilla è effettuato con due tecniche: Bright Pupil
and Dark Pupil. La differenza principale sta nella posizione della fonte di luce: se
la fonte di luce è coassiale all’occhio, i raggi vengono riflessi dalla retina e la pupilla
rimane illuminata (Bright Pupil), altrimenti la pupilla rimane completamente scura
(Dark Pupil). La tecnica Bright Pupil crea un alto contrasto tra la pupilla e l’iride
permettendo un migliore tracciamento ed evitando l’interferenza causata dalle ciglia,
ma ha notevoli problemi di interferenza in un ambiente esterno in quanto il sole è
una sorgente IR molto potente.
Nei sistemi che si basano sulla luce visibile si adottano varie tecniche di Computer
Vision per analizzare l’immagine: lo scopo è trovare la posizione della pupilla nello
spazio dell’immagine dell’occhio, per poi mapparla opportunamente nello spazio
dell’immagine osservata. In alcuni casi (ad esempio con webcam montata sugli
occhiali) si può ricorrere alla stessa tecnica usata per l’IR (differenza tra riflesso
corneale e pupilla).
La tecnica di mappatura dallo spazio immagine occhio allo spazio immagine
osservata sono molto varie e dipendono molto dal tipo di algoritmo utilizzato, ma
nella maggioranza dei casi si adotta una semplice mappatura polinomiale.
14
2 – Eye tracking
2.4.2
Calibrazione
La calibrazione di un sistema di eye tracking è importantissima, in quanto permette
di calcolare i coefficienti da utilizzare nella mappatura della posizione della pupilla
sullo spazio dello schermo; senza calibrazione il sistema potrebbe comunque funzionare, ma il comportamento varierebbe moltissimo da utente ad utente e risentirebbe
del cambiamento delle condizioni di luminosità ambientale.
Vi sono due metodi di calibrazione che sono gli standard di fatto dei sistemi
commerciali di eye tracking:
• Calibrazione statica: vengono mostrati una serie di punti fissi sullo schermo
del computer (fig. 2.7)
• Calibrazione dinamica: viene mostrato un punto (o un bersaglio) che si
muove apparendo e scomparendo sullo schermo (fig. 2.8)
I punti (o il punto in movimento) sono disposti in modo tale da coprire un’ampia
area dello schermo per rendere molto efficiente la calibrazione; il numero di punti
può anche essere aumentato per migliorare la precisione di calibrazione, naturalmente all’aumentare del numero di punti aumenterà anche il tempo necessario alla
calibrazione.
Normalmente non è possibile scegliere la posizione dei punti sullo schermo: questa può essere una limitazione per gli utenti che non sono in grado di utilizzare
lo schermo completo, perciò alcuni sistemi commerciali prevedono la possibilità
di scegliere manualmente non solo il numero, ma anche la posizione dei punti di
calibrazione.
Dall’analisi effettuata da COGAIN la maggioranza dei sistemi commerciali utilizza mediamente da 5 a 9 punti per la calibrazione (solo pochi utilizzano arrivano
sino a 17 punti) che vengono disposti ordinatamente per ottenere la massima copertura dello schermo. Solo un sistema utilizza una calibrazione dinamica, ma gli
utenti sembrano trovare questo metodo piuttosto scomodo.
2.5
Sistemi commerciali
In commercio si trovano molti sistemi di eye tracking, quasi tutti, però, si basano
su un solo illuminatore infrarosso: ciò riduce il costo dell’apparato, ma l’utilizzo
15
2 – Eye tracking
Figura 2.7.
Esempio di calibrazione statica con un numero crescente di punti
Figura 2.8. Esempio di calibrazione dinamica: il punto si muove sullo schermo con un percorso casuale
è limitato a persone che possono controllare pienamente i movimenti della testa.
Infatti l’angolo visuale di questi apparati è molto ridotto e il sensore infrarosso
deve essere centrato sull’occhio. Per l’utilizzo di eye tracker da parte di particolari
tipologie di utenti (ad es. affetti da spasmi muscolari) si deve passare a soluzioni
dotate di più illuminatori e più sensori infrarosso che permettono di compensare il
movimento del capo.
Riportiamo alcuni esempi di apparati commerciali tratti da un’analisi del network di eccellenza COGAIN (9):
16
2 – Eye tracking
Modello
VisionKey
ERICA
The
Eyegaze
Communication
System
VISIOBOARD
Funzionamento
Una serie di
fotodiodi. Una
combinazione
di
riflessione corneale e
retinale.
VOG
Risoluzione spaziale
La tastiera ha 49 posizioni, può esserne selezionata una di un sottoinsieme
di 16
Costo
5.000 $
0.5◦ (0.5-1 cm sullo schermo)
Approccio basa- 0.45◦ (0.63 cm sullo
to su luce visibi- schermo)
le. Centro della pupilla e riflessione corneale
VOG
risoluzione 0.1◦ , accuratezza 0.30◦
8.000 $
13.500 $
28.000 $
Di questi eye tracker è stato possibile testare ERICA, perchè è utilizzato presso
i laboratori del Politecnico: è molto funzionale in quanto si integra perfettamente
con Windows, permettendo di utilizzare questo sistema operativo come se si stesse
utilizzando un mouse (si può emulare anche il click fissando il punto desiderato sullo
schermo, oppure battendo la palpebra). Prima di essere utilizzato, deve, però, essere
tarato: si effettua la taratura fissando una serie di punti sullo schermo (da 4 a 24,
in base alla precisione desiderata); il sistema ha una certa tolleranza ai movimenti
del capo, ma se l’occhio esce dall’area inquadrata dalla telecamera il sistema può
perdere il tracciamento dell’occhio.
Gli altri eye tracker presentati nella tabella sono molto simili a ERICA, ma il
prezzo di questi apparati è superiore in quanto forniscono misurazioni con un errore
medio più basso.
17
2 – Eye tracking
2.6
Panoramica sugli algoritmi di eye tracking
Sono numerosi gli algoritmi di eye tracking proposti per l’analisi di immagini in
spettro visibile o infrarosso, ma devono essere distinti sulla base del fatto che alcuni
permettono un’analisi delle immagini in tempo reale, mentre altri, di solito più
precisi, hanno un tempo di elaborazione molto elevato.
2.6.1
Algoritmi in tempo reale
Vi sono numerosi algoritmi per l’eye tracking in tempo reale, molti di questi, per
ridurre il tempo di elaborazione, si occupano di ricercare la posizione dell’occhio
piuttosto che la posizione della pupilla. Uno dei problemi fondamentali che deve
essere risolto in questo tipo di algoritmi è la compensazione dei movimenti della
testa, che, altrimenti, causerebbero errori grossolani.
Kawato e Tetsutani (13) propongono di estrarre la posizione degli occhi e tracciarla nei fotogrammi successivi utilizzando opportuni template. Il primo passo
dell’algoritmo è la ricerca degli occhi: per rilevare la posizione degli occhi vengono
analizzate le differenze tra fotogrammi successivi, se la testa è immobile le uniche
differenze saranno quelle causate battito delle palpebre; se la testa, però, non è immobile nasce il problema di distinguere le differenze causata dal movimento delle
palpebre da quelle causate dal movimento della testa. Per ovviare a questo problema Kawato e Tetsutani hanno effettuato alcune considerazioni: ad esempio nel caso
di movimento rotatorio della testa le aree con le differenze maggiori saranno sicuramente vicine ai bordi del volto (se la rotazione è verso sinistra l’orecchio sinistro
scomparirà), perciò le aree che presentano grandi differenze e sono vicine ai bordi
del viso verranno eliminate (fig. 2.9). Dopo aver individuato gli occhi, l’algoritmo
si occupa di tracciarli: una semplice ricerca per aree corrispondenti non sarebbe efficace, visto che l’orientamento potrebbe essere diverso a causa dei movimenti della
testa. Perciò è stata sviluppata una tecnica che utilizza un template fisso che viene
inizializzato ad ogni occlusione, e un template variabile che viene aggiornato sulla
base del posizione degli occhi nel frame precedente: in questo modo si ottiene un
metodo di tracciamento molto efficace.
Un approccio alternativo può essere un approccio basato sull’utilizzo di classificatori binari: Amarnag et al. (15) propongono di utilizzare un classificatore binario
che è basato su di un training set dinamico e un stadio di clustering (che è lasciato
18
2 – Eye tracking
Figura 2.9. Immagine che rappresenta le differenze tra due fotogrammi successivi,
i cerchi bianchi indicano le differenze attribuite al movimento delle palpebre
libero di evolversi per tracciare efficientemente la pupilla in tempo reale). L’utilizzo
di una strategia che si basa su un training set dinamico rende l’algoritmo insensibile
alla variazione delle condizioni di luce ed lo rende indipendente dall’utente che sta
effettivamente utilizzando il sistema. La prima fase di questo algoritmo consiste
nella selezione della regione di ricerca: vengono ricercate le aree dell’immagine con
alta saturazione (è noto che la regione dell’occhio ha colori con alta saturazione). I
pixel selezionati vengono analizzati con un classificatore Bayesiano che determina,
analizzando le componenti HSV, quali appartengano all’occhio e quali no. L’algoritmo di clustering è utilizzato per trattare il problema dal punto di vista geometrico:
il classificatore Bayesiano no è preciso e può classificare come appartenenti all’occhio
anche pixel appartenenti a regioni ad alta saturazione come i capelli dell’utente; con
l’algoritmo di clustering si raggruppano i pixel in macroaree e vengono scartati quelli
isolati. Vi è, infine, una fase di post elaborazione per raggruppare i cluster erroneamente separati e per eliminare i cluster in cui la differenza tra altezza e larghezza
è troppo elevata (non possono sicuramente rappresentare un occhio). In figura 2.10
sono rappresentate le fasi dell’algoritmo proposto da Amarnag.
Un esempio algoritmo per eye tracking che utilizza reti neurali si trova nell’articolo di Marcone et al. (16): nell’articolo è proposto l’utilizzo di un filtro di Gabor
per l’analisi locale, che ha la proprietà di determinare efficientemente la posizione
19
2 – Eye tracking
Figura 2.10. Sequenza delle operazioni effettuate dall’algoritmo di Amarnag: (a)
output dopo il pre-processamento (b) output dopo il classificatore Bayesiano (c)
output dopo l’algoritmo di clustering (d) risultato finale
degli occhi in un’immagine; questo filtro è implementato utilizzando da una rete
neurale competitiva (fig. 2.11). Viene determinata grossolanamente l’area in cui si
trova l’occhio: successivamente quest’area viene divisa in 9 zone, ciascuna delle quali
è legata ad un neurone della rete neurale. Inizialmente le 9 regioni sono posizionate
al centro dell’area in cui si è previsto essere l’occhio; la regione che vince la competizione diventa il nuovo centro: il processo viene iterato finchè il centro rimane
stabile.
2.6.2
Algoritmi di analisi offline
Un esempio di algoritmo per l’analisi offline si trova nell’articolo di Ivins e Porril
(12): descrive un modello deformabile dell’iride umana adatto a tracciare accuratamente i movimenti tridimensionali dell’occhio riprese con una telecamera sensibile
all’infrarosso. Il modello è controllabile mediante 5 parametri che controllano la
traslazione (orizzontale e verticale), la rotazione, scalamento radiale e uniforme (per
modellare cambiamenti dell’ampiezza della pupilla). La misura di torsione effettuata
con questo modello ha un’accuratezza di 0,1◦ , ma il carico computazionale è molto
20
2 – Eye tracking
Figura 2.11.
Schema della rete neurale competitiva proposta da Marcone et al.
elevato. In figura 2.12 sono mostrati i primi nove modi di variazione che può avere
un modello dell’iride utilizzando una trasformazione cubica.
Figura 2.12. Esempio di variazioni possibili di un modello deformabile
dell’iride: 1 traslazione, 2 scalamento, 3-5 combinazione di trasformazioni,
6-9 trasformazioni complesse
Un’altra tecnica molto utilizzata in analisi offline consiste nel costruire un insieme
21
2 – Eye tracking
di addestramento (training set) per l’algoritmo: si selezionano numerose immagini
degli occhi dai primi fotogrammi del filmato da analizare (fig. 2.13); queste immagini saranno utilizzate per addestrare una rete neurale, che avrà il compito di
ricercare la posizione degli occhi nei successivi fotogrammi. La fase di addestramento è, quindi, computazionalmente molto complessa, ma secondo le analisi effettuate
da Pedersen e Spivey (14) automatizzando la creazione del training set e avendo
computer con un’elevata potenza di calcolo questa tecnica potrebbe essere utilizzata
anche in tempo reale.
Figura 2.13. Training set utilizzato per addestrare la rete neurale utilizzata nell’algoritmo descritto da Pedersen e Spivey
22
Capitolo 3
Ambiente di test
3.1
Introduzione
L’ambiente di test che deve analizzare le prestazioni di algoritmi di eye tracking deve
essere composto da un database di filmati, un’applicazione per gestire il database e
un’applicazione che permetta di implementare e analizzare gli algoritmi.
Il database deve prevedere la possibilità di memorizzare numerose informazioni
per ogni singolo frame, quindi deve essere strutturato per poter gestire adeguatamente una notevole mole di dati. Deve, altresı̀, essere strutturato in modo tale da poter
essere facilmente riutilizzato, perché lo scopo secondario per cui è stato costruito
questo database è renderlo disponibile a chi ne ha bisogno: su Internet, infatti, sono
disponibili alcuni database di filmati come, ad esempio, il CUAVE. Questi database
sono formati da filmati che ritraggono persone che parlano e sono riprese su sfondi
neutri o in movimento; questi filmati vengono utilizzati per tracciare caratteristiche
del volto (sopracciglia, naso) oppure il movimento delle labbra, ma non contengono
informazioni relativamente alla posizione di queste caratteristiche, manca perciò un
sistema di riferimento con cui confrontare le misure ottenute dagli algoritmi.
La prima applicazione sviluppata (Tagger ) è stata strutturata per velocizzare
l’operazione di posizionamento dei riferimenti (tag) sui singoli frame, mentre la seconda (Benchmark ) è stata progettata per essere facilmente espandibile. Entrambe
le applicazioni utilizzano le librerie Qt (cap. A.2) e OpenCV (cap. A.3) e sono state
scritte in linguaggio C++: pur essendo state scritte in ambiente Windows possono
essere facilmente adattate per sistemi Linux, in quanto sia Qt che OpenCV sono
23
3 – Ambiente di test
librerie portabili. La libreria Qt è stata scelta perchè permette di realizzare comode
interfacce grafiche senza appesantire inutilmente l’applicazione, mentre OpenCV è
stata scelta perché è una potente libreria per l’elaborazione di immagini ed è molto
utilizzata da chi si occupa di Computer Vision.
3.2
Database dei filmati
Per memorizzare le informazioni relative ai filmati si è scelto di utilizzare XML: è
un meta linguaggio che viene utilizzato per definire nuovi linguaggi, atti a descrivere
documenti strutturati. A differenza dell’HTML, non ha un insieme ben definito e
ristretto di tag, ma è possibile definirne di nuovi a seconda delle proprie esigenze. Si
è scelto XML proprio per la sua potenza: è infatti possibile descrivere una qualsiasi
struttura dati; inoltre, se un file XML utilizza solo attributi di tipo testo, è possibile
visualizzarlo ed editarlo con un semplice word processor.
Un’ulteriore caratteristica che aumenta la portabilità di un documento XML è
la possibilità di definire una grammatica (DTD) con cui è possibile verificare che il
documento sia formalmente corretto e strutturato come previsto.
Il database deve essere facilmente riutilizzabile, perciò si è scelto di non memorizzare le informazioni in un unico documento, ma viene creato un file XML per ogni
filmato utilizzato: perciò chi vorrà analizzare uno specifico filmato dovrà semplicemente copiarsi il file video e il relativo file di dati, senza doversi procurare l’intero
database.
3.2.1
Struttura XML
Il file XML che contiene i dati relativi ad un filmato è strutturato in questo modo:
• elemento “Video”; attributi: File name,LastModifiedFrame
– elemento “Frame” (pari al numero di fotogrammi); attributi: Number
∗ elemento “Tag”; attributi:width,x,y,rotation,height,ishidden,type
Vi è un elemento radice chiamato Video che è unico (l’unicità dell’elemento
radice è richiesta per creare un documento Well Formed): questo elemento avrà
una serie di nodi figli (chiamati Frame) che contengono le informazioni relative al
24
singolo fotogramma. Ogni elemento Frame contiene uno o più elementi Tag che
rappresentano le informazioni relative ai riferimenti posizionati sul fotogramma.
Questo tipo di struttura è indipendente dal numero di fotogrammi e permette di aggiungere facilmente nuovi elementi di tipo Tag, permettendo di utilizzare
riferimenti non previsti inizialmente.
Gli attributi fondamentali che un tag deve avere sono: larghezza, altezza, coordinate cartesiane del centro, il tipo (che permette di specificare a quale elemento del
volto si riferisce il tag) e una variabile che specifica se il tag è visibile o meno. Vi è
poi un attributo che specifica la rotazione, ma, per ora, è utilizzato solamente per
il tag relativo al naso: si è scelto di non utilizzare la rotazione per gli altri tag per
due semplici motivi:
• le pupille sono sferiche e per adattare l’ellisse alla forma degli occhi si modificano semplicemente gli assi principali
• lavorando al computer l’utente mantiene la testa in verticali, non la inclina,
perciò gli occhi sono mantenuti orizzontali e non serve inclinare l’ellisse per
adattarlo agli occhi
Attualmente ogni fotogramma contiene cinque elementi di tipo “Tag”: infatti
vengono memorizzati i riferimenti per il naso, per le pupille e per gli occhi. Quindi
la struttura di un singolo file sarà la seguente:
• elemento “Video”
– elemento “Frame” (pari al numero di fotogrammi)
∗ elemento “Tag”;contenente:width,x,y,rotation,height,ishidden,
type=Nose
∗ elemento “Tag”; contenente:width,x,y,height,ishidden,type=EyeSX
∗ elemento “Tag”; contenente:width,x,y,height,ishidden,type=PupilSX
∗ elemento “Tag”; contenente:width,x,y,height,ishidden,type=EyeDX
∗ elemento “Tag”; contenente:width,x,y,height,ishidden,type=PupilDX
Il naso verrà rappresentato come una linea retta, perciò verranno utilizzate solo
le informazioni relative a posizione e rotazione; gli altri tag verranno rappresentati
da un’ellisse, come in figura 3.1.
25
Figura 3.1.
Il disegno raffigura la struttura dei tag che rappresentano occhi e pupille
Di seguito viene riportato un esempio di come si presenta il file XML associato
al filmato visibile in figura 3.2:
<?xml version=” 1 . 0 ” ?>
< !DOCTYPE Video SYSTEM ” TagVideoEyeTracking . dtd ”>
<Video F ile na me=” C: / f i l m a t i /W Ale . a v i ” LastModifiedFrame=”
528 ”>
<Frame Number=” 0” >
<Tag width=”3 ” x=” 341 ” y=” 145 ” r o t a t i o n=” 90 ”
h e i g h t=” 201 ” i s h i d d e n=”No” type=” Nose ” />
<Tag width=” 47 ” x=” 261 ” y=” 148 ” h e i g h t=” 17 ”
i s h i d d e n=”No” type=”EyeSX” />
<Tag width=” 11 ” x=” 262 ” y=” 148 ” r o t a t i o n=”
524633 ” h e i g h t=” 11 ” i s h i d d e n=”No” type=”
PupilSX ” />
i s h i d d e n=”No” type=”EyeDX” />
i s h i d d e n=”No” type=”PupilDX” />
26
</Frame>
<Frame Number=” 1” >
<Tag width=”3 ” x=” 340 ” y=” 145 ” r o t a t i o n=” 90 ”
h e i g h t=” 201 ” i s h i d d e n=”No” type=” Nose ” />
i s h i d d e n=”No” type=”EyeSX” />
<Tag width=” 11 ” x=” 262 ” y=” 148 ” r o t a t i o n=”
524761 ” h e i g h t=” 11 ” i s h i d d e n=”No” type=”
PupilSX ” />
i s h i d d e n=”No” type=”EyeDX” />
i s h i d d e n=”No” type=”PupilDX” />
</Frame>
</ Video>
3.2.2
DTD
Il DTD (Data Type Definition) è un linguaggio che permette di specificare formalmente quali elementi e quali tipi di attributi devono essere contenuti in un determinato tipo di file XML; utilizzando il DTD è possibile verificare che il file XML sia
un file ben formato, ovvero che sia scritto secondo le regole dello standard XML e
che segua le specifiche fornite dal DTD.
I file XML utilizzati nel database saranno di tipo TagVideoEyeTracking e seguiranno la seguente grammatica DTD:
< !ELEMENT Video ( Frame+)>
< !ATTLIST Video F ile na me CDATA #REQUIRED
LastModifiedFrame CDATA #REQUIRED>
< !ELEMENT Frame ( Tag+)>
< !ATTLIST Frame Number CDATA #REQUIRED>
27
< !ELEMENT Tag EMPTY>
< !ATTLIST Tag width CDATA #REQUIRED
x CDATA #REQUIRED
y CDATA #REQUIRED
h e i g h t CDATA #REQUIRED
i s h i d d e n ( Yes | No) #REQUIRED
type CDATA #REQUIRED
r o t a t i o n CDATA #IMPLIED>
Come si può notare tutti gli attributi sono semplice testo, infatti sono di tipo
CDATA; l’attributo rotazione non è obbligatorio (infatti è dichiarato IMPLIED), in
quanto è utilizzato solo per il tag relativo al naso.
3.3
Tagger
Questa applicazione è stata sviluppata per posizionare i riferimenti su un filmato
in modo molto semplice e veloce, ed è stata pensata anche per utilizzi futuri: infatti è possibile aggiungere nuovi tipi di tag, come,ad esempio, la posizione delle
sopracciglia.
Come si può vedere nella figura 3.2 i tag che rappresentano occhi e pupille sono
rappresentati da ellissi, mentre la posizione del naso è rappresentata da una retta:
per migliorare l’individuazione dei tag sono stati utilizzati cinque colori con elevata
saturazione; l’origine del sistema di riferimento è posta nell’angolo in alto a sinistra
del fotogramma.
Per elaborare il file XML vengono utilizzate le funzioni della libreria Qt. Il documento viene caricato completamente in memoria e per la navigazione viene utilizzato
un modello dati DOM: si è scelto di caricare tutto il documento DOM in memoria,
perchè, altrimenti, si sarebbe dovuto leggere il file ad ogni richiesta dati per un frame
non ancora visualizzato. Le funzioni della libreria Qt si occupano, inoltre, di verificare che il documento sia ben formato utilizzando la grammatica DTD specificata
nel file XML (o in un file esterno). Se il file XML viene generato da un’applicazione esterna può contenere elementi o attributi aggiuntivi, perciò il file XML dovrà
28
Figura 3.2.
Un fotogramma in cui sono visibili i tag relativi a pupille, occhi e naso
fare riferimento ad una nuova grammatica DTD che li specifichi; se, però, questo
file manterrà gli elementi base del tipo di documento TagVideoEyeTracking potrà
ancora essere utilizzato dalle applicazioni Tagger e Benchmark: infatti utilizzando
la struttura DOM si naviga il documento come se fosse un albero e si estraggono
solamente gli attributi previsti.
3.3.1
Interfaccia dell’applicazione
L’interfaccia dell’applicazione è molto semplice: un menu permette la gestione dei
file; un’area raggruppa i pulsanti dedicati alla navigazione tra i frame, mentre in
un’altra sono raggruppate le regolazioni relative alla luminosità e al contrasto dell’immagine. É inoltre visibile una piccola guida che ha la funzione di promemoria
per i comandi da tastiera.
I tag possono essere comodamente spostati utilizzando direttamente il mouse,
29
ma è possibile muoverli con maggior precisione utilizzando le frecce direzionali: in
questo caso il centro del tag può essere spostato di un pixel alla volta. Per nascondere
velocemente i tag è possibile utilizzare i tasti numerici da 1 a 5; questa funzione è
molto utile perchè in alcuni filmati può capitare che l’utente sbatta le palpebre più
volte in frame successivi. Sempre utilizzando la tastiera si possono muovere i tag
a coppie (ad esempio i due occhi): muovere i tag a coppie è molto comodo quando
l’utente muove spesso la testa visto che la distanza tra gli occhi rimane costante.
In alcuni casi il filmato può risultare poco luminoso e con un contrasto molto
basso, il che rende difficile posizionare i tag relativi alle pupille: per ovviare a questa situazione, che è molto comune utilizzando una webcam in condizioni di luce
non ottimale, è stata aggiunta la possibilità di regolare la luminosità del filmato.
Regolare la luminosità del filmato è molto semplice utilizzando la libreria OpenCV,
infatti è possibile modificare ogni singolo pixel dell’immagine modificandone i valori RGB: sommando un valore constante alle tre componenti di colore si ottiene
un’aumento della luminosità. Per aumentare il contrasto dei piccoli dettagli (ad
esempio le pupille) si è utilizzato un filtro di tipo Sharpening (cap. A.5.2) che è una
tecnica molto semplice che permette di modificare il contrasto senza dover passare
attraverso il calcolo dell’istogramma: si modificano i valori dei pixel in accordo con
una determinata matrice di pesi.
3.4
Benchmark
Questa seconda applicazione permette di selezionare i filmati da analizzare e gli
algoritmi da utilizzare. L’interfaccia è progettata per essere molto semplice, ma
nasconde una struttura complessa che permette di implementare algoritmi anche
molto diversi tra loro.
3.4.1
Interfaccia dell’applicazione
L’interfaccia di questa applicazione è stata progettata per essere chiara (in previsione dell’utilizzo da parte di altri componenti del gruppo di ricerca) ed esporre
comodamente tutte le funzioni; la schermata principale è suddivisa in schede:
• Filmati selezionati: è possibile selezionare i filmati da analizzare e gli algoritmi da utilizzare per l’elaborazione.
30
• Anteprima: è possibile visualizzare l’anteprima del filmato che viene elaborato; come si può vedere in fig. 3.3 vengono visualizzati il riferimento della
pupilla (cerchio verde) e una croce che rappresenta l’output dell’algoritmo
• Statistiche: permette di visualizzare le statistiche relative al filmato elaborato
• Configurazione: è possibile accedere alle finestre di configurazione dei singoli algoritmi (fig. 3.4); inoltre è possibile selezionare il numero massimo di
fotogrammi da analizzare
Figura 3.3. Anteprima dell’analisi di un filmato: si nota il riferimento della pupilla
(cerchio verde) e il centro della pupilla rilevata (croce gialla)
3.4.2
Struttura dell’applicazione
Il programma è strutturato in un thread principale e uno secondario: il thread principale si occupa di reagire alle richieste dell’utente mentre il thread secondario viene
31
Figura 3.4.
Finestra di configurazione dell’algoritmo Starbust
avviato quando viene eseguita una simulazione. Un approccio multi thread è in questo caso obbligatorio, in quanto se fosse stato utilizzato solo un thread l’interfaccia
grafica si sarebbe bloccata (o sarebbe diventata poco reattiva) nel momento in cui
fosse partita l’elaborazione.
Il thread secondario si occupa di caricare i fotogrammi del filmato (utilizzando
le funzioni di OpenCV), estrarre le informazioni dal documento XML associato al
filmato in analisi e invocare il metodo che si occupa di elaborare il fotogramma:
questo metodo fa parte dalla classe astratta Algo, in questo modo per utilizzare
nuovi algoritmi é necessario implementare solamente una classe derivata da Algo
senza dover modificare la struttura dell’applicazione.
L’applicazione presenta numerose classi, perché è basata su un approccio object
oriented: l’utilizzo di programmazione ad oggetti semplifica notevolmente la realizzazione di interfacce grafiche in quanto ogni elemento di una finestra (bottoni,
etichette di testo, ecc.) è di per se un oggetto.
Nelle sezioni successive verranno analizzate solamente le classi e le strutture dati
relative alla gestione degli algoritmi e dei dati, in quanto non si ritiene opportuno
focalizzare l’analisi sui paradigmi di realizzazione di interfacce grafiche che sono
32
ormai consolidati.
3.4.3
Classe Algo
Questa classe rappresenta un algoritmo generico, perciò deve anch’essa essere generica e flessibile in modo da potersi adattarsi ad algoritmi il cui principio di
funzionamento è molto diverso.
La struttura della classe è la seguente:
c l a s s Algo : public QObject {
Q OBJECT
public :
QString name ;
QString d e s c r i p t i o n ;
bool o u t p u t v i s i b l e ;
void AnalizeFrame ( IplIma g e ∗Frame , InfoFrame ∗
info out ) ;
vir t ual void AnalizeFrameImpl ( IplIma g e ∗Frame ,
InfoFrame ∗ i n f o o u t ) =0;
vir t ual public void T r a i n i n g ( IplIma g e ∗Fotogramma ,
InfoFrame ∗ i n f o i n , InfoFrame ∗ i n f o o u t ) =0;
33
vir t ual public void I n i t ( QString f i l e n a m e , const
CvCapture ∗ , int x , int y ) =0;
vir t ual public QString St r ing O f Pa r a met er ( ) =0;
public s l o t s :
vir t ual void Co nf ig ( ) =0;
};
• Init(QString file name,const CvCapture∗, int x, int y): questo metodo viene invocato ad ogni nuovo filmato da analizzare, in modo da azzerare
eventuali variabili di “stato”. Il parametro CvCapture∗ è una struttura dati
che rappresenta un file video e contiene numerose informazioni relative ad esso
(numero colori, dimensioni fotogramma,ecc.): queste informazioni possono essere utili per inizializzare opportune variabili dell’algoritmo. Vengono inoltre
fornite le coordinate della posizione della pupilla nel primo fotogramma: questa informazione può essere utile per inizializzare la ricerca in un’area vicina
all’occhio, per evitare che l’algoritmo si concentri su aree errate dell’immagine.
• Training(IplImage Fotogramma,InfoFrame in,InfoFrame out): attualmente non è utilizzato, ma è stato pensato per algoritmi che necessitano di una
fase di addestramento prima di poter essere utilizzati. Ad esempio potrebbe
essere utilizzato per creare automaticamente un training set se l’algoritmo è
basato su una rete neurale (per un esempio vedere la figura 2.13): dai primi fotogrammi del filmato è possibile ritagliare un’area dell’immagine attorno
all’occhio (i dati relativi alla posizione sono contenuti nella struttura in) e
34
utilizzarla per ricavare i pesi per la rete neurale che dovrà successivamente
ricercare l’occhio.
• AnalizeFrame(IplImage Frame,InfoFrame info out): è il metodo che
viene invocato dal thread secondario per analizzare il fotogramma; il primo
parametro è una struttura di OpenCV utilizzata per memorizzare immagini; il
secondo parametro è una classe (descritta nella sezione 3.4.4) che memorizza le
informazioni rilevate dall’algoritmo. Questo metodo si occupa essenzialmente
di invocare il metodo AnalizeFrameImpl(IplImage Frame,InfoFrame info out)
• AnalizeFrameImpl(IplImage Frame,InfoFrame info out): è il metodo
in cui viene effettivamente implementato l’algoritmo
• StringOfParameter(): restituisce una stringa che contiene il nome e i valori
dei parametri utilizzati dall’algoritmo. Le informazioni relative ai parametri
verranno poi visualizzate all’atto della creazione delle statistiche per poter
associare i dati ricavati ad una determinata configurazione dell’algoritmo
• Config(): se l’algoritmo presenta parametri configurabili, questo metodo si
occuperà di creare una finestra di dialogo per modificarli. Un esempio di
dialogo per la configurazione dei parametri può essere visto in figura 3.4)
Perciò per implementare un nuovo algoritmo si dovrà creare una classe che derivi
Algo, re-implementare tutti i metodi presenti nella classe base e aggiungendo tutte
le variabili e i metodi necessari.
c l a s s NuovoAlgoritmo : public Algo
{
public :
NuovoAlgoritmo ( ) ;
˜ NuovoAlgoritmo ( ) ;
void I n i t ( QString f i l e n a m e , const CvCapture ∗ , int x ,
int y ) ;
void T r a i n i n g ( IplIma g e ∗Fotogramma , InfoFrame ∗
i n f o i n , InfoFrame ∗ i n f o o u t ) ;
35
private :
void AnalizeFrameImpl ( IplIma g e ∗Frame , InfoFrame ∗
info out ) ;
public s l o t s :
void Co nf ig ( ) ;
// metodi e v a r i a b i l i u t i l i z z a t e d a l l ’ a l g o r i t m o i m p l e m e n ta to
void f o o ( int ) ;
int var ;
};
// i m p l e m e n t a z i o n e metodo AnalizeFrameImpl ( . . . )
void St a r Bust : : AnalizeFrameImpl ( IplIma g e ∗ frame , InfoFrame ∗
info frame ){
// c o d i c e d e l l ’ a l g o r i t m o i m p l e m e n ta to
f o o ( var ) ;
}
36
3.4.4
Classe InfoFrame
Questa classe è stata strutturata per memorizzare i dati relativi ad un fotogramma,
ovvero le informazioni dei tag ad esso relativi, ma è utilizzata anche per memorizzare
le informazioni ricavate dagli algoritmi di eye tracking.
Per ora InfoFrame contiene solamente cinque tag, visto che nel programma Tagger è previsto il posizionamento di riferimenti relativi agli occhi, alle pupille e al
naso; vi è inoltre una variabile di tipo intero che memorizza il tempo di elaborazione
del fotogramma (in millisecondi).
La classe è strutturata in questo modo:
c l a s s InfoFrame {
public :
Elemento e y e s x , eye dx , p u p i l s x , p u p i l d x , no se ;
int e l a b o r a t i o n t i m e ;
};
I dati relativi ai tag sono memorizzati in strutture di tipo Elemento definite in
questo modo:
typedef struct e l {
// c o o r d i n a t e d e l c e n t r o
int x ;
int y ;
// d i m e n s i o n i
int width ;
int h e i g h t ;
// r o t a z i o n e
37
int r o t a t i o n ;
//è i m p o s t a t a a t r u e s e l ’ e l e m e n to non è v i s i b i l e
bool i s H i d d e n ;
// d i s t a n z a d a l c e n t r o su a s c i s s e e o r d i n a t e
// v e r r à p o i n o r m a l i z z a t a p e r i l r a g g i o d e l l a p u p i l l a
float x normalized distance ;
float y normalized distance ;
// d i s t a n z a e u c l i d e a d a l c e n t r o
float euclidean distance ,
euclidean distance normalized ;
// i m p o s t a t a a t r u e s e l a d i s t a n z a t r a i l c e n t r o
r e a l e e q u e l l o c a l c o l a t o è minore d e l r a g g i o d e l l a
pupilla
bool h i t ;
}
Elemento ;
Questa struttura ha il compito di memorizzare le informazioni relative ad un
tag: vengono memorizzate le coordinate e la posizone del riferimento, la rotazione,
la distanza dal centro, il fatto che il tag sia visibile o meno. La stessa struttura è
utilizzata anche per memorizzare i dati ricavati dopo che un algoritmo ha elaborato
il fotogramma: in questo modo il calcolo delle statistiche risulta semplificato perché
tutti i dati necessari sono memorizzati nello stesso oggetto. Per i test effettuati
si è utilizzata solo la posizione della pupilla, perciò nella struttura Elemento verrà
memorizzata la distanza tra la posizione effettiva della pupilla e quella calcolata: la
distanza viene calcolata separatamente per l’asse delle ascisse e quello delle ordinate
e verrà normalizzata per il raggio della pupilla. L’ultima variabile (hit) avrà un
valore true se la distanza tra il centro della pupilla calcolato e quello effettivo è
minore del raggio.
38
3.4.5
Classe Starbust
L’algoritmo non ha necessitato di particolari modifiche, in quanto é scritto in codice
C ed è diviso in blocchi logici ben distinti, ma, naturalmente, si sono dovuti fare
degli adattamenti alla struttura di gestione dell’input: infatti il sistema openEyes
(che implementa Starbust) è strutturato per catturare immagini da due telecamere
(una che riprende l’occhio, l’altra che riprende la scena osservata).
La prima modifica è stata l’eliminazione delle funzioni di cattura, in quanto
all’algoritmo viene già fornita l’immagine da analizzare. Successivamente è stata
introdotta la possibilità di scegliere se lavorare sull’immagine intera o solo su una
parte: in pratica il blocco che effettivamente elabora l’immagine è unico, in quanto le
funzioni di openEyes sono strutturate per essere indipendenti dalla risoluzione delle
telecamere e, quindi, sono indipendenti dalla dimensione delle immagini fornitegli.
Secondo le esigenze a monte di questo blocco principale verrò fornita l’immagine
intera o quella ritagliata.
Lo scopo di utilizzare l’immagine ritagliata è quello di poter utilizzare Starbust non solo con un’immagine centrata dell’occhio, ma anche con un’immagine che
riprende l’intero volto dell’utente: una classe si occupa di rilevare la posizione del
volto utilizzando l’algoritmo di face tracking di OpenCV e fornisce in uscita le coordinate dell’ellisse inscritto sul volto stesso. Date le coordinate dell’ellisse si calcola
un’area centrata sull’occhio sinistro, quest’area verrà poi ritagliata copiandola pixel
per pixel su una nuova struttura dati di tipo IplImage (che in OpenCV è la struttura
atta a contenere immagini).
Starbust fornisce come output i parametri che rappresentano un’ellisse centrata
sulla pupilla, perciò, per renderlo omogeneo alla struttura di test, ne viene calcolato
il baricentro, che rappresenta il centro della pupilla.
3.4.6
Classe Sandra
L’implementazione di Active Shape Model che è stata scelta è quella che l’ing.
Castellina ha utilizzato per creare un sistema di gaze tracking chiamato Sandra:
è un sistema abbastanza complesso, in quanto l’algoritmo si basa su un modello da
tracciare, ma per creare il modello è necessario utilizzare un training set. Il sistema è
composto da due applicazioni: la prima applicazione (Locim) è utilizzata per creare
39
il training set e il modello; la seconda utilizza il modello per tracciare la caratteristica voluta. Possono essere tracciati il naso, le sopracciglia, l’occhio o qualsiasi altra
caratteristica del volto per cui è stato creato un modello.
Naturalmente, per questa tesi, è stato necessario utilizzare solo le funzioni che
implementano effettivamente ASM: sono state eliminate le funzioni che utilizzano la
libreria MFC per la creazione di interfacce grafiche, in quanto questa funzione viene
svolta dall’applicazione Benchmark.
Per la creazione dei modelli non è stato ritenuto opportuno riscrivere una nuova
applicazione, in quanto Locim ha una struttura molto generica: oltre a creare nuovi
training set è possibile creare nuovi modelli, scegliendo il numero e la posizione
dei punti che costituiscono il modello. Il modello creato utilizzando un opportuno
training set può quindi essere esportato sottoforma di file e può essere facilmente
utilizzato nella classe Sandra.
L’algoritmo ha come output il modello deformato che meglio si adatta all’immagine analizzata: perciò, anche in questo caso, si è reso omogeneo l’algoritmo
all’ambiente di test calcolando il baricentro dei punti che costituiscono il modello.
40
Capitolo 4
Algoritmi scelti e implementati
Gli algoritmi proposti per sistemi di eye tracking in luce visibile che utilizzano fotocamere a basso costo sono numerosi, alcuni sono stati analizzati nel capitolo 2.6. La
realizzazione dell’ambiente di test ha richiesto molto lavoro, perciò, per effettuare i
test, sono stati implementati solo due algoritmi: naturalmente l’obbiettivo di questa
tesi non è testare quanti più algoritmi possibile, ma sviluppare un ambiente di test
per poterne testare anche in futuro.
Starbust e Active Shape Model sono i due algoritmi scelti per effettuare i test
utilizzando l’ambiente sviluppato per questa tesi. La scelta degli algoritmi ha richiesto una prima analisi degli algoritmi presenti in letteratura; sfortunatamente molti
di questi articoli sono troppo generici, non contengono nemmeno lo pseudocodice
dell’algoritmo, perciò un’errata implementazione potrebbe portare a risultati molto
diversi da quelli previsti dall’autore dell’articolo.
La scelta è ricaduta su Starbust e ASM principalmente per i seguenti motivi:
• è disponibile il codice sorgente
• da un’attenta analisi si sono dimostrati i più promettenti
• il principio di funzionamento alla base dei due algoritmi è molto diverso
Ci si è concentrati su algoritmi di cui è disponibile il codice sorgente per non
perdere tutte le piccole ottimizzazioni che l’autore dell’algoritmo ha sicuramente
effettuato durante i test dello stesso e per non incorrere in errori implementativi
che potrebbero portare a risultati molto diversi da quelli esposti nelle analisi degli
autori.
41
4 – Algoritmi scelti e implementati
Si sono scelti algoritmi il cui principio di funzionamento fosse molto diverso, per
cercare di capire quale dei due approcci fosse il più performante; infatti ASM utilizza
un modello dell’occhio, mentre Starbust utilizza tecniche peculiari della Computer
Vision per ricercare la pupilla.
Oltre a Starbust esiste un altro sistema di eye tracking open source: è chiamato
openGazer ed è molto promettente, ma non è stato possibile provarlo, perché utilizza
delle particolari librerie (VXL) che non sono supportate adeguatamente in ambiente
Windows.
Di seguito verrà esposta un’approfondita analisi dei due algoritmi scelti: infatti
è di fondamentale importanza conoscere il funzionamento e le peculiarità di questi
algoritmi per poter interpretare i risultati dei test che verranno esposti nel capitolo
5.
4.1
Starbust
L’algoritmo Startbust è parte di un sistema di eye tracking low cost chiamato
openEyes e sviluppato alla Iowa State University (3). Questo sistema prevede una
webcam montata su occhiali a cui sono state tolte le lenti (fig. 4.1): in questo modo
l’occhio occupa tutta l’immagine catturata dalla webcam e il movimento della testa
non crea problemi in quanto la posizione relativa tra webcam e occhio non cambia.
Vi è poi una seconda videocamera che registra la scena osservata dall’utente. Naturalmente per testarlo non si è usata questa “struttura”, ma l’algoritmo è stato
leggermente modificato per funzionare anche con l’immagine completa della testa
(per i dettagli implementativi vedere il paragrafo 3.4.5).
L’algoritmo Starbust analizza un fotogramma per volta e ricerca la posizione
della pupilla e il riflesso corneale: è, quindi, un algoritmo di tipo videooculografico
che utilizza il vettore differenza (tra la posizione della pupilla e la posizione riflesso)
per risalire al punto osservato.
La webcam utilizzata per riprendere l’occhio ha un costo estremamente ridotto
e ciò si ripercuote sulla qualità dell’immagine, perché il sensore è soggetto a rumore:
infatti, prima di elaborare l’immagine, deve essere applicato un filtro gaussiano
per ridurre il rumore di tipo impulsivo e viene applicata una normalizzazione per
eliminare il “rumore a linee” che, probabilmente, è causato dal circuito di controllo
42
Figura 4.1.
Posizionamento della webcam nel sistema openEyes
del sensore che è troppo lento nel momento in cui deve scandire le linee di pixel del
sensore stesso. L’algoritmo non utilizza informazioni sui colori dell’immagine, perciò
le immagini vengono catturate in scala di grigi, in questo modo l’elaborazione risulta
più veloce, perché si ignorano completamente due delle tre componenti cromatiche
dell’immagine.
Riconoscimento del riflesso corneale Il primo passo effettuato dall’algoritmo è l’individuazione del riflesso corneale: viene utilizzata una soglia adattativa
basata che ricerca la zona di massima luminosità. La soglia viene inizializzata con il
massimo valore possibile per produrre un’immagine binaria in cui vengono identificati come appartenenti al riflesso corneale solo i pixel con un’intensità più superiore
alla soglia. Successivamente la soglia viene ridotta e viene calcolato il rapporto l’area della regione candidata più grande (che presumibilmente rappresenta il riflesso
corneale) e l’area media delle altre regioni: inizialmente il rapporto crescerà, perchè
l’area del riflesso corneale tenderà a crescere (perchè vengono selezionati più pixel)
più velocemente delle altre aree. Una diminuzione del rapporto indica che l’area dei
falsi candidati inizia a crescere, perciò verrà utilizzato il valore di soglia che genera
il rapporto ottimale.
Il centro del riflesso corneale verrà semplicemente calcolato come centro geometrico dell’area di estensione maggiore.
Il riflesso corneale trovato verrà successivamente rimosso per migliorare la ricerca
della pupilla. Per eliminare il riflesso viene utilizzata una sorta di “interpolazione
43
radiale”; per prima cosa viene calcolata l’intensità del pixel che corrisponde al centro
del riflesso: il nuovo valore di intensità viene ricavato come media delle intensità dei
pixel che si trovano sul bordo della regione. Successivamente le intensità di ogni
pixel dal centro al bordo della regione viene calcolata tramite interpolazione lineare.
In figura 4.2 è mostrato il risultato dell’eliminazione del riflesso corneale.
Figura 4.2.
Figura 4.3.
Immagine dell’occhio prima dell’eliminazione del riflesso corneale
La stessa immagine di figura 4.2 dopo l’eliminazione del riflesso corneale
Localizzazione della pupilla Per localizzare la pupilla è stata sviluppata una
tecnica basata sulla localizzazione di particolari caratteristiche (dette feature) che
44
permette di trovare il contorno della pupilla. La tecnica sviluppata da Dongheng
Li è molto diversa dall’approccio classico per la ricerca della pupilla. Normalmente
viene utilizzata una tecnica chiamata edge detection che viene applicata all’intera
immagine o ad una zona centrata sulla pupilla: questo approccio, però, può portare
ad uno spreco di capacità computazionale, perché la pupilla occupa, di solito, un’area
molto ridotta dell’immagine e non è detto che servano tutti i punti del contorno per
poterlo stimare accuratamente.
L’approccio di Li è diviso in due fasi: nella prima si rilevano i bordi (ovvero
le feature cercate) seguendo un limitato numero di raggi che si estendono da un
punto centrale stimato come centro della pupilla (fig. 4.4 a). Nella seconda fase si
aumenta l’accuratezza della stima cercando nuovamente le feature seguendo i raggi
che partono dai primi punti trovati e sono diretti verso il centro stimato (fig. 4.4 b
e c).
La stima iniziale del centro della pupilla è il centro dell’immagine per il primo fotogramma, mentre è il centro precedentemente calcolato per i fotogrammi successivi
al primo.
Successivamente vengono calcolate indipendentemente le derivate lungo gli N
raggi che si estendono dal punto centrale, finchè non viene superata una soglia: siccome viene utilizzata la tecnica dark-pupil vengono considerate solamente le derivate
positive, ovvero la cui intensità cresce spostandosi lungo il raggio. Per ogni feature
candidata viene ripetuto il processo di feature-detection appena descritto: ma questa volta si utilizza il raggio di ritorno e la ricerca viene limitata su un angolo di 50◦
per diminuire la complessità computazionale e per evitare di aggiungere feature che
si trovino dalla parte esterna alla pupilla.
Successivamente i punti trovati vengono interpolati per ricavare un’ellisse: però
i piccoli errori compiuti nella rilevazione dei punti possono indurre un grossolano
errore nell’interpolazione, perciò il processo a due stadi descritto precedentemente
viene ripetuto. Per ogni iterazione viene utilizzato come punto di partenza il baricentro di tutti i punti rilevati nel passo precedente e il processo viene ripetuto
finchè la posizione del centro rimane pressochè costante. Il risultato della seconda
iterazione dell’algoritmo è visibile in figura 4.4 e; osservando la posizione dei punti
di partenza ad ogni iterazione, si può notare come l’algoritmo converga velocemente
alla posizione finale (4.4 f).
45
Figura 4.4.
Ricerca punti caratteristici della pupilla utilizzando l’algoritmo Starbust
Ellisse interpolante Durante la localizzazione della pupilla, come si è visto nel paragrafo precedente, i punti caratteristici vengono interpolati per ricavare
un’ellisse. Per effettuare questa interpolazione si potrebbe utilizzare un metodo ai
minimi quadrati, ma un errore presente nello stadio di localizzazione delle feature
influenzerebbe pesantemente l’accuratezza dell’interpolazione.
Per ottenere un’interpolazione più precisa viene utilizzato il metodo denominato
Random Sample Consensus (RANSAC): questo metodo viene spesso utilizzato in
46
Computer Vision per adattare un modello ad una serie di dati ricavati sperimentalmente; questi dati sono rappresentati come punti e di questi punti alcuni sono
corretti, mentre vi è una percentuale sconosciuta di punti errati.
Nel caso in esame i punti corretti sono quelli appartenenti al contorno della pupilla, quelli errati sono quelli esterni al bordo della pupilla. Il metodo dei minimi
quadrati utilizzerebbe tutti i punti disponibili, in quanto ipotizza che tutti i campioni siano corretti e siano soggetti solo ad un errore di misura. RANSAC, invece,
ammette la possibilità che esistano punti errati, perciò utilizza un sottoinsieme dei
dati disponibili per adattare il modello.
In pratica RANSAC è una procedura iterativa che seleziona a caso molti piccoli
sottoinsiemi dei dati di partenza, utilizza questi sottoinsiemi per deformare il modello e, tra questi modelli, trova il modello che si adatta meglio all’intero insieme
dei dati. Dai test effettuati da Li si è ricavato che, mediamente, il 17% dei punti è
errato; perciò è stato introdotto un ulteriore passaggio dell’algoritmo che cerca migliorare la corrispondenza tra l’ellisse interpolata e l’immagine, in modo da ridurre
l’errore.
Per migliorare la corrispondenza dell’ellisse interpolato con l’immagine analizzata
viene utilizzata una ricerca basata su un modello locale (fig. 4.5): in questo caso non
viene più utilizzato una ricerca basata su feature, ma viene utilizzata una ricerca
non lineare chiamata Nelder-Mead. In pratica si cercano i parametri dell’ellisse
minimizzando
R
I(a + δ,b + δ,α,x,y,θ),δθ
−R
I(a − δ,b − δ,α,x,y,θ),δθ
dove δ = 1 e I(a,b,α,x,y,θ) è l’intensità del pixel all’angolo θ sul contorno dell’ellisse
definito dai parametri a, b, x, y e α, dove a è l’asse maggiore, b è l’asse minore, il
punto (x,y) è il centro e α è l’orientamento.
Calibrazione Per risalire al punto osservato si deve effettuare una mappatura
tra la posizione dell’occhio in coordinate relative all’immagine dell’occhio e le coordinate relative all’immagine della scena. Per definire la mappatura si può cercare
la relazione tra le posizioni dell’occhio e le corrispondenti posizioni dell’immagine
osservata: per fare questo occorre una procedura di calibrazione.
Durante la fase di calibrazione l’utente deve osservare una griglia di punti la cui
47
Figura 4.5. La figura mostra l’ellisse risultante dopo aver applicato all’immagine l’algoritmo Starbust
posizione nell’immagine della scena è nota: durante la fissazione di ogni punto della griglia viene registrata la posizione dell’occhio. Viene successivamente stabilita
una corrispondenza tra i due insiemi usando una mappatura polinomiale: in questo modo, durante l’utilizzo del sistema, la posizione della pupilla viene facilmente
trasformata in una posizione sullo spazio dell’immagine osservata.
Risultati Secondo i test effettuati dal gruppo di ricerca di Li l’errore totale
di openEyes è di circa 1◦ , ed è accettabile per applicazioni di eye tracking domestiche: questo errore aumenta di molto se il sistema non viene utilizzato nelle stesse
condizioni in cui è stato calibrato (ad esempio è variata la luminosità ambientale).
Il problema è dovuto al fatto che la seconda telecamera (che riprende la scena)
non è nello stesso cammino ottico dell’occhio tracciato, perciò l’errore di parallasse
tra la webcam che riprende l’occhio e la videocamera che riprende la scena introduce
un errore di tracciamento.
L’errore potrebbe essere ulteriormente ridotto semplicemente montando la telecamera di scena direttamente davanti all’occhio, ma in questo modo si avrebbe la
visuale completamente occlusa.
4.1.1
Adattamenti
L’algoritmo non è concepito per lavorare sull’immagine del volto, ma solo sull’immagine ravvicinata dell’occhio. L’algoritmo è però molto veloce, perciò si è pensato
48
di adattarlo per lavorare su con l’immagine completa del volto dell’utente. La libreria openCV (app. A.3) è corredata di una funzione (8) molto performante 1 per il
tracciamento del volto attraverso un classificatore Haar (vedi appendice A.4): perciò l’immagine catturata dalla webcam non viene passata direttamente all’algoritmo
Starbust, ma viene prima analizzata dalla funzione di face tracking.
La funzione di face tracking ha come output un’ellisse inscritta sul volto dell’utente; le coordinate di questa ellisse vengono utilizzate per ritagliare un’area
dell’immagine centrata sull’occhio sinistro2 .
L’immagine cosı̀ ritagliata viene poi analizzata utilizzando le funzioni scritte in
linguaggio C del progetto openEyes: è stato eliminato il filtro che si occupava di
ridurre il “rumore a linee” in quanto le webcam di recente fabbricazione non presentano più questo problema; è stata inoltre introdotta un’interfaccia di configurazione
che permette di modificare agevolmente i seguenti parametri:
• canale utilizzato: le webcam forniscono in output un’immagine a colori;
questa immagine può essere convertita in scala di grigi utilizzando uno dei tre
canali RGB. Dalle prove effettuate il canale rosso è risultato il migliore (i sensori CCD utilizzati dalle fotocamere, per come sono costruiti, risultano molto
più sensibili alle frequenze vicine all’infrarosso): utilizzando il canale rosso,
infatti, l’immagine risultante ha un contrasto più elevato rispetto all’immagine ottenuta utilizzando il canale verde o blu. Il canale blu è risultato il più
sensibile al rumore, perciò non verrà utilizzato per i test
• numero di raggi: è un parametro molto importante, perchè influenza la precisione dell’algoritmo; è utilizzato durante la ricerca della pupilla per stabilire
quanti raggi seguire per calcolare la derivata e ricercare le feature volute
• numero punti caratteristici: indica il numero di punti caratteristici, ovvero
il numero di feature, da utilizzare per interpolare l’ellisse che rappresenta la
pupilla cercata
• dimensione massima del riflesso corneale: la dimensione del riflesso presente sulla cornea è in relazione alla luminosità ambientale e alla distanza
1
Qualche decina di millisecondi per elaborare un’immagine con risoluzione 640x480
Viene ritagliato solo un occhio perchè Starbust è pensato per lavorare sull’immagine di un
occhio solo
2
49
dell’utente dalla webcam, è quindi molto importante stabilire la dimensione
massima per non incorrere in grossolani errori
• livello della soglia: anche questo parametro è molto importante, perchè
permette di alterare il livello di luminosità che deve avere un pixel per essere
considerato parte del riflesso corneale
• filtro smooth: utilizzato se l’immagine è troppo rumorosa, appiattisce il
contrasto mediando il valore di intensità dei pixel adiacenti (cap. A.5.1)
• filtro sharpening: utilizzato quando l’immagine presenta un contrasto troppo basso, in questo modo si rende più visibile il riflesso corneale (cap. A.5.2)
L’algoritmo può comunque essere utilizzato su tutta l’immagine (senza utilizzare il tracciamento del volto), perchè avendo a disposizione una telecamera per
videoconferenza dotata di zoom 12x si è ritenuto opportuno testare l’algoritmo anche con un’immagine ravvicinata dell’occhio, ovvero nelle condizioni per cui è stato
progettato.
50
4.2
Active Shape Model
Active Shape Model è un generico algoritmo di ricerca forme descritto per la prima volta nel 1992 da Cootes et al. (2): pur non essendo un algoritmo pensato
specificatamente per tracciare gli occhi, è abbastanza generico da poter essere adattato a questo utilizzo. Per testare questo algoritmo verrà utilizzata la versione
implementata dall’ing. Castellina (1).
L’algoritmo L’obiettivo di ASM è ricercare forme conosciute all’interno di un’immagine: utilizza modelli flessibili e deformabili, perciò è adatto a cercare oggetti il
cui aspetto può variare, come, ad esempio, gli occhi. Infatti la forma degli non è mai
constante da un fotogramma al successivo, perchè è influenzata da molti parametri:
l’apertura delle palpebre, la posizione della pupilla, la rotazione della testa; anche
le espressioni del volto possono influenzare molto la forma degli occhi.
ASM si basa su un modello parametrico, che viene deformato e traslato sul
fotogramma in esame in modo da renderlo più affine all’immagine in esame. Il
modello deve però essere costruito, viene perciò utilizzato un training set con il
quale è possibile ricavare i parametri del modello adatto al filmato che si vuole
analizzare. Per creare il modello di un oggetto si dispongono una serie di punti
sull’immagine dell’oggetto stesso: di questi punti verrà analizzata la statistica e
verranno determinati i parametri propri del modello.
Training set Per determinare i parametri del modello è opportuno utilizzare una
serie di immagini: se si creasse il modello basandosi su un solo fotogramma non
si avrebbe un modello abbastanza generico per potersi adattare ai cambiamenti di
forma dell’oggetto. Perciò viene creato per prima cosa un training set composto
da alcune immagini catturate dal filmato in esame: su ognuna di queste immagini
verranno posizionati dei punti, chiamati picchetti, che sono in numero variabile e
dipendono dal modello che si sta utilizzando.
I picchetti possono possono appartenere al contorno dell’oggetto (ad esempio le
palpebre) o a caratteristiche interne dell’oggetto (come la pupilla, vedere per un
esempio la figura 4.6); il posizionamento dei punti avviene manualmente e viene
effettuato allo stesso modo per ogni immagine.
Successivamente si passa al calcolo della statistica dei punti, ma, prima, l’insieme
51
dei punti deve essere allineato per minimizzare la varianza della distanza tra i punti
corrispondenti di immagini diverse.
L’allineamento del training set avviene analizzando le statistiche relative alle
coordinate dei picchetti: i picchetti vengono allineati rispetto ad un insieme di assi
attraverso scalamenti, rotazioni e traslazioni delle forme presenti nel training set che
hanno lo scopo di minimizzare la somma pesata dei quadrati delle distanze fra punti
equivalenti di forme differenti. Per allineare N forme si procede in questo modo:
• Si ruota, trasla, scala ogni forma per allinearla con la prima
• Finchè il processo non converge:
– Si calcola la forma media delle forme allineate
– Si normalizza l’orientamento, la scala e l’origine della forma media calcolata precedentemente per riportarla a caratteristiche predefinite e per
garantire la convergenza dell’algoritmo
– Si riallinea ogni forma dell’insieme con la forma media corrente
Figura 4.6. Un’immagine del training set (8 picchetti) utilizzato per
riconoscere l’occhio
Costruzione del modello Analizzando la statistica della posizione dei punti viene ricavato un modello della distribuzione dei punti che fornisce la posizione media
dei punti e comprende alcuni parametri che controllano le modalità di variazione
riscontrate nel training set.
52
Se si sovrappongono le coordinate delle forme allineate alla forma media si può
notare che alcuni vertici hanno una bassa variabilità nel training set, mentre altri
formano “nuvole” piuttosto diffuse. Per analizzare questa statistica si può rappresentare ogni campione del training set (una volta allineato) come un singolo punto
in uno spazio 2n dimensionale; perciò un’insieme di N punti forma una nuvola di
N punti in uno spazio 2n dimensionale. Supponiamo che questi punti si trovino
in una regione dello spazio denominata “dominio delle forme possibile” e che diano
un’indicazione sulla forma e dimensione di questa regione. Muovendosi nel “dominio
delle forme possibile” si possono generare sistematicamente nuove forme. Successivamente si cerca di modellare la forma della nuvola di distribuzione dei punti in uno
spazio ad elevata dimensione, si cerca, perciò, di stabilire la relazione tra le posizioni
dei singoli picchetti.
Si assume che la nuvola sia di forma ellissoidale, se ne calcola il centro e i suoi assi
maggiori, che danno un modo per muoversi all’interno di essa. Ogni asse dell’elissoide
controlla una modalità di variazione, cioè un modo con cui i picchetti tendono a
muoversi assieme al variare della forma. Questo approccio permette di generare
nuove forme, ma molto simili a quelle del training set.
Analisi dell’immagine Dato il modello e l’immagine da analizzare vengono ricercati i valori dei parametri tali da massimizzare la corrispondenza del modello
con l’oggetto presente nell’immagine. ASM, quindi, parte da un modello non molto
preciso per ciò che riguarda posizione, orientamento, scala e forma; questo modello viene poi raffinato iterativamente confrontandolo con l’immagine in cui si cerca
l’oggetto.
Per ricercare la corrispondenza viene utilizzato un metodo iterativo che permette
di trovare una forma adeguata partendo da un’approssimazione iniziale molto poco
accurata. In pratica si ripetono i seguenti passaggi di deformazione finchè non si
ottengono più cambiamenti significativi nella disposizione dei punti:
• calcolo dello spostamento indicato per ogni punto del modello: data
una stima iniziale delle posizioni dei punti del modello che si sta cercando di
adattare all’immagine, si vuole trovare un insieme di aggiustamenti che spostino ogni punto in una posizione migliore; se, per esempio, il modello rappresenta
i contorni dell’oggetto, questa procedura comporterà lo spostamento dei punti
lungo i bordi dell’immagine
53
• calcolo dei cambiamenti nella posizione e nei parametri della forma:
si modificano la posizione e i parametri della forma del modello per avvicinare,
quanto più possibile, i punti del modello alle nuove posizioni indicate
• aggiornamento della posizione e dei parametri della forma: il modello
viene modificando e deformato applicando le variazioni appena calcolate ai
parametri che controllano il posizionamento e la forma dello stesso
L’articolo di Cootes (2) non spiega come implementare lo spostamento e la deformazione della forma del modello, in quanto l’articolo tratta l’algoritmo dal punto
di vista generale e lascia libero chi implementerà l’algoritmo di adattarlo ad un caso
specifico.
In questo caso si ha ha disposizione in ingresso un’immagine a colori, quindi è
possibile utilizzare non solo le informazioni relative alla luminosità e al contrasto,
ma anche le informazioni che si possono ricavare dall’analisi dei colori o di pattern
di colori presenti nell’immagine.
La soluzione adottata dall’Ing. Castellina è la seguente consiste proprio nell’associare al modello le informazioni sui colori: per ogni punto di ogni forma presente
nel training set viene memorizzata una matrice di gradienti di colori W ×H riempita
considerando un rettangolo centrato nel picchetto e con orientamento normale alla
direzione del contorno dell’oggetto. Viene in seguito calcolata una “matrice associativa” che contiene tutte le matrici dei gradienti di ogni picchetto di ogni forma
relazionata al valore dei pesi dei parametri che deformano il modello.
L’aggiornamento dei parametri che determinano la posizione e la deformazione
avviene in questo modo: si considera l’intorno dei punti dell’immagine su cui è
applicato il modello e si cerca di minimizzare la differenza tra questi punti e le matrici
dei gradienti di colore (memorizzate all’interno della “matrice associativa”). Questa
procedura di aggiornamento parametri verrà iterata finchè non verrà raggiunta la
soglia di precisione desiderata.
4.2.1
Adattamenti
Gli adattamente all’algoritmo sono stati minimi in quanto l’implementazione dell’algoritmo è abbastanza generica da poter essere utilizzata per tracciare qualsiasi tipo
di forma e non vi sono parametri configurabili direttamente, in quanto l’algoritmo è
54
controllato completamente dal modello utilizzato; naturalmente sono state effettuate delle modifiche per integrare il codice esistente con l’ambiente di test sviluppato
per questa tesi (cap. 3.4.6).
Il cambiamento principale è stato l’utilizzo di un nuovo modello: infatti per
l’ambiente Sandra era stato creato un modello dell’occhio con 16 picchetti posizionati
come in figura 4.7. Questa disposizione permette di avere una grande accuratezza
nel tracciamento dell’occhio, ma l’elevato numero di punti causa un’elevato tempo di
elaborazione. Inoltre, essendo i punti disposti sul contorno dell’occhio, il modello non
tiene conto dei movimenti della pupilla (fig. 4.8). Perciò si è pensato di utilizzare
un modello (fig. 4.6) che abbia quattro punti sull’occhio, per facilitare la ricerca
nell’immagine, e quattro punti posizionati sul limbo, ovvero il bordo dell’iride (fig.
4.9); in questo modo si ha una certa accuratezza nel tracciare la pupilla, ma si
aumenta anche la velocità di elaborazione utilizzando un modello con la metà dei
punti.
L’algoritmo, di per sé, non fornisce come output una posizione relativa all’immagine, ma fornisce il modello deformato che meglio si adatta al fotogramma in
analisi. Il modello, però, è formato da un insieme di punti che hanno coordinate
relative all’immagine, perciò calcolando il baricentro di questi punti si può avere una
posizione stimata della pupilla.
Figura 4.7.
Modello dell’occhio con 16 picchetti
55
Figura 4.8. Modello con 16 picchetti: si può notare che il baricentro (in giallo) non
corrisponde al centro della pupilla, perchè quest’ultima è spostata verso sinistra
Figura 4.9. Modello con 8 picchetti: in questo caso il baricentro dei picchetti (in
giallo) corrisponde alla pupilla anche se non si trova al centro dell’occhio
56
Capitolo 5
Test
5.1
Introduzione
Per effettuare i test sono stati realizzati numerosi filmati ripresi in condizioni di
luce ambientale differente. Le fotocamere utilizzate sono state posizionate sulla
parte inferiore del monitor per avere la miglior visuale possibile sull’occhio e non
interferire con il normale utilizzo del computer.
I filmati sono stati realizzati sia riprendendo l’intero viso, sia riprendendo solo
l’occhio: con la videocamera e la fotocamera, dotate di zoom, non c’è stato problema; mentre la webcam è stata posizionata su un piedistallo: naturalmente non
può corrispondere ad un reale utilizzo, in quanto occludeva parzialmente la vista
del monitor. Si è comunque ritenuto opportuno realizzare filmati dell’occhio anche con la webcam, per valutare se eventuali miglioramenti potessero giustificare il
posizionamento della webcam sugli occhiali.
Il modello di webcam scelto è un modello con caratteristiche medie e ha un
costo estremamente ridotto, circa 20 e; un’attenta analisi dei modelli sul mercato
ha permesso di stabilire che le prestazioni sono molto simili a modelli che costano
sino a 80 e, ma la cui risoluzione è sempre di 640x480 pixel ovvero 0.3 Mpixel.
Anche la fotocamera ha una risoluzione massima (per i filmati) di 640x480 pixel,
ma il sensore è molto più raffinato (6 Mpixel) e, in combinazione all’utilizzo di
un’ottica superiore a quella di una webcam, permette di avere una qualità più elevata
dell’immagine. Inoltre è disponibile uno zoom ottico di 4x. Naturalmente il costo è
maggiore rispetto alla webcam, in quanto è di circa 300 e.
57
5 – Test
La telecamera per videoconferenza è una telecamera analogica con zoom 12x, è
stata perciò collegata ad una periferica di acquisizione video con risoluzione massima
di 640x480 pixel, la qualità dell’immagine è superiore alla fotocamera in quanto l’obbiettivo (di dimensioni maggiori rispetto alla fotocamera) permette di convogliare
sul sensore una maggiore di quantità di luce. Il costo è di circa 800 e.
I test effettuati hanno lo scopo di testare gli algoritmi per poter valutarne oggettivamente le prestazioni; entrambi gli algoritmi sono pensati per tracciare un solo
occhio, perciò per valutare la precisione si è considerata solamente la posizione della
pupilla (per semplicità si è utilizzata sempre la pupilla sinistra).
5.1.1
Parametri di riferimento
Per effettuare dei test oggettivi è necessario utilizzare due parametri di riferimento
definiti a priori; in questo caso verranno utilizzate come riferimento le seguenti
grandezze:
• il tempo medio di elaborazione dei fotogrammi
• la distanza media dal centro normalizzata
• la percentuale di hit
Il tempo medio di elaborazione è di notevole importanza, infatti influenza direttamente la reattività di un sistema di eye tracking. Se il sistema di eye tracking
si basa sulla fissazione di alcune aree sullo schermo è tollerabile anche un piccolo
ritardo di tracciamento, ma se il sistema viene utilizzato per controllare direttamente il cursore presente sullo schermo è imporante che l’utente abbia un riscontro
immediato dal sistema.
La distanza media dal centro è una grandezza che può dare una stima della varianza dell’errore di tracciamento della pupilla. Inoltre, considerando separatamente
gli errori sull’asse orizzontale e verticale, può essere utilizzata per notare un’eventuale polarizzazione dell’algoritmo di eye tracking. La distanza viene normalizzata
per il raggio della pupilla, in modo da avere una grandezza confrontabile tra filmati
diversi: infatti l’apertura della pupilla (quindi la sua dimensione) varia al variare
della luminosità ambientale e dall’attività visiva svolta.
58
5 – Test
La percentuale di hit rappresenta il numero di volte che il centro calcolato è
interno alla pupilla; ciò permette di avere un ulteriore metro di paragone tra gli
algoritmi, in quanto una distanza media alta può essere causata da alcuni errori
grossolani, mentre nei restanti fotogrammi l’errore effettivo è più basso.
5.2
Test effettuati su Starbust
Vi sono numerosi parametri configurabili in Starbust, perciò sono stati condotti
dapprima alcuni test per stabilire il valore ottimale dei parametri e, successivamente,
dei test per analizzare in generale l’algoritmo.
5.2.1
Parametri ottimali
La ricerca dei valori ottimali dei parametri non è facile in quanto i parametri sono
correlati tra loro; inoltre alcuni parametri dipendono strettamente dal filmato in
esame, perché sono influenzati dalla luminosità e dal contrasto dell’immagine.
Nei paragrafi seguenti verranno analizzati in dettaglio i risultati dei test effettuati
per ogni parametro.
Numero di raggi Questo parametro controlla il numero di raggi da utilizzare per
l’interpolazione radiale: in pratica pesa molto sulla precisione e la velocità dell’algoritmo, perché influisce direttamente sul numero di volte che deve essere calcolata
la derivata che esprime il gradiente di intensità del colore. Come si può notare dai
grafici in figura 5.1 e 5.2 le prestazioni migliori si ottengo con un numero di raggi
pari a 60, infatti la distanza media è la minore e il tempo di elaborazione non è
troppo elevato.
Si può anche notare che all’aumentare del numero dei raggi, il tempo di elaborazione aumenta quasi esponenzialmente, ma la precisione rimane pressochè costante:
la causa è da ricercarsi nel fatto che le direzioni in cui si può calcolare la derivata sono
teoricamente infinite, ma l’immagine è discreta, in quanto formata da pixel, perciò
se si utilizza un numero troppo elevato di step, in molti di questi verrà calcolata la
derivata dello stesso pixel e, quindi, non si avrà un aumento dalle prestazioni.
59
5 – Test
Figura 5.1. Andamento della precisione e del tempo di elaborazione all’aumentare
del numero di raggi utilizzati per analizzare un filmato che riprende l’intero volto
Figura 5.2. Andamento della precisione e del tempo di elaborazione all’aumentare del numero di raggi utilizzati per analizzare un filmato che
riprende solamente l’occhio
60
5 – Test
Dimensione riflesso corneale Dai test effettuati risulta che la dimensione massima del riflesso corneale non influenza la ricerca della pupilla se la telecamera riprende
l’intero volto (fig. 5.3); se, invece, viene ripreso l’occhio la dimensione massima deve essere adeguatamente calibrata sul filmato in esame: come si nota in fig. 5.4
l’escursione dell’errore è più marcata.
Figura 5.3. Influenza della dimensione del riflesso corneale su un’immagine del volto intero
Numero di punti caratteristici Questo parametro controlla qual’è il numero di
punti da utilizzare per interpolare l’ellisse. Dai test effettuati si è dedotto che per
la maggior parte dei filmati il numero di punti caratteristici che minimizza l’errore
è 5 (fig. 5.5 e 5.6), ma in alcuni casi (come in figura 5.7) le prestazioni migliori si
raggiungono con 15 punti. Perciò, per avere buone prestazioni nella maggior parte
dei casi, si è scelto di utilizzare 10 punti caratteristici.
61
5 – Test
Figura 5.4.
Influenza della dimensione del riflesso corneale su un’immagine dell’occhio
Figura 5.5. Influenza del numero di feature utilizzate per l’interpolazione dell’ellisse nel caso di un filmato che riprende solamente l’occhio
62
5 – Test
Figura 5.6. Influenza del numero di feature utilizzate per l’interpolazione dell’ellisse nel caso di un filmato del volto, in condizioni di scarsa luminosità
Figura 5.7. Influenza del numero di feature utilizzate per l’interpolazione dell’ellisse nel caso di un filmato del volto, in condizioni di ottima luminosità
63
5 – Test
Livello della soglia Questo parametro presenta la più alta variazione tra tutti
i parametri di Starbust, in quanto è strettamente correlato al filmato analizzato:
infatti l’intensità dei pixel che fanno parte del riflesso corneale è molto variabile, in
quanto è influenzata non solo dalla luce ambientale, ma anche dalla variazione della
posizione dell’utente rispetto alle fonti di luce.
Nel caso di un filmato di alta qualità e con buona illuminazione (fig. 5.8) si può
notare come la variazione della soglia praticamente non influisca sull’errore. Mentre
nel caso di filmati con illuminazione più scarsa (fig. 5.9 e 5.10) la variazione della
soglia causa una grande variazione all’errore.
Si è perciò scelto di utilizzare un livello di soglia pari a 10, che corrisponde ad
un errore minimo nella maggior parte dei casi, anche se non è il valore ottimo per
tutti i filmati.
Figura 5.8. In condizioni di buona illuminazione e alta qualità del filmato, la
variazione del livello di soglia causa una variazione dell’errore medio molto ridotta
64
5 – Test
Figura 5.9. Utilizzando un filmato con illuminazione ambientale più bassa, la
variazione della soglia influisce sull’errore
Figura 5.10. Utilizzando un filmato di bassa qualità e luminosità (webcam) la
variazione della soglia influisce molto sull’errore
65
5 – Test
Canale Dei tre canali RGB di cui è composta un’immagine si è subito scartato
il canale blu, in quanto presenta un rumore molto elevato, specialmente utilizzando
una webcam: infatti le modalità di costruzione dei sensori CCD portano il sensore ad avere una risposta migliore a frequenze vicine all’infrarosso e, visto il costo
ridotto delle webcam, vengono utilizzati sensori molto rumorosi; perciò la risposta
del sensore a frequenze vicine al blu viene coperta dal disturbo.
Analizzando l’istogramma dei tre canali RGB della stessa immagine si può avere
una conferma quantitativa del fatto che il contrasto più elevato si ha utilizzando il
canale rosso.
Si è misurata la risposta di Starbust al variare del canale: i dati sperimentali
hanno confermato l’ipotesi che l’algoritmo ha prestazioni migliori col canale rosso,
perché il contrasto è più elevato; infatti analizzando filmati utilizzando il canale
rosso si ha un errore medio di 1,54 contro un errore medio di 1,79 che si ottiene
utilizzando il canale verde.
5.2.2
Prestazioni globali dell’algoritmo
Per misurare le prestazioni globali dell’algoritmo sono stati utilizzati numerosi filmati e si è effettuata un’analisi separata per cioè che riguarda il tipo di telecamera
utilizzata.
Un’analisi preliminare porta a concludere che i risultati migliori si ottengono con
la telecamera per videoconferenza, in quanto la qualità dell’immagine è superiore
perchè vengono utilizzate un’ottica e un sensore d’immagini migliori. L’ipotesi è
stata confermata dai risultati dei test che sono riassunti nella tabella 5.1.
Tipologia
fotocamera
webcam
fotocamera
videoconferenza
Distanza
media
normalizzata
1,83
1,39
1,20
Tabella 5.1.
Tempo medio
elaborazione
(ms)
22,43
30,6
36
Percentuale di
hit
34,75
41,33
43,5
Prestazioni globali di Starbust
Analizzando la tabella si può notare come i risultati peggiori siano ottenuti utilizzando la webcam, mentre utilizzando la telecamera per videconferenza si minimizza
66
5 – Test
l’errore medio e si massimizza la percentuale di hit. Utilizzando la fotocamera, invece, si hanno risultati paragonabili alla telecamera per videoconferenza: infatti la
distanza media è di poco superiore (rispetto alla distanza media ottenuta con la
webcam) e la percentuale di hit è solo del 2% più bassa; inoltre il tempo medio di
elaborazione è inferiore di 6 ms, ciò permette di elaborare un filmato alla velocità
(teorica) di 32 fotogrammi/s anzichè 27 fotogrammi/s.
67
5 – Test
5.3
Test effettuati su ASM
Gli unici parametri modificabili direttamente di ASM controllano la dimensione della
matrice dei colori relativa ad ogni picchetto: la matrice è centrata sul picchetto e se
ne può controllare la lunghezza della base, il limite superiore e quello inferiore.
L’influenza di questi parametri è comunque limitata, in quanto il comportamento
globale dell’algoritmo è influenzato pesantemente dal modello: un errore, anche
minimo, nella creazione del modello può portare ad un errore molto elevato nel
rilevamento della pupilla.
5.3.1
Effetti della variazione dei parametri
Aumentare la precisione di ASM modificando i parametri preimpostati può portare
ad un incremento della precisione a scapito della velocità di elaborazione. Alcuni test
hanno permesso di appurare che l’errore può essere ridotto di molto (sino a quattro
volte), ma il tempo di elaborazione aumenta notevolmente. Vedremo in seguito
come la modifica dei parametri può essere evitata ricreando il modello utilizzato:
in questo modo si ottengo prestazioni migliori senza aumentare di molto il tempo
di elaborazione. In tabella 5.2 è stato effettuato il confronto tra le prestazioni
utilizzando i parametri di default e i parametri modificati (*).
Tipologia
occhio
occhio (*)
occhio (*)
figura intera
figura intera (*)
Tabella 5.2.
5.3.2
Distanza
media
normalizzata
2,82
0,86
0,50
2,06
0,95
Tempo medio elaborazione (ms)
53
74
98
52
75
Effetti della variazione dei parametri di ASM
Effetti della variazione del modello
Il modello utilizzato influenza pesantemente la precisione dell’algoritmo; per avere
un’idea di quanto ampia sia questa influenza si osservi la tabella 5.3 in cui vi sono
68
5 – Test
confrontati la distanza media e il tempo di elaborazione per un modello preciso e
uno impreciso (*).
Tipologia
Distanza
media
normalizzata
0,51
2,66
0,70
1,90
occhio
occhio (*)
figura intera
figura intera (*)
Tabella 5.3.
Tempo medio elaborazione (ms)
49
54
50
50
Effetti della variazio del modello utilizzato da ASM
Nel caso di un filmato dell’occhio l’errore che si ottiene utilizzando un modello
errato è circa cinque volte l’errore di un modello corretto. Per modello errato, però,
non si intende un modello completamente incompatibile con il filmato (in questo
caso si avrebbe anche un peggioramento del tempo medio di elaborazione), ma un
modello non molto accurato: se, ad esempio, i picchetti sono stati disposti male, il
baricentro degli 8 picchetti del modello non sarà mai vicino al centro della pupilla,
anche se l’algoritmo riconoscesse adeguatamente la posizione dell’occhio.
Una misura di quanto un modello errato può influire sulla precisione può essere
effettuata tenendo conto della varianza e del valor medio dell’errore. Nella tabella
5.4 si possono osservare le variazioni nelle statistiche tra il modello errato e quello
più accurato.
Distanza media normalizzata
2,8
0,86
Tabella 5.4.
Varianza Varianza Valor
X
Y
medio X
Valor
medio Y
8,56
0,63
2,22
0,48
14,27
0,92
1,26
-0,7
Variazione della statistica al variare del modello utilizzato
In effetti ci si può rendere conto che il secondo modello è migliore semplicemente osservando le figure 5.11 e 5.12 che rappresentano la stima della funzione di
probabilità dell’errore medio.
I grafici in figura 5.13 e 5.14 mostrano la distribuzione dell’errore in uno spazio
bidimensionale: si nota come i valori di massima probabilità siano centrati nell’origine degli assi; nel caso del modello poco accurato, vi sono però dei picchi secondari:
69
5 – Test
la presenza di questi picchi è spiegata dal fatto che l’algoritmo tende a fissarsi su
zone esterne all’occhio che presentano un alto contrasto (come le sopracciglia).
0.8
1.0
0.9
0.7
0.8
0.6
0.7
0.5
0.6
0.4
0.5
0.4
0.3
0.3
0.2
0.2
0.1
0.0
−20
0.1
−15
−10
−5
0
Errore X
5
10
0.0
−20
15
−15
−10
−5
0
Errore Y
5
10
15
Figura 5.11. Funzione di probabilità stimata nel caso di un modello poco
accurato, sono separati i dati relativi all’errore in direzione orizzontale e
l’errore in direzione verticale
70
5 – Test
0.8
1.0
0.9
0.7
0.8
0.6
0.7
0.5
0.6
0.4
0.5
0.4
0.3
0.3
0.2
0.2
0.1
0.1
0.0
−16 −14 −12 −10
Figura 5.12.
−8 −6
Errore X
−4
−2
0
0.0
−16 −14 −12 −10
2
−8 −6
Errore Y
−4
−2
0
2
Funzione di probabilità stimata nel caso di un modello accurato
0.08
0.07
0.06
Z
0.05
0.04
0.03
0.02
0.01
−20
0.00
−20
−15
−10
−15
−10
−5
−5
Y
0
0
5
5
10
10
15
X
15
Figura 5.13. Funzione di probabilità stimata nel caso di un modello errato (il
grafico è stato espanso per evidenziare i picchi secondari), in questo caso sono stati
accorpati gli errori relativi all’asse delle ascisse e delle ordinate
71
5 – Test
0.8
0.7
0.6
Z
0.5
0.4
0.3
0.2
0.1
0.0
−16
−14
−12
−10
−8
Y
Figura 5.14.
−6
−4
−2
0
2
2
0
−2
−4
−6
−8
−10
−12
−14
−16
X
Funzione di probabilità stimata nel caso di un modello accurato
72
5 – Test
Osservando i grafici si può pensare che l’algoritmo sia “polarizzato” ad esempio
in figura 5.12 il valore medio è spostato verso -2; si potrebbe pensare di migliorare
le prestazioni dell’algoritmo con un opportuno offset, in realtà se si analizzano i dati
medi di molti filmati si nota che, se il modello non presenta errori, il valor medio è
circa zero.
5.4
Test comparativi
I test comparativi hanno lo scopo di cercare di capire, se possibile, in quali occasioni
sia più performante Starbust e in quali ASM e hanno lo scopo di definire quale dei
due sia in assoluto il “migliore”.
Eseguendo i test si è notato, come era lecito aspettarsi, che l’errore medio è molto
più alto nella direzione orizzontale che in quella verticale, in effetti i movimenti
dell’occhio, quando si osserva il monitor di un pc o si legge, sono molto più frequenti
e più ampi in direzione orizzontale.
I test sono stati suddivisi in due gruppi: nel primo si sono confrontati i due
algoritmi presi nelle condizioni migliori, ovvero, per ogni modello, si sono utilizzati
i parametri e il modello che minimizzano l’errore. Nel secondo gruppo si sono effettuati test utilizzando i parametri di default e senza ricercare il modello migliore,
per avere una stima delle prestazioni in condizioni realistiche.
5.4.1
Caso migliore
Per capire quale dei due algoritmi fosse il più efficiente in condizioni ottimali sono
state effettuate numerose prove, utilizzando per ogni filmato i parametri e il modello
migliori.
Starbust, in generale, si è dimostrato il migliore, in quanto ha un tempo di elaborazione molto minore rispetto ad ASM e un errore medio quasi sempre minore
di ASM. I risultati ottenuti sono sintetizzati nella tabella 5.5. Osservando però le
percentuali di hit i risultati cambiano, perchè ASM ha percentuali più alte. Questo
permette di concludere che mentre Starbust ha un’escursione limita, ASM si allontana anche molto dal centro della pupilla, ma nella totalità dei casi ASM è più vicino
al centro della pupilla.
73
5 – Test
Algoritmo
Starbust
ASM
Tipologia
Distanza
media normalizzata
webcam
1,83
fotocamera
1,39
videoconferenza 1,20
webcam
2,12
fotocamera
1,48
videoconferenza 1,13
Tabella 5.5.
5.4.2
Tempo medio
elaborazione
(ms)
22
30
36
58
56
50
% hit
34,7
41,3
43,5
55
59
61,5
Prestazioni dei due algoritmi nel caso migliore
Caso medio
I test effettuati nel caso migliore sono importanti per stimare l’apice delle prestazioni
di un algoritmo, ma in caso di utilizzo reale le prestazioni possono essere molto
diverse. In questo caso, quindi, per Starbust si sono mantenuti i parametri di default,
mentre per ASM si sono costruiti modelli, senza, però, porre particolare cura nella
realizzazione.
Nella tabella 5.6 vengono riportati i risultati medi per i due algoritmi: in questo
caso non si sono distinti i dati in base alla tipologia della fotocamera, né in base alla
tipologia di filmato (viso intero oppure occhio).
Algoritmo
Starbust
ASM
Tabella 5.6.
Distanza
media normalizzata
1,51
1,96
Tempo medio
elaborazione
(ms)
29
56
% hit
39,3
58
Prestazioni dei due algoritmi nel caso medio
Come si può facilmente notare i risultati sono abbastanza scadenti rispetto ai
risultati ottenuti nel caso migliore.
Per quanto riguarda ASM è facile capire che la causa dell’elevato errore medio è
da ricercarsi nella scarsa accuratezza dei modelli utilizzati.
Per quello che riguarda Starbust si deve notare che l’elevato errore medio (rispetto ai casi migliori) è causato soprattutto dalle prove effettuate con la webcam,
74
5 – Test
piuttosto che ad un errore sistematicamente più elevato; infatti la scelta di parametri giusti influenza molto l’analisi di filmati di scarsa qualità piuttosto che quelli
ottenuti con fotocamera e telecamera per videoconferenza.
75
Capitolo 6
Conclusioni
6.1
Analisi dei risultati
Dai test effettuati si è dedotto che l’algoritmo Starbust ha una carico computazionale
ridotto, il che permette di elaborare un fotogramma molto velocemente, ed è più
preciso rispetto a ASM, ma è soggetto ad una certa rumorosità nelle misure.
Active Shape Model ha un tempo di elaborazione molto più elevato rispetto a
Starbust, in quanto ha un carico computazionale molto elevato, le misure hanno un
errore medio più elevato, ma sono meno soggette a rumore.
Si potrebbe pensare, da questi risultati, che Starbust sia migliore di ASM sotto
tutti gli aspetti, in realtà il fatto di avere misure che presentano un’elevata rumorosità potrebbe portare ad alcuni problemi: ad esempio potrebbe essere più difficile,
rispetto ad ASM, la rilevazione di una fissazione, proprio perché la misura relativa alla posizione della pupilla non è stabile. ASM, d’altro canto, ha un errore più
elevato, ma questo errore potrebbe essere limitato da un’opportuna calibrazione nei
primi minuti di utilizzo del sistema, infatti non si deve dimenticare che lo scopo di
un sistema di eye tracking non è rilevare la pupilla, ma utilizzare questa misura per
ricavare, anche in modo grossolano, la posizione osservata sullo schermo.
Entrambi gli algoritmi, perciò, hanno ancora spazi di miglioramento: per migliorare Starbust ci si dovrebbe concentrare nella riduzione della rumorosità, mentre
per ASM ci si dovrebbe concentrare sulla riduzione del tempo di elaboraazione e
modificare l’algoritmo in modo tale da evitare di fissarsi su zone ad alto contrasto
come le sopracciglia.
76
6 – Conclusioni
Una precisazione molto importante da fare è che mentre Starbust, in pratica, non
necessita di essere calibrato, ASM deve essere calibrato per ogni utente e, alcune
volte, deve essere ricalibrato (utilizzando un nuovo training set) al solo variare delle
condizioni di luce ambientale.
6.2
Miglioramenti relativi a Starbust
Starbust è soggetto ad una certa rumorosità, dovuta alla struttura stessa dell’algoritmo, ma causata anche dall’errore introdotto dalla funzione di face tracking.
La funzione di face tracking, infatti, si basa su un classificatore e applicando
la funzione ad uno stesso fotogramma la posizione rilevata non sarà costante, ma
sarà soggetta ad una rumorosità di alcuni pixel: la causa di questa variabilità,
probabilmente, è da ricercarsi nella struttura stessa del classificatore, infatti un buon
classificatore non parte mai dalle stesse condizioni iniziali (ad esempio sceglie a caso
il punto di partenza da cui iniziare l’analisi dell’immagine) e, questo, può portare a
risultati leggermente differenti anche se si sta analizzando lo stesso fotogramma.
Si potrebbe quindi utilizzare un altro tipo di classificatore, più stabile, oppure
cambiare radicalmente struttura: una soluzione potrebbe essere l’utilizzo di una
rete neurale, che sia strutturata per essere molto veloce e che venga addestrata per
seguire l’occhio; la posizione dell’occhio rilevata verrebbe poi utilizzata come punto
di partenza per applicare Starbust.
6.3
Miglioramenti relativi ad Active Shape Model
Analizzando il funzionamento di ASM, cosı̀ com’è stato implementato, si sono evidenziate due possibilità di miglioramento: evitare le “fissazioni” in punti sbagliati e
ridurre il carico computazionale.
Le fissazioni errate avvengono perchè l’algoritmo si concentra su zone ad alto
contrasto (come le sopracciglia): per evitare il problema si potrebbe aggiungere un
controllo basato su una soglia relativa al colore in modo da evitare di focalizzarsi su
zone molto scure concentrandosi su zone chiare, oppure si potrebbe semplicemente
calcolare la luminosità media dell’area rilevata: se la luminosità risulta troppo bassa,
sicuramente non si è centrata l’area attorno all’occhio che è molto luminosa.
77
6 – Conclusioni
Per ridurre il carico computazionale si potrebbe adottare la soluzione utilizzata
con Starbust: ricavare la posizione dell’occhio utilizzando una funzione di tracciamento del volto e modificando ASM per lavorare solo sull’immagine ritagliata; in
questo modo si avrebbe certamente una diminuzione del tempo di elaborazione,
in quanto, l’immagine ritagliata sarebbe sicuramente più piccola di 640x480 pixel,
ovvero la dimensione dell’immagine utilizzata attualmente da ASM.
6.4
Miglioramenti degli strumenti di cattura
Oltre a migliorare i singoli algoritmi, ci si può concentrare sul miglioramento di
aspetti generali come:
• l’aumento della risoluzione di cattura
• miglioramento delle ottiche e del sensore video
• miglioramento dello zoom
L’aumento della risoluzione delle immagini utilizzate può sicuramente portare
ad un miglioramento delle prestazioni di entrambi gli algoritmi, in quanto è facile
capire che, se la risoluzione aumenta, la pupilla sarà descritta da un maggior numero
di pixel: occuperà quindi un’area maggiore e le informazioni che si potranno estrarre
dall’immagine saranno maggiori.
Il miglioramento delle ottiche e del sensore video è un fattore certo, in quanto
è confermato dai test effettuati: infatti le prestazioni che si ottengono utilizzando
una webcam sono inferiori (a parità di risoluzione) agli altri due tipi di fotocamere,
perché le ottiche sono peggiori e il sensore è soggetto ad un rumore molto elevato.
Per miglioramento dello zoom si intende non solo un aumento degli ingrandimenti, ma anche un’integrazione di zoom nelle webcam e, possibilmente, l’utilizzo di un
obiettivo macro: utilizzando la fotocamera e la videocamera per videoconferenza ci si
è resi conto che non si poteva sfruttarne tutti gli ingrandimenti, infatti aumentando
il fattore di zoom viene variata anche la distanza focale, perciò un soggetto troppo
vicino alla fotocamera risulta sfocato (eliminando i vantaggi offerti dall’immagine
ingrandita dallo zoom).
Un aumento delle capacità di elaborazione potrebbe portare ad un miglioramento
degli algoritmi, nel senso che si potrebbe ridurre il tempo di elaborazione oppure si
78
6 – Conclusioni
potrebbe aumentare la precisione (aumentando il carico computazionale) senza dover
aumentare il tempo di elaborazione: naturalmente questa è un’analisi puramente
teorica, che dovrebbe essere confermata da dati sperimentali.
6.5
Ulteriori analisi
I test effettuati per questa tesi si sono concentrati sull’analisi delle prestazioni degli
algoritmi nella fase di riconoscimento della posizione della pupilla, ma un sistema
di eye tracking è composto anche di una fase che calcola il punto osservato: una
estensione ai test fin qui effettuati, quindi, sarebbe la possibilità di misurare la
precisione con cui gli algoritmi calcolano il punto osservato.
Dovendo sviluppare anche l’ambiente di test ci si è fermati all’analisi di due soli
algoritmi, naturalmente lo scopo di questa tesi non era testare quanti più algoritmi
possibile, ma costruire un ambiente di test e dimostrare che questo ambiente può
essere utilizzato per analizzare le prestazioni di algoritmi di eye tracking.
Questo ambiente rimarrà a disposizione del gruppo di ricerca e-lite, per permettere in futuro di testare e, migliorare, altri algoritmi.
79
Appendice A
Appendici
A.1
Anatomia dell’occhio
Figura A.1.
Anatomia dell’occhio
L’occhio umano è costituito da:
• il bulbo oculare o occhio propriamente detto
• una serie di organi accessori
– gli annessi
– l’apparato muscolare estrinseco
80
A – Appendici
L’apparato muscolare estrinseco ha il compito principale di coordinare il movimento dei due bulbi oculari, che deve essere sincrono nei due occhi.
Collegato all’occhio si riconosce un apparato lacrimale, che svolge attività meccaniche e attività protettive.
Occhio esterno Rovesciando le palpebre, si potrà vedere uno spazio delimitato
dalla congiuntiva, al punto di riflessione di questa membrana si trova il fornice
congiuntivale. A livello della commessura mediale si potranno rilevare i condotti
lacrimali.
Figura A.2.
Sezione del bulbo oculare
Il bulbo oculare Il bulbo o globo oculare (visibilie in figura A.1) ha una forma
sferoidale, nella quale si riconosce un polo anteriore ed uno posteriore. A livello
del polo posteriore si diparte il nervo ottico da un’area molto limitata da una fitta
81
A – Appendici
corona di altre emergenze nervose, che costituiscono i fasci più esterni di questo
nervo.
Sezionando il bulbo lungo l’asse antero posteriore (A.2), si potrà vedere come
esso sia suddiviso in due camere, una anteriore e una posteriore, seguite dal corpo
vitreo e nel fondo da una serie di membrane, presenti anche ai lati. La camera
anteriore è delimitata verso l’esterno dalla cornea, caratteristicamente trasparente,
mentre posteriormente è limitata dal cristallino (lente biconvessa) e dalle estroflessioni della corona ciliare. La camera posteriore è di dimensioni più piccole, ed è
compresa tra l’iride e le formazioni che vincolano il cristallino alla corona ciliare.
Posteriormente si trova il corpo vitreo (o umor vitreo) del bulbo, che costituisce
il più vasto mezzo diottrico del bulbo, senza alcuna importanza in relazione alla
convergenza. Le membrane che avvolgono il bulbo sono:
• la retina o superficie altamente differenziata, che contiene le cellule primarie
della sensibilità alla luce, i coni (responsabili della visione diurna e sensibili ai
colori) e i bastoncelli (responsabili della visione notturna)
• la coroide o uvea, superficie devoluta essenzialmente all’irrigazione vasale del
bulbo
• la sclera o sclerotica, che compare anche all’esame esterno dell’occhio, di colore
biancastro costante su tutta la superficie dell’occhio, nei suoi 5/6 di superficie
disponibile; è di natura fibrosa.
Fisiologia Ciascuna parte dell’occhio ha una sua caratteristica fisiologica. Nello
svolgere la sua funzione, l’occhio si comporta come la camera di una macchina
fotografica, originando la formazione dell’immagine posteriormente (fig. A.3), a
livello della retina, eccitando la sensibilità delle cellule presenti che, attraverso il
nervo ottico, raggiungono i centri gnistici e mnemonici a livello corticale: mediante
associazione diretta si giunge a dare un nome a quanto si vede.
Prendendo in esame un bastoncello e la sua peculiare struttura, cerchiamo di
spiegare il funzionamento fisiologico dell’occhio. In una situazione di oscurità (al
buio) troviamo la rodopsina (pigmento visivo del bastoncello) collegata ad una proteina, la trasducina, collegata a sua volta ad un enzima; all’interno della cellula i
canali per il Na sono aperti grazie alla presenza del GMP c, e il potenziale di membrana si aggira intorno ai -50mv, determinando a livello del terminale sinapsico,
82
A – Appendici
Figura A.3.
Formazione dell’immagine sulla retina
data la presenza di un potenziale elettrotonico, il rilascio del neurotrasmettitore.
Quando però la rodopsina si collega con un fotone (alla luce), si generano dei fenomeni a cascata: si attiva la trasdudina che attiva l’enzima, che scinde il GMP, la cui
diminuzione massimale chiude i canali del Na. Con la chiusura dei canali del Na e
con l’iperpolarizzazione della cellulla cessa anche il rilascio del neurotrasmettitore.
Nell’occhio, l’iperpolarizzazione della cellula corrisponde alla creazione di potenziale d’azione che viene propagato nelle cellule accessorie bipolari e gangliari i cui
assoni costituiscono il nervo ottico
A.1.1
Termini medici
Movimenti saccadici La saccade è un movimento brusco dell’occhio, che permette di spostare la fissazione da un punto all’altro (19). La velocità dei movimenti
saccadici è molto elevata, sino a 400◦ /s con latenza di 0,2s; maggiore è l’entità della
saccade, minore è la precisione nel movimento.
Fase REM del sonno La sigla REM (Rapid Eye Movement) si riferisce al “movimento rapido degli occhi” che avviene durante una fase delle fasi in cui è diviso il
sonno (18); la fase REM è accompagnata da altre alterazioni corporali fisiologiche
come irregolarità cardiaca, respiratoria e variazioni della pressione arteriosa. Durante lo studio di questa caratteristica fisiologica del sonno, si è notato che la fase
REM del sonno è accompagnata dai sogni.
83
A – Appendici
A.2
Libreria Qt
La libreria Qt è un toolkit C++, ovvero un’insieme di classi per velocizzare la
scrittura di un applicativo. È nata per creare interfacce grafiche che fossero flessibili,
perciò implementa anche un meccanismo basato su segnali e su slot (funzioni che i
segnali possono attivare).
Nel tempo è stata sviluppata sempre di più accorpando le più svariate funzioni: gestione della rete, elaborazione di immagini, gestione database SQL e XML,
gestione thread.
È multipiattaforma, perciò un’applicazione sviluppata utilizzando funzioni standard (quindi portabili), può essere utilizzata senza problemi su sistemi Windows,
Linux, Mac (e molti altri).
Per lo sviluppo dei programmi descritti nel capitolo 3 è stata utilizzata la versione
con licenza GPL del toolkit Qt: questa versione è completamente gratuita se viene
utilizzata per creare applicazioni a loro volta rilasciate con licenza GPL.
È disponibile presso il sito Internet: http://trolltech.com/developer/downloads/
qt/index
A.3
Libreria OpenCV
La libreria OpenCV è una libreria molto utilizzata in Computer Vision in quanto
permette di elaborare le immagini a livello dei singoli pixel con estrema facilità ed
è provvista di moltissime funzioni che aiutano nell’elaborazione di immagini.
È molto potente, ma è anche molto performante, infatti è stata ottimizzata per
la piattaforma Intel.
Anche questa libreria è stata rilasciata con licenza GPL, ed è disponibile presso
il sito internet: http://sourceforge.net/projects/opencvlibrary/
A.4
Classificatore Haar
Per il riconoscimento di oggetti presenti in un immagine l’approccio classico utilizzato in Computer Vision è l’elaborazione a livello pixel dell’immagine; in una
pubblicazione Papageorgiou (et al.) ha proposto di lavorare a livello di caratteristiche distintive. L’immagine viene divisa in regioni rettangolari, per ognuna di queste
84
A – Appendici
regioni si somma il valore dei pixel e l’insieme di tutte queste regioni è utilizzato per
classificare l’immagine. Un classificatore Haar deve poi essere addestrato, per poter
associare un’immagine che presenta determinate caratteristiche ad una determinata
categoria.
Nel caso della libreria OpenCV la funzione che si occupa di face tracking utilizza
una sequenza di classificatori di tipo Haar che sono stati addestrati con un set di
un centinaio di esempi positivi (volti) e un centinaio di esempi negativi (immagini
arbitrarie della stessa dimensione). Il classificatore cosı̀ ottenuto può essere anche
riscalato (per riconoscere volti che hanno una dimensione diversa da quelli del set di
addestramento) e viene applicato ad una finestra di ricerca che viene fatta scorrere
su tutta l’immagine, perciò per ricercare un oggetto di dimensioni arbitrarie la procedura deve essere ripetuta varie volte. Per evitare di rallentare troppo la ricerca,
i classificatori in cascata sono stati progettati per essere molto efficaci: una regione
di ricerca, prima di essere accettata, deve passare tutti i classificatori, ma al primo
esito negativo viene abbandonata. Questi classificatori sono a loro volta divisi in
altri classificatori (alberi di decisione) più semplici che ne aumentano l’efficienza.
A.5
Filtri per immagini
Filtrare un’immagine significa applicare alla stessa un filtro spaziale: l’operazione
consiste nella modifica del valore di ogni pixel in accordo al valore dei pixel vicini. In
alcuni casi i pixel vengono pesati in accordo ad una determinata maschera, ovvero
si effettua la correlazione tra l’immagine di partenza e la maschera, ovvero:
g(m,n) = f (m,n) ∗ h(m,n)
dove f(m,n) rappresenta l’immagine di partenza, h(m,n) la maschera e g(m,n)
l’immagine di filtrata (11).
A.5.1
Filtro smooth
Per rimuovere disturbi impulsivi da un’immagine è possibile effettuare semplicemente la media tra gruppi di pixel adiacenti; i pesi utilizzati nella maschera saranno
85
A – Appendici
quindi del tipo:
1 1 1
1
1 1 1
9
1 1 1
Se, invece, il rumore è di tipo gaussiano si ottengono risultati migliori con un
filtro gaussiano che avrà una matrice dei pesi di questo tipo:
1 2 1
1 2 4 2
16 1 2 1
A.5.2
Filtro sharpening
Un filtro di tipo sharpening è utilizzato per evidenziare piccoli dettagli o evidenziare
dettagli che sono confusi, sfocati; un’immagine può risultare sfocata sia per un
movimento della fotocamera, sia perchè il sensore della fotocamera è di qualità
scadente (come può essere il CCD di una webcam). In questo caso la matrice dei
pesi sarà di questo tipo:
−1 −1 −1
1
−1 8 −1
9
−1 −1 −1
86
Bibliografia
[1] Emiliano Castellina, Tesi di Laurea Magistrale: Progetto e ottimizzazione di algoritmi di riconoscimento di forme per il gaze tracking, http://elite.polito.
it/tesi/castellina.pdf,(Luglio 2005)
[2] T.F. Cootes , C. J. Taylor , D.H. Cooper, J, Graham: Active Shape Models Their training and application,(1992)
[3] Dongheng Li, Jason Babcock, and Derrick J. Parkhurst: openEyes: a low-cost
head-mounted eye-tracking solution, http://hcvl.hci.iastate.edu/files/
li_etal06.pdf,(2005)
[4] Dongheng Li: Low-cost eye-tracking for human computer interaction, http:
//thirtysixthspan.com/openEyes/MS-Dongheng-Li-2006.pdf,(2006)
[5] Wikipedia:
(2007)
Eye tracking, http://en.wikipedia.org/wiki/Eye_tracking,
[6] Srlabs: La tecnologia eye-tracking, i prodotti, i campi applicativi, http://www.
srlabs.it, (2007)
[7] Chabane Djeraba: State of art of Eye tracking, (2005)
[8] Opencv library: Face Detection, http://opencvlibrary.sourceforge.net/
FaceDetection, (2007)
[9] COGAIN: Catalogue of currently available eye trackers for interactive
applications within AAC, http://www.cogain.org/eyetrackers/, (2007)
[10] COGAIN: Survey of De-Facto Standards in Eye Tracking, http://www.
cogain.org, (2007)
87
BIBLIOGRAFIA
[11] Aldo Laurentini:Digital image processing and Computer vision, Lecture 11 Spatial Filtering, (2004)
[12] James P. Ivins, John Porrill: A deformable model of the human iris for
measuring small three-dimensional eye movements, (1998)
[13] Shinjiro Kawato and Nobuji Tetsutani: Detection and Tracking of Eyes for
Gaze-camera Control, (2002)
[14] Bo Pedersen, Michael Spivey: Offline tracking of eyes and more with a simple
webcam, (2006)
[15] Subramanya Amarnag, Raghunandan S. Kumaran and John N. Gowdy: Real
time eye tracking for human computer interfaces, (2003)
[16] Giuseppe Marcone, Giuseppe Martinelli, Lamberto Lancetti: Eye Tracking in
Image Sequences by Competitive Neural Networks, (1998)
[17] Robert J.K. Jacob, Keith S. Karn: Eye tracking in human-computer interaction
and usability research: Ready to deliver the promises., (2003)
[18] Wikipedia: Rapid eye movement, http://it.wikipedia.org/wiki/Rapid_
Eye_Movement, (2007)
[19] Wikipedia: Saccade, http://it.wikipedia.org/wiki/Saccade, (2007)
88

Analisi e valutazione di algoritmi per eye tracking operanti in - e-Lite

Transcript

Documenti analoghi

Schede OF sindrome Adie R02.indd

Corso di Programmazione I Sistemi informatici

Nozione di algoritmo

Eye - Fior d`Acqua

Blendoku, occhio per le palette

Copyright © 2016. North American Neuro

Algoritmi ed architetture per la risoluzione di problemi di visual search

Come calcolare la distanza ideale dal televisore

Scarica il pdf - Security Force Academy

le lenti a contatto dell` “alieno” del santilli footage”