confronto moto

Dipartimento di Elettronica e Telecomunicazioni
Università di Firenze
Laboratorio Comunicazioni & Immagini
Studio di tecniche per la
rivelazione di traiettorie di veicoli
in movimento in sequenze video
Tesi di Laurea di:
Giacomo Serini
Corso di Laurea in Ingegneria delle Telecomunicazioni
Relatori:
Prof. Vito Cappellini
Ing. Roberto Caldelli
Sommario
Panoramica sull’Object Tracking: classificazione algoritmi
 Algoritmi Model Based
 Algoritmi Features Based
 Algoritmi Contour Based
 Algoritmi Region Based
Implementazione Algoritmo basato sul Block Matching
Il Block Matching Algorithm
Object Tracking basato sul BMA
Risultati sperimentali
Firenze, 18 Dicembre 2006
2
Object Tracking: applicazioni
 Videosorveglianza
Analisi del traffico
Firenze, 18 Dicembre 2006
3
Analisi del traffico
Pixel processing level:
Appartenenza di un pixel allo
sfondo o ad un oggetto in
movimento.
Frame processing level:
Analisi delle regioni in
movimento.
Tracking:
Inseguimento, riconoscimento e
classificazione degli oggetti.
Estrazione parametri rilevanti
(velocità).
Firenze, 18 Dicembre 2006
4
Algoritmi di Tracking
Algoritmi Features Based:
si focalizza l’attenzione solo su
alcuni particolari (Es: centroide).
Primi
frame
sequenza
Individuazione
sfondo
Segmentazione
Bounding box
e centroidi
OBJECT
TRACKING
(CTDM1  CTDN1)2  (CTDM 2  CTDN 2 )2  
M e N appartenenti a
due frame consecutivi
Firenze, 18 Dicembre 2006
5
Algoritmi di Tracking
Algoritmi Model Based:
richiedono un dettagliato modello geometrico.
Distanza
MIN
Stima
Estrazione
Frame
originale
(I)
bordi I
modello T
bordi
S (T , I ) 
Stima della
somiglianza
Firenze, 18 Dicembre 2006
1
N
Numero di
punti del
Template

t T
somiglianza
OBJECT
TRACKING
d I (t ) 2
Distanza tra il
punto t in T e
il bordo più
vicino di I
6
Algoritmi di Tracking
Algoritmi Contour Based:
si costruisce una rappresentazione del
contorno aggiornandolo di frame in frame.
I(t)
Estrazione
contorno
Stima del moto
I(t+1)
Estrazione
contorno
Confronto
contorni
OBJECT
TRACKING
Firenze, 18 Dicembre 2006
7
Algoritmi Region Based
Ad ogni oggetto viene associata una regione
corrispondente
Si esegue una stima
del moto su sottoparti
dell’immagine
(blocchi) e si
raggruppano quelle
con spostamenti
simili.
Block Matching Algorithm
(B.M.A.)
Gli oggetti così
determinati
sono infine
riconosciuti
nella sequenza.
Firenze, 18 Dicembre 2006
8
Il Block Matching
Parametri fondamentali
 Dimensione dei blocchi
 Massimo spostamento
Criterio di scelta
Determina la
somiglianza
tra due
blocchi
Firenze, 18 Dicembre 2006
FINESTRA DI
RICERCA
M.A.D. (Mean
Absolute
Difference)
M.S.E. (Mean
Square Error)
Comprende tutti i
pixel relativi alle
posizioni che il
blocco può assumere
Entrambe le
funzioni devono
essere
minimizzate
9
Il Block Matching
Tecniche di B.M.A.
Esaustive :
Si cerca il miglior confronto ovunque (Fullsearch).
Multi step:
Si ricercano i blocchi solo in alcune posizioni (Three
Step Search).
Firenze, 18 Dicembre 2006
10
Il Block Matching
FRAME t-1
Firenze, 18 Dicembre 2006
FRAME t
11
Object Tracking con B.M.A.
Schema a blocchi
Frame 1
Frame 2
Block
Matching
Regolarizzazione
vettori moto
Frame 3
Block
Matching
Regolarizzazione
vettori moto
Traslazione
di (-V)
Firenze, 18 Dicembre 2006
Labelling
Elimina
zione
etichette
rumorose
Resizing
Resized Map
1-2
Labelling
Elimina
zione
etichette
rumorose
Resizing
Resized Map
2-3 temp.
Resized Map 2-3 temp.
traslata di (-V)
Conteggio
sovrapposizioni
12
Object Tracking con B.M.A.
Estrazione dei Vettori di Moto
Per estrarre i vettori di moto si usa l’algoritmo Fullsearch.
Il criterio di scelta utilizzato è una variante del M.A.D.
N
N
SAD   Y (i, j )  Z (i, j )
i 1 j 1
Sum of
Absolute
Difference
Firenze, 18 Dicembre 2006
Dimensione
blocco
Valori
dei pixel
in Y e Z
13
Object Tracking con B.M.A.
Regolarizzazione Vettori di Moto
Applicazione
filtro a soglia
e mediano
Errori di stima
del moto
Regolarizzazione
vettori di moto
Firenze, 18 Dicembre 2006
14
Object Tracking con B.M.A.
Etichettatura oggetti
Due criteri utilizzati:
Vicinanza spaziale
Somiglianza vettori di moto
 
|| u  v ||L2  ( xu  xv )2  ( yu  yv )2  ThL
I due vettori
di moto
Firenze, 18 Dicembre 2006
La soglia
scelta
15
Object Tracking con B.M.A.
Eliminazione etichette rumorose
Eliminazione
etichette
rumorose
Etichette
rumorose
Descrizione
scena reale
Firenze, 18 Dicembre 2006
16
Object Tracking con B.M.A.
Il
passo
di
Tracking
Sovrapposizioni
> ThS ?2-3 temporanea
Resized Map 1-2
Resized Map
Resized Map 2-3
3 3
3 3 3
3 3
3 3
3
3 3
3 3
3
5
5 5
5 5
5
-V
Firenze, 18 Dicembre 2006
17
Risultati sperimentali
Parametri fondamentali
Bloch Matching:
N = 16
Dimensione dei blocchi
Massimo spostamento
Soglia filtro vettori di moto
P=7
Labelling:
Soglia confronto somiglianza vettori di moto
Soglia eliminazione etichette rumorose.
Tracking:
ThL = 3
Soglia sovrapposizioni
ThS = N x N
Firenze, 18 Dicembre 2006
18
Risultati sperimentali
Risultati con configurazione standard
Sequenza Taxi:
Sequenza
originale
Firenze, 18 Dicembre 2006
Perdita del veicolo
bianco a causa di
movimenti di rotazione
Sequenza
elaborata
19
Risultati sperimentali
Risultati con configurazione standard
Sequenza Highway:
Sequenza
originale
Firenze, 18 Dicembre 2006
Buoni risultati.
Sovrasegmentazione
dovuta a N grande
Sequenza
elaborata
20
Conclusioni
Panoramica sull’Object Tracking:
Classificazione algoritmi.
Implementazione Algoritmo basato sul Block Matching:
Descrizione dettagliata dell’algoritmo.
Buone prestazioni.
Difficoltà rilevazione movimenti rotatori.
Fortemente dipendente da stima del moto.
Necessità di immagini a buona risoluzione.
Sviluppi futuri:
Migliore regolarizzazione vettori di moto.
Assunzioni a priori per gli spostamenti dei veicoli.
Firenze, 18 Dicembre 2006
21