Vedere per credere - Università degli Studi di Siena

Multimedia Forensics
Tecnologie a sostegno dell’indagine:
- identificazione del dispositivo sorgente
- rivelazione di contraffazioni dei contenuti
Mauro Barni
Università di Siena - VIPP Group
Sommario
• Motivazioni
• Principio base
• Alcuni esempi
• Conclusioni
Vedere per credere ?
Le immagini fotografiche hanno perso la loro
innocenza (se mai ne hanno avute una) molto
tempo fa
Vedere per credere ?
Vedere per credere ?
Con l’avvento della fotografia digitale la
validità delle immagini come prove
documentali è definitivamente tramontata
Basta leggere le notizie di cronaca
Vedere per credere ?
Illuminazione
frontale
Illuminazione
laterale
Vedere per credere ?
Vedere per credere ?
=
+
Anche gli scienziati …
Non solo fotomontaggi
CG
CG
Real
CG
CG
Real
CG
Real
Real
Real
Vedere per credere ?
Pesca miracolosa ?
Sonda Phoenix su
Marte ???
Incontro tra
amici ?
Risvolti legali
• Validità probatoria delle immagini digitali
• Manipolazione dell’opinione pubblica
• Esempio: legislazione contro la “child
pornography” negli USA
Analisi forense dei dati visuali
• Elaborazione di immagini/video: dai problemi
alle soluzioni
• Principio base
– Ogni dispositivo di acquisizione introduce una
firma caratteristica che lo contraddistingue
– La stessa cosa vale per gli strumenti di
elaborazione delle immagini
Immagine digitale: il pixel
Ad ogni pixel corrisponde un valore compreso in
[0, 255] con 0 = nero, 255 = bianco
Immagine digitale: il ciclo di vita
sensore
dei colori
scena
reale
Pattern del
CFA
lenti & filtro ottico
Interpolazione
dei colori
CCD/CMOS
• bilanciamento
del bianco;
• saturazione
del contrasto;
• Compressione
JPEG
FOTOCAMERA DIGITALE
• Imperfezioni nei sensori (CCD)
Elaborazioni
fuori dalla
camera
– ad es. pixel difettosi/rumorosi
• Soluzioni tecnologiche specifiche dei
singoli produttori
immagine
digitale finale
Esempio: le immagini a colori
B
G
R
Esempio: le immagini a colori
Le macchine digitali acquisiscono una sola
immagine con i pixel rossi, verdi e blu mischiati
secondo una specifica maschera dipendente dal
produttore.
Luce incidente
Strato del filtro
Array del sensore
Pattern risultanti
Esempio: le immagini a colori
10 11 12 15
10 0 12 0
10 11 12 0
8
9 12 12
0
9
0 12
8
9
6 17 18 15
6
0 18 0
6
7 18 0
10 5 14 6
0
5
0
5
0
6
0 12
0
6
Ad es. per il canale verde
Dall’immagine acquisita
alle 3 bande di colori
• Ogni produttore utilizza una procedura di riempimento
(interpolazione) diversa.
Allo stesso modo …
• Si distinguono immagini generate da una
macchina fotografica (digitale) da quelle
acquisite mediante scanner
• Si può capire se un’immagine (o porzione di
immagine) è stata ridimensionata …
– Come si ingrandisce un’immagine ?
Allo stesso modo …
11
11
12
4
7
11
3
9
8
4
5
7
15
13
18
7
13
10
12
12
21
6
6
8
14
16
19
12
45
13
6x6 pixel
14
10
18
10
9
11
11
11
12
4
7
11
7
10
10
4
6
6
3
9
8
4
5
7
15
13
18
7
13
10
12
12
21
6
6
8
14
16
19
12
45
13
14
10
18
10
9
11
6x12 pixel
• Come calcoliamo il valore dei pixel mancanti ?
• Ancora una volta mediante una tecnica di interpolazione
Rivelazione di copia&incolla
• Aggiustamenti delle
dimensioni lasciano
una firma facilmente
identificabile
• La maggior parte dei fotomontaggi implica un
ridimensionamento delle parti incollate, e quindi una
interpolazione.
Esempio: rumore della camera
• Le imperfezioni lasciate dal sensore della
fotocamera può essere modellato da due
principali componenti di rumore:
– Fixed Pattern Noise (FPN)
• Differenza pixel a pixel quando non c’è presenza di
luce (dark current).
• Nella maggior parte delle fotocamere questa
differenza è equalizzata sottraendo il rumore
ipotizzato dalla foto.
• Rumore additivo, dipendente dalla temperatura e dal
tempo di esposizione.
Esempio: rumore della camera
– Photo-Response Non-Uniformity (PRNU)
• Imperfezioni dovute al processo produttivo del
semiconduttore, diverse per ciascun sensore
• Rumore moltiplicativo, non dipendente dalla
temperatura e dal tempo.
• E’ una impronta 2D deterministica sovrapposta a
ciascuna immagine acquisita.
• Utile per creare un link distintivo tra fotocamera e le
sue foto.
Esempio: rumore della camera
Riferimento
del rumore
per la
fotocamera
Filtro di
Denoising
Rumore
estratto
Media dei
rumori
estratti
Esempio: rumore della camera
Riferimento del rumore per la fotocamera
Rumore
estratto
Attribuzione della relazione tra foto e camera
Esempio: rivelazione di clone
• Una parte dell’immagine è copiata e incollata su un’altra
parte per nascondere del contenuto
• IDEA: rivelare aree dell’immagine innaturalmente simili
Originale
The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have
been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the
image and then insert it again.
Manipolata
Mappa
The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have
been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the
image and then insert it again.
Esempio: rivelazione di copia&incolla
• La compressione JPEG lascia dei segni ai
bordi dei blocchi 8x8 usati per comprimere
• Nel caso di doppia compressione le tracce
della vecchi compressione rimangono
disallineati rispetto alla nuova compressione
Esempio: rivelazione di copia&incolla
Esempio: aberrazione
L’effetto “arcobaleno” prodotto dalle lenti ha una tipica
configurazione spaziale che permette di individuare
operazioni di copia – incolla
Esempio: aberrazione
Esempio: luci e ombre
L. H. Oswald è
stati incriminato
per l’assassinio di
J. F. Kennedy, nel
1963
Nel tempo sono
stati sollevati molti
dubbi sule prove a
suo carico
Questa foto di Lee Harvey Oswald nel suo
giardino è stata a lungo sospettata di essere
un fotomontaggio
Esempio: luci e ombre
La ricostruzione 3D della scena mostra che le ombre
sono del tutto plausibili.
Esempio: dipendenza tra immagini
• E’ utile per:
– Definire l’immagine sorgente originaria (root) del contenuto
– Raggruppare immagini che provengono dalla stessa root
– Capire il ruolo di differenti siti web per la formazione delle
opinioni
– Ricostruire come l’uso dell’informazione veicolata
dall’immagine root evolve nello spazio e nel tempo
• Cosa significa trovare le dipendenze ?
– Date 2 immagini rappresentanti lo stesso contenuto, si vuole
capire se la seconda è stata prodotta a partire dalla prima
Esempio: dipendenza tra immagini
Ipotesi: I = [IC, IR]
Le immagini IA, IB sono indipendenti se e solo se I
(IA,R; IB,R) = 0
Si cerca di determinare la funzione che può essere stata
usata per produrre IB a partire da IA e si usa il
coefficiente di correlazione per prendere una decisione:
! (IA,R, f *(IB)R) > T
Esempio: dipendenza tra immagini
• Concatenazione di 3 funzioni elementari:
– Trasformazione geometrica (!g)
– Trasformazione dei colori (!c)
– Compressione JPEG (!J)
Queste trasformazioni rappresentano la maggior parte
delle attività di un “tipico utente”. Il sistema può essere
esteso per includere altre funzioni di modifica.
Esempio: dipendenza tra immagini
Esempio: dipendenza tra immagini
• Le ultime 3 immagini
sulla sinistra hanno una
cornice bianca.
• Le immagini figlie sulla
destra hanno i colori
modificati rispetto
all’immagine padre
• L’immagine figlia sulla
sinistra sembra essere
mal localizzata rispetto ai
colori dell’immagine
padre.
Conclusioni
• Multimedia forensics: un settore di ricerca
molto interessante e molto attivo
– Sebbene ancora giovane
• Disponibilità di molti algoritmi che
considerano differenti problemi
• Non c’è ad oggi una teoria generale disponibile
(è possibile ?)
• L’analisi dal punto di vista della sicurezza (e
robustezza) è necessaria