CCD_Acquisizione di immagini - I blogs dell`ISIS Leonardo da Vinci

Dispense del corso di
Sistemi di Elaborazione
Acquisizione di immagini
a.a. 2006/2007
Sistemi di Elaborazione
Acquisizione dell’immagine
•
Le immagini derivano dalla digitalizzazione di segnali provenienti da
diversi sensori:
• fotocamera
• telecamera
• scanner
•
•
•
•
La sorgente è sempre un sensore digitale
L’immagine è acquisita da sensori digitali in grado di misurare e catturare
la quantità di fotoni che li raggiunge (la luce). La superficie del sensore è
formata da minuscoli fotositi disposti secondo una griglia regolare
(campionatura spaziale intrinseca). Questi fotositi sono i micro-sensori
che effettuano la conversione da fotoni in elettroni. Il convertitore
Analogico Digitale (ADC) produce l’informazione numerica.
Inizialmente creati come memorie non volatili in seguito utilizzati come
fotorecettori
Si dividono in due principali tecnologie costruttive: CCD e CMOS
2
a.a. 2006/2007
Sistemi di Elaborazione
CCD (charge coupled device )
•
•
Sensore allo stato solido inventato nel 1969 ai laboratori Bell da Smith e
Willard
Amplificazione, ADC e elaborazione esterna al sensore
– Immagini ad alta qualità (fill factor anche 100%), basso rumore
(cariche azzerate ad ogni lettura)
•
Quattro tipi principali: lineare, interline, full frame, frame transfer
– matrici monodimensionali (telecamere lineari)
– matrici bidimensionali (telecamere matriciali)
•
•
•
•
Processo di produzione particolare Æ Costoso !!
Le cariche nella prima riga vengono trasferite verticalmente al read out
register che le manda all’amplificatore e quindi all’ADC. Lettura riga per riga.
Shift register
Clock
Lettura di una riga intera
verticali
seriali
(no windowing)
Linea di
fotorecettori
Alto consumo
elettrico
Clock
paralleli
Read out
register
AMPL
3
a.a. 2006/2007
Sistemi di Elaborazione
Analogia tra fotoni e pioggia
Per capire il funzionamento di un CCD possiamo ricorrere a questa semplice analogia
tra i fotoni e le gocce di pioggia:
Alcuni secchi (pixel) sono distribuiti in un campo (piano focale del telescopio)
e sono appoggiati su una serie di nastri trasportatori (colonne del CCD) .
I secchi raccolgono la pioggia (fotoni) che cade sul campo. I nastri trasportatori
inizialmente sono fermi. La pioggia cade e riempie i secchi (esposizione).
Finita la pioggia (chiusura dell’otturatore) i nastri trasportatori si muovono e
fanno sì che l’acqua sia raccolta in un contenitore graduato (amplificatore)
collocato in uno degli angoli del campo (angolo del CCD).
Nelle prossime diapositive il funzionamento dei nastri trasportatori viene schematizzato
con una animazione:
4
a.a. 2006/2007
Sistemi di Elaborazione
PIOGGIA (FOTONI)
NASTRI TRASPORTATORI
VERTICALI
(COLONNE DEI CCD)
SECCHI (PIXEL)
I secchi raccolgono la pioggia
(durante la posa i pixel
raccolgono i fotoni)
CONTENITORE GRADUATO
(AMPLIFICATORE IN USCITA)
NASTRO TRASPORTATORE
ORIZZONTALE
(REGISTRO SERIALE)
5
Sistemi di Elaborazione
a.a. 2006/2007
Al termine i secchi contengono una certa quantità di acqua (al termine della
posa i pixel contengono una certa quantità di carica)
6
Sistemi di Elaborazione
a.a. 2006/2007
I nastri trasportatori entrano in funzione e spostano i secchi. La prima fila di
secchi sui nastri verticali viene spostata sul nastro orizzontale.
7
Sistemi di Elaborazione
a.a. 2006/2007
I nastri verticali si fermano. Il nastro orizzontale travasa il contenuto del primo
secchio nel contenitore graduato.
8
a.a. 2006/2007
Sistemi di Elaborazione
Il contenuto di pioggia del primo secchio viene misurato. Il contenitore
viene svuotato ed è pronto a ricevere la pioggia contenuta nel secondo
secchio. La procedura è ripetuta per tutti i secchi della fila.
`
9
Sistemi di Elaborazione
a.a. 2006/2007
10
Sistemi di Elaborazione
a.a. 2006/2007
11
Sistemi di Elaborazione
a.a. 2006/2007
12
Sistemi di Elaborazione
a.a. 2006/2007
13
Sistemi di Elaborazione
a.a. 2006/2007
Una nuova fila di secchi viene spostata sul nastro orizzontale e la
procedura di misura è ripetura per tutte le file di secchi.
14
Sistemi di Elaborazione
a.a. 2006/2007
15
Sistemi di Elaborazione
a.a. 2006/2007
16
Sistemi di Elaborazione
a.a. 2006/2007
17
Sistemi di Elaborazione
a.a. 2006/2007
18
Sistemi di Elaborazione
a.a. 2006/2007
19
Sistemi di Elaborazione
a.a. 2006/2007
20
Sistemi di Elaborazione
a.a. 2006/2007
21
Sistemi di Elaborazione
a.a. 2006/2007
22
Sistemi di Elaborazione
a.a. 2006/2007
23
Sistemi di Elaborazione
a.a. 2006/2007
24
Sistemi di Elaborazione
a.a. 2006/2007
25
Sistemi di Elaborazione
a.a. 2006/2007
La lettura del CCD è completa quando il contenuto tutti i secchi è stato misurato.
26
a.a. 2006/2007
Sistemi di Elaborazione
CCD
27
a.a. 2006/2007
Sistemi di Elaborazione
CMOS (Complementary Metal Oxide Semiconductor)
•
•
•
•
•
•
Inventato prima del CCD ma poco utilizzato fino a qualche anno fa
Stessa tecnologia produttiva dei moderni processori per computer (tipo Pentium
IV) Æ maggiore integrabilità (sensori micro, smart camera) e abbassamento costi
Amplificazione, ADC e elaborazione all’interno di ogni pixel
Maggiore flessibilità di acquisizione (windowing, selezione di area)
Sensibile al rumore dovuto alla non uniformità del silicio (ampli con diverse
caratteristiche) Æ sono utilizzati circuiti di compesazione basati sulle
caratteristiche del singolo chip
Fill factor < 100% (spazio per i circuiti)
– Utilizzo di microlenti (più che nei CCD)
luce
aree non sensibili
area sensibile
•
•
Basso consumo elettrico (1/100 del CCD) Æ dispositivi portatili
(smartphone,PDA,..)
Ultimamente CMOS ad alta qualità usati in ambito professionale
28
a.a. 2006/2007
Sistemi di Elaborazione
Schemi logici
•
•
•
•
•
•
•
•
CCD:
Il chip contiene solo i sensori e la
conversione elettrone Æ tensione
Voltaggio di polarizzazione
maggiore e clock esterno
Se l’applicazione cambia, basta
modificare l’elettronica esterna
senza ridisegnare il sensore
CMOS:
La maggior parte dell’elettronica
è dentro al chip
Singolo livello di clock e voltaggio
di polarizzazione (bias)
Se cambia l’applicazione è
necessario riprogettare il sensore
29
a.a. 2006/2007
Sistemi di Elaborazione
Dal bianco e nero al colore
La cella fotosensibile converte l’intensità di luce, ma non è sensibile alla
lunghezza d’onda, un colore per pixel Î Acquisizione monocromatica
Soluzione Î Color Filter Array (CFA):
• Pattern di Bayer (Bryce Bayer, 1976 - Kodak)
•
•
•
•
•
RGBG - Cella 2x2, 2 pixel verdi, 1 blu, 1 rosso
Occhio umano più sensibile al verde
Il filtro diminuisce la sensibilità alla luce,
diventa 1/3 del monocromatico
Varianti: CMY-Y, CMY+G, RGB+E (Sony) più sensibili
Ricostruzione full color con interpolazione
•
Problemi di color aliasing nei punti a forte contrasto
30
a.a. 2006/2007
Sistemi di Elaborazione
Demosaicatura
•
•
•
Trasformare il pattern di Bayer in
un’immagine RGB full color
Interpolazione per convoluzione:
Nearest neighbor, bilineare,
cubica [Sak98],[Ram02].
Bilineare:
(a) e (b):
R = (R1+R2)/2
B = (B1+B2)/2
(c) e (d):
G = (G1+G2+G3+G4)/4
B = (B1+B2+B3+B4)/4
R = (R1+R2+R3+R4)/4
[Sak98] Sakamoto et al., Software Pixel Interpolation for digital still cameras suitable for a 32-bit MCU, IEEE Tran. Consumer Electronics, 1998
[Ram02] Ramanath et al., Demosaicking methods for Bayer color array, Journal of Electronic Imaging, 2002
31
a.a. 2006/2007
Sistemi di Elaborazione
•
•
•
L’interpolazione dà un’approssimazione dei colori mancanti
L’immagine ha una risoluzione cromatica inferiore
Artefatti di aliasing corretti con filtro di blur Æ diminuzione di
nitidezza
Fovon X3[lyo02]
•
•
•
•
•
Nuova tecnologia introdotta da Foveon © nel
2002
Acquisizione full color, sensore a 3 strati, ogni
pixel cattura contemporaneamente i 3 colori
Sfrutta l’abilità del silicio ad assorbire differenti
lunghezze d’onda di luce a differnti profondità
Filtro colore al silicio ha meno variabilità nella
risposta al colore rispetto al filtro colore plastico
Più costoso delle tecnologie basate su pattern
[lyo02] Lyon et al., Eyeing the Camera: Into the Next Century, IT&T/SID Tenth Color Imaging Conference, 2002
32
a.a. 2006/2007
Sistemi di Elaborazione
Foveon X3
•
•
•
Incremento di nitidezza in luminosità e crominanza
Risoluzione reale
No artefatti (aliasing)
Pattern
Esempio
Foveon
33
a.a. 2006/2007
Sistemi di Elaborazione
Il prisma dicroico
•
•
•
•
Un prisma dicroico è in grado di separare la luce in due raggi di diverse
lunghezze d’onda (colore).
Di solito vengono realizzati combinando prismi di vetro e pellicole ottiche
che riflettono o trasmettono selettivamente la luce a seconda della
lunghezza d’onda. Quindi alcune superfici del prisma agiscono come filtri
dicroici e vengono utilizzati come separatori di raggi luminosi in numerosi
strumenti ottici.
Una applicazione tipica è quella di dividere in tre componenti la luce
all’interno di alcune telecamere (le cosiddette 3 CCD).
Un prisma tricroico si ottiene combinando opportunamente due filtri
dicroici per separare l’immagine nelle componenti rossa, verde e blu,
successivamente ,misurate da tre diversi CCD.
34
a.a. 2006/2007
Sistemi di Elaborazione
Il prisma dicroico
•
•
•
•
Un layout tipico è visibile nello
schema. Un raggio luminoso entra
nel primo prisma (A) e la
componente blu viene riflessa da un
rivestimento filtrante passa-alto (F1)
che riflette la luce blu, ma trasmette
le lunghezze d’onda superiori.
Il raggio blu subisce una riflessione
interna totale (grazie alla geometria
del prisma) ed esce lateralmente.
Il resto del raggio entra in un
secondo prisma (B) e viene diviso da
un secondo rivestimento filtrante (F2)
che riflette la luce rossa ma
trasmette lunghezze d’onda inferiori.
Il piccolo spazio d’aria tra i due
prismi consente la riflessione interna
totale.
35
a.a. 2006/2007
Sistemi di Elaborazione
Schema di telecamera 3 CCD
36
a.a. 2006/2007
Sistemi di Elaborazione
Dispositivi di acquisizione
•
SCANNER
•
una sorgente di luce interna scandisce una linea del foglio: parte della
luce e’ assorbita dall’inchiostro e parte viene riflessa ed acquisita da
un sensore CCD lineare
37
a.a. 2006/2007
Sistemi di Elaborazione
Immagini di Profondità
•
•
Scanner 3D per l’acquisizione di immagini di profondità
depth o range image
•
puntuali, a matrice
38
a.a. 2006/2007
Sistemi di Elaborazione
Telecamere analogiche
•
•
•
•
Generano un segnale che fornisce informazioni analogiche sull’immagine
campionata riga per riga
Inizialmente usavano tubi da ripresa, sostituiti poi da sensori a stato solido CCD
(senza la circuiteria di conversione digitale!)
Necessitano della fase di campionamento e quantizzazione (frame-grabber)
Usano formati standard
Telecamere digitali
•
•
•
•
•
Generano segnale digitale e si interfacciano al calcolatore mediante opportuni
driver
Non necessitano di ulteriori passaggi (AD/DA) per il trasferimento su PC
preservando la qualità originale
Sono molto flessibili per quanto riguarda frequenza e la risoluzione di
acquisizione
Usano formati proprietari (standardizzazione)
Usano i sensori digitali CCD o CMOS
39
a.a. 2006/2007
Sistemi di Elaborazione
Standard Televisivi
•
IMMAGINI PROVENIENTI DA TELECAMERE RISPETTANO SPESSO GLI
STANDARD VIDEO
•
NTSC (USA, Giappone) National Televison Standard Committe
•
SECAM (Francia, Russia, Europa Est) Sequential Crominance Signal and
Memory
•
PAL (Europa, Italia, D, UK..) Phase Alternating Line
(NTSC Never twice same color, SECAM Something Essential Contradictory to the
American Method, PAL Peace at last)
•
•
•
•
telecamere standard sono interallacciate: prima le linee dispari 1,3,5.. Poi le
pari 2,4,6…
Interallacciamento riduce il flicker. Attenzione per le immagini in movimento.
Il numero di righe N e’ in corrispondenza 1 a 1 con lo standard;il n. di colonne
M dipende dal campionamento nel frame grabber
(M=384,512,768)
40
a.a. 2006/2007
Sistemi di Elaborazione
Standard Video
NTSC
SECAM
PAL
Immagini/sec
30 (29.97)
25
25
Campi per
60
50
50
33.37
40
40
msec per campo
20
20
20
Linee per
525
625
secondo
msec per
immagine
RS-170
immagine
Standard USA video
monocromatico
625
CCIR
Standard Europeo video
monocromatico
Aspect ratio
4:3
4:3
4:3
μsec per linea
63.56
64
64
41
a.a. 2006/2007
Sistemi di Elaborazione
Standard Video
NTSC
il colore viene trasmesso come SEGNALE COMPOSITO
u(t)= Y(t)+ I(t)cos(2πft+φ)+Q(t)sin(2πft+φ)
dove φ=33° , f e’ la frequenza di trasmissione
a colori e’ 3.58 Mhz (ossia 455fl/2 dove fl e’ la freq di linea 15.75 kHz)
Y componente di luminanza (I,Q) componenti di crominanza
SECAM
ogni linea e’ composta dalla luminanza Y(t) e da un segnale di crominanza (alternato ad
ogni linea)
U =(B-Y)/2.03 o V=(R-Y)/1.14 essendo
I=V cos (33)-U sin(33), Q =V sin (33)+U cos(33)
con frequenze di 4.25 e 4.41 Mhz e poi con una sottoportante per Y
PAL
segnale composito
u(t)= Y(t)+ U(t)cos(2πft)+(-1)m V(t)sin(2πft)
dove m e’ il n. della linea; U,V hanno la stessa freq di 1.3Mhz con la portante a 4.43Mhz
Segnale composito: e’ il segnale di luminanza e crominanza + segnali di sincronismo
Questa suddivisione è stata introdotta (al posto dell’utilizzo delle 3 componenti cromatiche
RGB) per la compatibilità verso le vecchie televisioni in bianco e nero.
42
a.a. 2006/2007
Sistemi di Elaborazione
Acquisizione segnale video
•
•
•
•
•
•
•
•
Considerando lo standard europeo CCIR monocromatico
picture frame freq. 25 Hz
raster field freq. 50 Hz
frame : 625 linee 625 x 25= 15625 linee/sec
line freq. 15.625 Hz T=64 microsec.
Acquisizione non continua (come l’audio) Æ campionatura temporale e spaziale
Il campione singolo è la linea, campionata a 15.625Hz
Introduzione di segnali di sincronismo orizzontali (di linea) e verticali (di campo)
Livello di tensione di riferimento BIANCO
Linea 0
Linea 2
livello di tensione di riferimento NERO
livello di tensione di blanking
livello di tensione di sincronismo
Sincr. di linea
5+6.5μs
64μs
Segnale video da
campionare
43
a.a. 2006/2007
Sistemi di Elaborazione
Interlacciamento
•
•
•
Introdotto nel 1934 per aumentare la fuidità di visione preservando la
definizione (in linee) Æ la teconologia di allora non permetteva di
aumentare la velocità di acquisizione
Framerate invariato Æ introduzione di effetto blur motion
Ogni frame è separato in 2 campi
– Le righe pari del campo al tempo t, quindi
– Le righe dispari del campo al tempo t+Δt
•
In ricezione i 2 campi vengono uniti per formare il frame
– Problemi di deinterlacciamento per immagini
in movimento
•
I segnali di sincronismo discriminano tra tipo di righe ed allineano il frame
in modo che non vi siano spostamenti orizzontali o verticali dell’immagine
44
a.a. 2006/2007
Sistemi di Elaborazione
Esempio di frame interlacciato
Veicolo
fermo
Veicoli in movimento
45
a.a. 2006/2007
Sistemi di Elaborazione
Progressive Scan
•
•
•
•
•
Sistema di acquisizione full resolution, il frame è acquisito interamente
con un unica scansione
Elevata risoluzione verticale delle immagini
Eliminazione degli artefatti dell’interlacciamento
Usato nelle telecamere che scattano foto
Tecnologia possibile solo negli ultimi decenni
Film Camera
•
•
Acquisizione su pellicola a 24 fps progressive
scan
Conversione in standard PAL/NTSC Æ
Telecine
– film Æ NTSC:
– 24 frames diventano 48 fields e 4 frames
diventano 5 frames
– Ma NTSC è 29.97fps!!
• Sincronizzazione DROP_FRAME time code
46