Digitalizzione, Audio e Video - Dipartimento di Ingegneria dell

Transcript

Corso di Laurea Cultura e Stilismo della Moda
Esperti di linguaggi multimediali e tendenze moda
Parte III e IV
Rappresentazione Informazione Multimediale
Formati Audio e Video
Corso: Sistemi di Elaborazione Dati
Docente: Ing. Ivan Bruno
E-mail: [email protected]
Formati per video digitali
1
Cosa è il Suono ?
31/10/2006
Sistemi di Elaborazione Dati
3
Onda Sonora
{
{
{
{
31/10/2006
Onda elastica longitudinale –
trasmette energia meccanica
Ha origine da una sorgente
Si propaga attraverso un mezzo che
viene perturbato
Viene percepita da un soggetto
ricevente (20 Hz < f < 20000 Hz)
4
2
Forma d’Onda (Waveform)
{
{
{
Indica la variazione di
pressione nel tempo.
La forma d'onda più
semplice: la sinusoide.
Alcuni parametri
sintetici di una forma
d’onda sinusoidale:
z
z
z
31/10/2006
Ampiezza (A)
Periodo (T)
Frequenza (f)
5
Frequenza e intonazione
{
{
{
31/10/2006
La frequenza di riferimento è quella della nota
LA3, fissata per convenzione a 440 Hz.
Frequenza = Altezza
Da questa frequenza si ottengono quelle degli altri
semitoni secondo la formula: 440x2(n/12)
6
3
Analisi frequenziale
{
{
Una forma d’onda
complessa può essere
scomposta in tante
forme d’onda
sinusoidali con diverse
caratteristiche di
frequenza ed
ampiezza (legge di
Fourier).
Spettro di Frequenza
31/10/2006
7
Il Timbro
{
{
{
{
{
31/10/2006
Perchè un “LA” di una chitarra ha
un suono diverso da una sinusoide
a 440 Hz?
Perchè ha uno spettro diverso !
Cioè un diverso timbro.
Quando una nota viene suonata su
uno strumento viene generata la
sinusoide a frequenza
corrispondente alla nota, che viene
chiamata armonica fondamentale,
e insieme ad essa le armoniche,
cioè tutti i multipli interi di quella
frequenza con ampiezza inferiore.
La differenza di timbro che
caratterizza i vari strumenti
musicali è determinata dalla
diversa ampiezza delle armoniche
successive alla fondamentale !
Quindi strumenti diversi che
producono le stesse note generano
forme d’onda diverse.
Anche i rumori sottostanno alla
legge di Fourier, tuttavia non vi è
alcuna regolarità tra le varie
sinusoidi presenti.
8
4
Sovrapposizione di più suoni
• In generale, se il suono varia
nel tempo (ad esempio una
canzone) allora la sua forma
d’onda varia… e varia anche lo
spettro del suono.
• Questo spiega cosa fa un
analizzatore di spettro.
• Un equalizzatore grafico,
invece modifica i suoni
amplificando o attenuando
l'ampiezza delle sinusoidi che li
compongono
31/10/2006
9
Audio Analogico
{
{
31/10/2006
Il microfono converte la variazione
di pressione nell’aria esercitata dalle
onde sonore in una variazione di
tensione elettrica. Questa a sua
volta potrà essere convertita in
un’altra grandezza per memorizzare
il suono (es. su nastro o disco).
Un altoparlante lavora in maniera
analoga al microfono ma all’inverso.
10
5
Audio Analogico
{
{
In pratica, in un sistema analogico
l’informazione relativa all’onda sonora è
codificata nelle variazioni di un parametro
continuo, come il grado di
magnetizzazione di un nastro o la
tensione elettrica in un filo.
Inoltre, la distanza nel supporto (disco,
nastro, etc.) rappresenta il tempo.
z
z
31/10/2006
La grandezza fisica usata per la
memorizzazione è “analoga” alla pressione
dell’aria.
La lunghezza del supporto è “analoga” al
tempo.
11
Audio Analogico – Svantaggi
{
{
{
31/10/2006
Se viene alterata la velocità con cui
viene percorso il supporto allora
viene alterata la forma d’onda
Se il nastro o il disco si degrada
allora la forma d’onda cambia.
Non ho nessun modo oggettivo per
valutare e individuare l’alterazione.
Le degradazioni non possono essere
separate dal segnale originale.
12
6
Audio Digitale – Vantaggi
Economico:
z
z
z
{
{
{
{
{
{
I circuiti digitali costano meno da fabbricare, occupano
meno spazio e sono più resistenti
Spazio fisico necessario per la memorizzazione
I suoni diventano dati: sfrutto tecniche già usate per
trattare gli altri tipi di dati
La qualità di riproduzione di un sistema digitale non
dipende dal supporto ma solo dalla qualità di
conversione!
Separo le degradazioni dal segnale originale: posso
individuare e correggere gli errori!
Elevata qualità nella elaborazione del segnale, senza
degrado. Le tecniche di codifica e trasmissione dei
segnali digitali sono più efficienti.
Posso copiare l’originale senza perdita di qualità infinite
volte
Compromesso qualità – spazio
Comodità: non devo riavvolgere il nastro!
31/10/2006
13
Digitalizzazione Audio
Per rappresentare i suoni, l’onda analogica viene trasformata in
digitale approssimandone in ogni punto l’andamento con numeri
interi.
A maggiore frequenza di campionamento, corrisponderà migliore
qualità.
A maggior ampiezza di variazione dei valori numerici di altezza
corrisponderà ancora migliore qualità del suono.
Suono
onda di
pressione
dell’aria
Cavo elettrico 1
Trasporta il segnale
elettrico analogico
fino al ADC
Analog to
Digital
Converter
Cavo elettrico 2
Trasporta il segnale
elettrico digitale
verso il computer
Microfono
Converte il suono
in segnale elettrico
Analog to Digital Converter
Campionamento
Segnale analogico
31/10/2006
Quantizzazione
Segnale campionato
10001001010001
Segnale digitale
14
7
Audio Digitale – Come funziona ?
{
{
{
31/10/2006
Campionamento: la forma d’onda originaria viene
spezzata in un numero finito di campioni
(samples).
Ad esempio nei CD audio vengono raccolti 44.100
campioni per ogni secondo della forma d’onda !
Il numero di campioni raccolti al secondo viene
detto Frequenza di Campionamento (Sampling
Rate o Frequency Resolution)
15
Audio Digitale – Come funziona ?
{
{
{
31/10/2006
Quantizzazione: ciascun valore di cui prendo nota
(campione) viene tradotto in un numero che può
assumere solo un numero finito di valori.
Es: esprimo l’ampiezza della forma d’onda con
256 possibili valori. Æ mi servono 8 bit
Il numero di possibili valori che utilizzo per
esprimere l’ampiezza determina la risoluzione in
bit (bit depth).
16
8
PCM – Pulse Code Modulation
{
31/10/2006
La tecnica di conversione analogico
– digitale appena vista prende il
nome di Pulse Code Modulation.
17
Riproduzione Audio Digitale
{
{
{
31/10/2006
Lasciamo che il fiume riempia il
bacino (cioè, che i dati audio
caricati riempiano il buffer)
…
Quando il bacino è pieno, anche se
il flusso d’acqua in ingresso (i dati
audio) è discontinuo, possiamo
comunque prelevare acqua in uscita
in modo continuo (cioè ascoltare
l’audio senza interruzioni)
18
9
PRODUZIONE DEL SUONO
Esiste anche il processo inverso, che trasforma
l’informazione da digitale ad analogica.
Nel caso del suono questo compito è svolto dal
D.A.C. (Digital to Analog Converter) che
trasforma il segnale digitale in segnale elettrico
analogico; tale segnale viene successivamente
trasformato in onda sonora dalle casse
acustiche.
Cavo elettrico 1
Trasporta il segnale elettrico digitale
verso il DAC
Digital to
Analog
Converter
Cavo elettrico 2
Trasporta il segnale elettrico
analogico fino alla cassa
Suono
onda di
pressione
dell’aria
Cassa Acustica
Trasforma il segnale elettrico
analogico in suono
31/10/2006
19
Formato WAV
{
{
{
{
{
31/10/2006
Basato sulla codifica PCM (Pulse Code
Modulation), che memorizza i campioni a
intervalli di tempo costante
All’aumentare della qualità del suono
riprodotto aumenta la dimensione del file
generato
Equivale al BMP per le immagini (raster)
Qualità variabile: da 44Khz, 16 bit, stereo
per i cd musicali a 8Khz, 8 bit, mono.
Non compresso: è il formato usato per la
musica su CD.
20
10
Cosa è possibile fare con un PC ?
{
{
{
{
{
{
{
{
{
31/10/2006
A/D (conversione analogico-digitale)
Recording
Audio Processing (equalizzazione, effetti,
DSP, …)
Comporre musica
Mixare più tracce / Sincronizzarle / Loop
Codifica e conversione tra vari formati
Riproduzione (D/A)
Aggiungere il suono a Video /
Presentazioni / prodotti multimediali..
Digital Radio
21
Quali sono le parti coinvolte ?
{
{
{
{
{
{
31/10/2006
Scheda Audio
PC
Strumenti e Microfoni (non
indispensabili)
Supporti (CD – DVD – HD ...)
Monitor (Casse o Cuffie !)
Software (programmi, filtri, codec,
sample, etc..)
22
11
La scheda audio
{
{
{
{
Mixer
A/D
D/A
Interfaccia MIDI
31/10/2006
23
Codec: COdifica/DECodifica Audio
{
{
La codifica PCM è detta non compressa
Problemi di trasmissione e
memorizzazione:
z
z
{
Nasce l’esigenza di codificare riducendo
l’impiego di memoria utilizzando codifiche
con compressione:
z
z
31/10/2006
Bitrate: 1 sec. di musica stereo codificata in
PCM qualità CD: 2 x 16 bit x 44100 = 1400000
bit !! (circa 1.4Mbps)
5 min = 300s x 1.4Mbps = 420 Mb = 52 MB
Codec compressi lossless
Codec compressi lossy
24
12
Codec e File Format
{
{
{
{
Un “audio file format” è uno specifico
formato di file in cui memorizzare dati
audio.
Il file format è un contenitore, può
supportare differenti codec oppure uno
solo. Per questo spesso si confondono
codec e file format..
Es. file di tipo WAV, AIFF, AU
memorizzano dati non compressi (in PCM)
Es. file AVI memorizzano sia video che
audio, entrambi codificabili con diversi tipi
di codec
31/10/2006
25
Codec compressi
{
Lossless:
z
z
{
Lossy:
z
z
z
z
z
z
z
z
31/10/2006
Monkey’s Audio (file .APE)
FLAC Free Lossless Audio Codec
MP2
MP3
Ogg Vorbis (open and free codec, alcuni trovano più
piacevole la maniera in cui codifica l’audio quando la
perdita di informazione è percepibile..)
MPEG-4 AAC (considerato il successore di mp3, supporta
frequenze di campionamento più elevate, supporta fino a
48 canali, più efficiente, migliore qualità a parità di
bitrate)
MPC Musepack (open and free, problemi di brevetti..)
Real Audio
Windows Media Audio (.ASF .WMA)
AC-3 (Dolby Digital) (supporta mono/stereo/5.1, utilizzato
nei dvd, nella tv digitale e nel cinema con pellicole da
35mm, inferiore ad AAC, DD-Plus is coming..)
26
13
Psicoacustica
{
{
{
{
{
{
31/10/2006
Descrive quanto la nostra capacità di udire sia
limitata in termini temporali, frequenziali e
spaziali
Le caratteristiche del segnale originale non
percepibili dall’utente medio si dicono mascherate
La qualità è completamente soggettiva e può
essere testata solo attraverso prove di ascolto
In presenza di un segnale con uno spettro molto
complesso, l’orecchio subisce un effetto di
mascheramento di alcune bande rispetto ad altre
L’orecchio umano ha una risoluzione frequenziale
finita, cioè non è in grado di distinguere tra due
toni troppo prossimi in frequenza
Come conseguenza (diseguaglianza di
Heisenberg) l’orecchio umano ha una risoluzione
temporale finita
27
Psicoacustica
{
{
{
31/10/2006
Come ulteriore esempio: brevi interruzioni
di un tono continuo sono difficili da
individuare
Come conseguenza della finita risoluzione
temporale si ha che il mascheramento
può anche avvenire per un tono
mascherante che inizia dopo e cessa
prima di quello mascherato
Questo effetto viene detto forward e
backward masking
28
14
La codifica percettiva
{
{
{
31/10/2006
E’ basata sul mascheramento uditivo
Il mascheramento causa una minore
sensibilità dell’apparato uditivo
(orecchio/cervello) nei confronti del suono
ad una frequenza in presenza di un suono
ad una frequenza prossima
Se un tono è presente in ingresso
all’apparato uditivo, maschererà i segnali
di potenza inferiore e localizzati, in
frequenza, in sua prossimità
29
La codifica percettiva
{
{
{
31/10/2006
La proprietà di mascheramento può
essere utilizzata per quantizzare in modo
più grossolano i toni mascherati
Quantizzazione più grossolana Æ Minor
numero di bit necessari per codificare la
stessa informazione Æ Guadagno di
codifica
Si ha un aumento della distorsione di
quantizzazione permesso dalla presenza
del tono mascherante
30
15
MP3
{
{
{
{
Nato nel 1992 da studi condotti dal
gruppo di MPEG
Acronimo di MPEG 1 Audio Layer 3
Usato per la condivisione di file audiovideo sul web
Si basa sul principio di esclusione dalla
codifica delle frequenze teoricamente non
percepite dall’udito umano:
z
z
non sensibile a alte frequenze
non comprende chiaramente le basse
frequenze se coperte da altre
31/10/2006
31
MP3
{
{
{
{
31/10/2006
Un’orecchio esperto può comunque
notare la diversità del suono
codificato in MP3 rispetto l’originale.
C’è però una diminuzione dello
spazio occupato notevole (anche di
1:12 rispetto l’originale).
Codifica a 32 kbps – 605 KB
Codifica a 320 kbps – 5.93 MB
32
16
MP3
{
La qualità di un file MP3 dipende da:
z
z
z
{
{
{
31/10/2006
bitrate
tipo di codifica
difficoltà con la quale il segnale viene codificato
In generale si ottiene una qualità discreta al di
sopra dei 128 kbit/s che è più o meno quella di un
cd audio (sempre senza tralasciare il tipo di
codificatore).
Ad oggi vi sono molti codificatori MP3 poiché non
c’è uno standard unico (decodifica e formato sono
invece ben definiti).
Il migliore al momento è LAME ad alti bitrate e
Fraunhofer a bassi bitrate.
33
MIDI - Musical Instrument Digital
Interface
{
{
{
{
{
31/10/2006
Standard di comunicazione digitale
Max 16 strumenti Æ Politimbrica e
polifonia
Comandi (nota, velocity, aftertouch, vibrato, volume, …)
Qualità dipendente dal riproduttore
File piccoli (anche 10KB/min)
34
17
MIDI
{
{
{
{
Interfaccia MIDI
Sequencer (diverse viste)
Generatore di Suoni (sound table,
SWsynth, synth, sampler, drummachine)
MIDI Controller
31/10/2006
35
Formati Audio Encoding
(voce)
ITUITU-T G.711
ITUITU-T G.728
• Pulse Code Modulation
• Low Delayelay-Code Excited Linear Prediction
• Banda:300Banda:300-3400Hz
• 8 kHz sample rate
• Bit Rate: 16Kb/s
• 8 bits per sample
• Multiulti-Pulse Maximum Likelihood Quantization
• Bit Rate: 56/64Kb/s
• Bit Rate: 5.3/6.3Kb/s
ITUITU-T G.723.1
ITUITU-T G.729
• Complementary Symmetryymmetry-Algebraic Code Excited Linear Prediction
• Bit Rate: 8Kb/s
• Adaptive Differential Pulse Code Modulation
ITUITU-T G.726
ITUITU-T G.722
• Sub Band - Adaptive Differential Pulse Code Modulation
• Banda: 5050-7000Hz
• Bit Rate: 48/56/64Kb/s
31/10/2006
GSM
• Bit Rate: 8Kb/s
• Regular Pulse Exitation - Long Term Prediction)
rediction)
• 13Kb/s
36
18
Formati Audio Encoding
MIDI
• Musical Instrument Digital Interface
Wave
• contengono istruzioni che comunicano alla scheda audio di
modulare la frequenza in modo da produrre una particolare nota
che abbia una timbrica simile a quella dello strumento in
questione e che duri una certa quantità di tempo.
• variante MS dell’AIFF (Apple
(Apple))
• nessuna compressione
• max qualità
• poco efficiente
• estensioni: .wav
MOD, XM, IT,S3M
• varianti del MIDI
• contegono campioni degli strumenti originari
AIFF
• Audio Interchange File Format
• nessuna compressione
• max qualità
• poco efficiente
• estensioni: .aif ief,
ief,
AAC
• Advanced Audio Coding
• Mpeg Layer 2
MP3
AC3
• Mpeg
Mpeg Layer 3
• fattore di compressione tipico 12:1
• compressione Psicoacustica
• estensioni: .mp3
• Dolby ACAC-3 Audio Coding rev. 3
• Home theatre 5+1 canali audio
• sinonimi: surround sound, 3D sound.
31/10/2006
37
Fasi del processo di Digitalizzazione
(Workflow)
Acquisizione
Audio
Indicizzazione
Identificazione dei contenuti
Produzione
Pubblicazione
Acquisizione
altri documenti
multimediali
Controllo e gestione del workflow
31/10/2006
38
19
Distribuzione delle fasi
di Digitalizzazione
Computer di tipo A - Acquisizione
SERVER
Gestione
………
Log.X
LS
DoA
.XLS
DoA.XLS =>
DoA.XML
ETHERNET
Verifica
Consistenza
HUB
10/100
………
Computer di tipo C
Elaborazione Versioni
Realizzazione di
versioni a bassa/alta
definizione
31/10/2006
Copia #2
1001011
0101010
WAV
+ DoAX
Copia #1
Computer di tipo B
Produzione
ML
COPIA
MASTER
39
Formati per video digitali
20
Conversione analogico-digitale di video
{
Un video è una sequenza di immagini (fotogrammi) accompagnata
da un suono
il processo di digitalizzazione può essere considerato una estensione di
quello descritto per le immagini, sommato e sincronizzato con quello
descritto per il suono
z
{
In realtà la riproduzione digitale di un video è molto complessa
si deve tener conto di molti fattori, ad es. la velocità di trasferimento
delle informazioni dalla memoria del computer al monitor
z
Compressione:
{
Il formato digitale di audio, immagini e video è estremamente
“pesante”:
Esempio: una immagine di 640x480 pixel a 256 colori occupa 307.200
byte (2457600 bit) e richiede 55,10 sec per essere trasmessa con un
modem a 44.600 bps
z
{
E’ necessario applicare tecniche di compressione che permettono di
alleggerire il peso di audio, immagini e video in formato digitale,
senza ridurne in maniera percettibile la qualità
31/10/2006
41
Le dimensioni dei file video
{
1 sec di filmato
z
z
z
Di dimensione 640x480
30 frames a colori al sec
Profondità di colore a 3 bytes (RGB in True
Color)
640x480x30x3 = 27.648.000 bytes
(~27MB)
31/10/2006
42
21
31/10/2006
43
Formati Video Encoding
ITUITU-T H.261/263
Divx
• n x 64Kb/s, 1< n <30
• basato su Meg4
• ISDN
• indee:
indee: mpeg1,2, quicktime
• Common Intermediate Format:
• (f)Cif (288 linee x 352 pixel)
• QCIF (176 linne x 144 pixel)
• 4CIF (704 linee x 576 pixel)
• Altissimi fattori di compression
JPEG
• Joint Photographic Expert Group
• Standard nel 1992.
MPEG
• lossy compression algorithm
• Motion Picture Expert Group
AVI
• Audio Video Interleave
• proprietario MS
• mpeg1 (qualità VHS)
• mpeg2 (qualità DVD)
• Evoluzioni: mpeg4
• standar compressione: RLE, Indeo,
Indeo,Cinepak
31/10/2006
QuickTime
• proprietario Apple
• standar compressione: Cinepak,
Cinepak,
JPEG, and MPEG.
44
22
Streaming su Internet
E’ un’applicazione che permette la trasmissione video da un
server a un client attraverso la rete internet. Un video
deve poter essere visualizzato immediatamente senza che
tutto il file sia stato scaricato, inoltre audio, video e testo
devono avere una corretta sincronizzazione. Per poter
usufruire dello streming è necessario che il client installi
un apposito software. Se diversi client accedono
contemporaneamente agli stessi dati video di un server,
la banda utile disponibile diminuisce. La qualità del video
è misurabile a partire da parametri fissi quali frame-rate,
dimensione e qualità della figura, rumore, ecc.
Per l’interazione con l’utente è necessario disporre di
comandi per il controllo del flusso come Fast Forward,
Fast Riverse, Pause e Play, a cui è possibile accedere
grazie a pulsanti visualizzati sulla linea di comando del
web browser. Se c’è del testo associato al video, deve
essere cliccabile per fornire collegamenti.
31/10/2006
45
Streaming - Standard di fatto
I sistemi più diffusi per realizzare streaming sono:
{
Apple (IPv6 Ready!)
z
z
z
z
z
z
{
Microsoft (IPv6 Ready!)
z
z
z
z
{
Streaming server: Windows Media Server (incluso in Windows
server2003)
Encoder: Windows Media Encoder
Player: Windows Media Player o Mplayer.
Formati trasmessi .wmv .asf
Real Networks
z
z
z
z
31/10/2006
Streaming server: Quick Time Streaming Server (Free),
Darwin server (Free).
Encoder: Quick time Broadcaster (Free),
VLC Encoder multipiattaforma (Free).
Player: Quick time (Free).
Formati trasmessi .mov e MPEG-4.
Streaming Server: Helix Universal Server (Commerciale $$$)
Encoder: Real Producer (~100-150€)
Player: Real Player (free).
Formati trasmessi: .rm, .wmv, .asf .MPEG-4
46
23
Formati streaming
ASF
REAL
Standard de facto
Il formato utilizzato da Microsoft per la distribuzione
di filmati via streaming:
streaming: Advanced Streaming Format
(ASF).
ASF). Sviluppato appositamente dalla casa di Redmond
per il Web sin dal 1995, è diventato uno dei principali
formati di web streaming disponibili oggi sul mercato.
Per poter utilizzare il formato Microsoft è necessario
utilizzare un server specifico che supporti la
distribuzione di file ASF e uno specifico lettore, il
noto Windows Media Player che proprio in questi ultimi
giorni è giunto alla versione 9.
RealNetworks ha integrato nella piattaforma di
streaming anche una particolare tecnologia chiamata
SureStream. In poche parole si tratta di una
modalità che è in grado di adattare alla velocità del
collegamento il flusso di dati in modo da renderlo
scalabile anche in previsione di una calo di prestazione
della connessione.
QuickTime
• proprietario Apple
• standar compressione: Cinepak,
Cinepak,
JPEG,
JPEG, and MPEG.
31/10/2006
47
Compressione video
coder
31/10/2006
48
24
Prima idea: M-JPEG
JPEG
coder
JPEG
coder
M-JPEG
JPEG
coder
JPEG
coder
31/10/2006
compressione insufficiente:
insufficiente:
non viene sfruttata la
ridondanza temporale
(frame consecutivi possono
essere anche molto simili
fra loro)
49
Compressione Video
{
{
{
Generalmente le sequenze video
contengono un elevato grado di
ridondanza
Due immagini successive di una sequenza
video tendono, tipicamente, a
differenziarsi poco
Per sfruttare questo forte legame tra
elementi successivi, sono stati proposte
due tecniche:
z
z
31/10/2006
La tecnica del rimpiazzamento condizionato
(ridondanza spaziale - intra frame)
La tecnica della compensazione del movimento
(ridondanza temporale - inter frame)
50
25
Compensazione del movimento
{
{
{
{
31/10/2006
Segmentata l’immagine in elementi più
semplici da trattare, detti macroblocchi, si
valuta qual è la migliore approssimazione
del macroblocco corrente nell’immagine di
riferimento
Il movimento viene rappresentato e
codificato con un vettore di movimento
Dell’immagine attuale viene codificata la
correzione con tale approssimazione
Intuitivamente è come se si codificasse il
movimento degli oggetti nella successione
di immagine
51
MPEG MPEG (Moving Picture Expert Group Moving
Picture Expert Group)
ISO/IEC ISO/IEC JTC1 SC29 WG11
{
{
{
{
{
{
{
31/10/2006
Una famiglia di standard
Da MPEG-1 a MPEG-4 video (e audio)
MPEG-7 “Multimedia Content Description
Interface”
MPEG-21 "Multimedia Framework“
Si tratta di modalità di rappresentazione e
relativi algoritmi di decodifica.
Scopo: maggiore compressione senza
compromettere la qualità.
La decodifica può essere fatta via
software o via hardware.
52
26
Compressione MPEG
Evoluzione:
MPEGMPEG-1
permettere video da CDCD-ROM (circa 1.2 Mbps)
Mbps)
MPEGMPEG-2
video di grandi dimensioni per HDTV
MPEGMPEG-4
trasmissione su mezzi a bassa banda (< 64Kbps)
MPEGMPEG-7
descrizione ad alto livello dei contenuti
MPEGMPEG-21
futuro
31/10/2006
53
Struttura MPEG-1 e -2
• parte VIDEO
la vedremo nel seguito
• parte AUDIO
es. MPEG Layer3 = MP3
• parte SYSTEM
come i vari flussi possono essere
separati (demultiplexati
(demultiplexati)) e sincronizzati
fra loro
• parte Conformance definisce una serie di test per verificare
se una particolare implementazione è
conforme allo standard
31/10/2006
54
27
Compressione MPEG - Video
{
{
{
{
31/10/2006
Si basa sul fatto che l’occhio non
distingue cambiamenti di colore ad alta
frequenza spaziale, e frame successivi
hanno generalmente zone comuni.
L’immagine viene trasformata come nel
JPEG, generando gli intra-frames (I
frames)
Viene usato lo spazio di colore YCbCr.
L’immagine è discretizzata e quantizzata:
perdita di dettagli.
55
{
{
{
{
31/10/2006
Fa uso della compensazione del
movimento
L’immagine è suddivisa in blocchi
Viene ricercata la corrispondenza
tra i blocchi nei frames successivi.
Sono conservati i parametri del
moto dei blocchi (P e B frames)
56
28
Tre tipi di frame:
• I-frame
immagini complete (come se fossero JPEG)
• P-frame
ricavabili da frame precedenti opportunamente modificati
• B-frame
possono dipendere sia da frame precedenti, sia da frame
successivi (predizione bidirezionale)
P
B
B
31/10/2006
I
B
B
P
B
B
I
57
{
{
P e B frames sono soggetti ad
errori: hanno bisogno di altri frame
per ricostruirli.
Si può selezionare ogni quanti
frame mettere un I frame (funziona
da key-frame), normalmente è
presente ogni 12 frame.
z
z
31/10/2006
diminuisce però la compressione.
L’ordine ed il numero di P e B frame è
deciso dall’encoder.
58
29
31/10/2006
59
Predizione temporale
16x16
16x16
16x16
16x16
8x8
R
G
I-frame
31/10/2006
B
Y
8x8
YCbCr 4:2:0
Cb Cr
P-frame
60
30
Motion Estimation - 1
{
{
{
{
{
{
Una volta codificata un’immagine di riferimento come
spiegato prima (I-Frame) si cercano similarità con i frames
adiacenti;
Innanzitutto controllo che il macroblocco in esame non sia
rimasto identico (o quasi) nel frame successivo, nel qual
caso non lo invio
Altrimenti, cerco nelle vicinanze per identificare se si è
mosso. Se lo trovo, invio un vettore di movimento
Codifico secondo lo schema visto in precedenza solo se non
ho trovato il macroblocco da nessuna parte nel frame;
Se sono tra una I e una P-Picture, interpolo i vettori di
movimento;
Non è la panacea, però. Se commetto un piccolo errore e
calcolo i frames successivi solo partendo dal precedente,
l’errore si propaga rapidamente.
31/10/2006
61
Motion Estimation - 2
Ricerca dei blocchi corrispondenti per la compensazione del moto
31/10/2006
62
31
MPEG-4
Requisiti:
• Interattività;
• VLBR Video - Migliore compressione;
• 3D scenes;
• Non-rectangular elements;
• Robustezza;
• Scalabilità;
• Editing;
• Random-Access;
• Hybrid, Natural and Synthetic Data coding.
31/10/2006
63
Altri standard
MPEG 4 per multimedia interattivi, GUI, Ambienti virtuali,
TV Digitale HDTV, dati grafici/audio/video, WWW,
Internet, ISDN, cavo, ....
computer
TV/film
MPEG-4
telecomunicazioni
31/10/2006
64
32
Altri standard
MPEG 7
• Multimedia content description interface:
− descrizione standard di material multimediale:
immagini, testo, grafica, modelli 3D, audio,
parlato, etc...
− espressioni facciali, caratteristiche personali;
• consente ricerca e reperimento:
− ricerca testuale e per contenuto;
• compatibile con standard per disegni e documenti,
es. PDF.
31/10/2006
65
Altri standard
MPEG-7 - applicazioni:
• digital library - video, grafica, musicale, ....
• multimedia directory service
• broadcast media selection, canali radi e TV
• multimedia editing, media authoring
31/10/2006
66
33
Atri Formati
Grafica vettoriale
{
{
{
{
{
{
La grafica vettoriale definisce le immagini costruendo
dei modelli di oggetti fatti di figure geometriche
semplici (linee, curve e poligoni)
i dati dell’immagine vengono tradotti in formule
matematiche che contengono tutte le istruzioni
necessarie per tracciarla
E’ una grafica orientata agli oggetti dove ogni oggetto è
composto da singoli elementi ognuno dei quali è
caratterizzato da una serie di proprietà (dimensione,
posizione, etc…)
Ogni oggetto può essere facilmente modificato
I file delle immagini vettoriali sono molto più leggeri
rispetto alle immagini bitmap e possono essere
manipolati senza diminuirne la qualità
Un'immagine vettoriale si può raffigurare a qualsiasi
risoluzione:
z
31/10/2006
Si può ingrandire o rimpicciolire a piacimento mantenendo
inalterate nitidezza e definizione
68
34
Grafica vettoriale
{
SW per la creazione e la modifica di immagini vettoriali:
z
z
z
{
CorelDraw
Adobe Illustrator
Macromedia Freehand
Alcuni formati vettoriali
z
.cdr (CorelDraw)
.ai (Adobe Illustrator)
.fh (Freehand)
.swf (ShockWave Flash)
z
.svg (Scalable Vector Graphics)
z
z
z
{
{
{
{
{
31/10/2006
il formato di Macromedia Flash
formato standard del W3 Consortium, creato nel 1999
è visualizzabile dai browser ma necessita del plug-in Adobe SVG
Viewer
come il formato di Flash, permette di creare delle animazioni
si basa sul linguaggio XML
69
Formati ibridi
{
Sono usati sia per le immagini
vettoriali che raster
z
{
Principali standard della Adobe
z
z
31/10/2006
Consentono di memorizzare testo e
immagini
EPS (Encapsulated Postscript) utilizzato
nel campo della stampa professionale
PDF (Portable Document Format) E' il
formato visualizzabile con Adobe Acrobat
Reader
70
35
Il formato EPS
{
{
{
{
{
{
31/10/2006
Consente l’archiviazione di una immagine, intesa in
senso più ampio, come insieme di testo e figure
Le immagini EPS sono descritte nel linguaggio
PostScript (PS), sviluppato per descrivere le pagine di
un documento in cui siano presenti sia dati vettoriali
che dati raster
La rappresentazione del documento risulta
indipendente dal dispositivo di stampa o di
visualizzazione
Il formato EPS fornisce una rappresentazione definitiva
dell’immagine, che non può essere modificata
dall’applicazione con cui il file viene interpretato
(stampante o programma di videoscrittura)
supporta le gestioni di colore RGB, CMYK
non supporta il canale alfa (il canale della trasparenza)
71
Il formato PDF
{
{
{
31/10/2006
È un’evoluzione del modello di
rappresentazione PostScript per
descrivere testo e immagini
indipendentemente dai dispositivi
PDF è un formato con una struttura più
ricca ed articolata di EPS
Include oggetti che non fanno parte del
documento ma che sono utili per una
visione interattiva (note, collegamenti
ipertestuali,…)
72
36
31/10/2006
73
37

Digitalizzione, Audio e Video - Dipartimento di Ingegneria dell

Transcript

Documenti analoghi

25 Novembre 2016 @ Workshop – L`Amplificatore Audio

WINDOWS MOVIE MAKER Come importare i video e i file audio Per

rottama la tua vecchia scheda audio (anche non

Immagine perfetta. Surround spettacolare.

audionote - Sperimentando

Conservatorio di Musica Benedetto Marcello

USO DEL PROGRAMMA FREERIP INSERIRE IL CD AUDIO NEL

Techsolo TC-B16: scheda audio 5.1

Per tutti i venditori d`informatica ecco una nuova

SCONTRO TRA TITANI