Corso di Laboratorio di Multimedialità Contenuti Programma del

Corso di Laboratorio di
Multimedialità
Anno Accademico 2002-2003
Docente: Claudio Sacchi
PARTE 1: INTRODUZIONE AL
CORSO E RIEPILOGO DEI
CONCETTI DI BASE
Contenuti
• Programma del corso ed articolazione delle
lezioni;
• Riferimenti bibliografici;
• Modalità di esame;
• Introduzione alla trasmissione video digitale;
• Tecniche di video-streaming ed applicazioni;
Anno accademico 2002-2003
2
Programma del corso
Programma del corso
• Riepilogo dei concetti base sulla
trasmissione video digitale;
• Effetti degli errori su segnali videocompressi;
• Tecniche congiunte di codifica di sorgente e
di canale per la trasmissione di stream video
su canali radio reali.
• Tecniche di elaborazione in post-processing
del segnale video-compresso;
• Tecniche di codifica scalabile;
• Trasmissione di segnali multimediali a bitrate variabile su canali radiomobili e
satellitari.
(continua)
Anno accademico 2002-2003
3
Anno accademico 2002-2003
4
Articolazione delle lezioni
• Il corso è articolato in 24 ore di lezione (3
crediti) di cui:
• Lucidi del corso fatti a lezione;
• Articoli e parti di libri, via via segnalate dal
docente;
• Manualistica del software ultilizzato nelle
esercitazioni di laboratorio.
– 10 ore in aula per illustrare gli strumenti
teorici di base;
– 14 ore in laboratorio (probabilmente a
Mesiano) per l’utilizzo pratico da parte dello
studente dei tool software di elaborazione del
segnale video.
Anno accademico 2002-2003
5
Modalità di esame
• Sono previste tre modalità differenti:
Anno accademico 2002-2003
6
Introduzione alla trasmissione
video digitale
• Obbiettivi
– Lavoro di ricerca bibliografica su argomenti inerenti al
corso con relazione finale (voto massimo: 27/30). Durata:
2 settimane;
– Lavoro di implementazione software e di simulazione
(nessun limite sul voto), con relazione finale. Durata: 3
settimane;
– Integrazione con tesi di laurea specialistica, insieme ad
esame di El. Trasm. Sig. Video, durata: 1 mese aggiunto
all’attività della tesi di Laurea.
NOTA: Limite di tempo max per lavori: 2 mesi
Anno accademico 2002-2003
Riferimenti bibliografici
7
– L’obiettivo di un sistema di comunicazione
digitale e’ trasferire un messaggio digitale dalla
sorgente alla destinazione;
– Nel caso di trasmissione di un segnale video
digitale bisogna trasferire dalla sorgente alla
destinazione un flusso di bit che codifica
un’immagine o una sequenza di immagini.
Anno accademico 2002-2003
8
Introduzione alla trasmissione
video digitale
• Obbiettivi
Introduzione alla trasmissione
video digitale
• Obbiettivi
– La codifica “raw” di un segnale video avviene in
modalità PCM, ovvero con un doppio
campionamento nel dominio delle frequenze
spaziali ed in quello temporale e con relativa
quantizzazione dei campioni ottenuti;
– Rate di uscita di un codificatore PCM di un
segnale video RGB:
[(769 × 568) ∗ 8 ∗ 3]× 24 = 251.592.192 bit/sec
Anno accademico 2002-2003
9
Introduzione alla trasmissione
video digitale
• Tecniche di codifica di sorgente
Anno accademico 2002-2003
10
Introduzione alla trasmissione
video digitale
• Tecniche di codifica di sorgente
– H.261: detta anche P.64, poiché il rate di
trasmissione è multiplo di 64Kb/s.
– La tecnica H261 veniva usata alcuni anni fa per
trasmissione video su collegamenti ISDN
(videotelefono, teleconferenza), ora è stata
rimpiazzata da tecniche più efficienti.
– Il meccanismo di codifica è simile (ma
incompatibile) a quello dello standard MPEG.
Anno accademico 2002-2003
– Per trasmettere 1 secondo di sequenza video a
colori necessiterebbero circa 251Mbit. E’
evidente che nessun canale (nemmeno la fibra
ottica) può garantire una simile capacità;
– La codifica di sorgente, finalizzata a ridurre il
numero di bit/sec necessari a trasmettere
l’informazione video, è quindi un “must” nella
trasmissione video digitale.
11
– H.263: è uno standard, tuttora largamente
utilizzato, per trasmissione video a basso bit-rate
in canali a banda stretta.
– Il sistema di codifica è simile a quello dello
standard H261, con alcune caratteristiche aggiunte
per incrementarne l’efficienza e la capacità di
recupero di errori di trasmissione.
– Le applicazioni sono le stesse dell’H.261.
Anno accademico 2002-2003
12
Introduzione alla trasmissione
video digitale
• Tecniche di codifica di sorgente
• Tecniche di codifica di sorgente
– M-JPEG: in realtà non è un vero standard, ma
è solo l’applicazione a sequenze di immagini
della codifica JPEG standard (in pratica:
codifica JPEG dei singoli frames);
– Consente bassi rapporti di compressione
(tipici valori: 10:1, 15:1), ma offre un’ottima
qualità visuale e si utilizza in applicazioni
dove tale qualità è espressamente richiesta.
Anno accademico 2002-2003
– MPEG-1: il codificatore MPEG1 produce uno
stream video ad una bit-rate di 1-1.5Mb/s,
offrendo una qualità VHS, alla risoluzione CIF
(352x288) e ad una frame-rate di 30 fps;
– MPEG1 non consente scalabilità della
risoluzione e la decodifica richiede elevati tempi
di latenza. Consente, tuttavia la scalabilità
temporale eliminando frames di tipo B.
13
Introduzione alla trasmissione
video digitale
Anno accademico 2002-2003
14
Introduzione alla trasmissione
video digitale
• Tecniche di codifica di sorgente
• Tecniche di codifica di sorgente
– MPEG-2: è un’estensione di MPEG1 che
consente maggiore flessibilità e possibilità di
integrazione con la codifica audio. E’ per
questo utilizzata per applicazioni TV digitale;
– Il coder MPEG2 produce uno stream video con
bit-rate compreso tra 2 e 15Mb/s, con
scalabilità a tre livelli: temporale, di qualità
(PSNR) e di risoluzione.
Anno accademico 2002-2003
Introduzione alla trasmissione
video digitale
15
– MPEG-4: è lo standard di compressione video di nuova
generazione che consente la trasmissione di video a basso
bit-rate (<64Kb/s), ma con buona qualità percettuale;
– MPEG-4 si basa sulla segmentazione della sequenza A/V
in Audio-Visual Objects (AVO), che possono essere
trasmessi in modalità multiplexata, ottenendo grande
flessibilità e scalabilità.
Anno accademico 2002-2003
16
Introduzione alla trasmissione
video digitale
• Tecniche di codifica di sorgente
• Tecniche di codifica di sorgente
– Il codec MPEG-4 si basa su un linguaggio di
definizione chiamato MSDL (MPEG-4 syntatic
description language);
– MSDL consente di costruire nuovi codecs,
componendo diverse primitive di questo
linguaggio, consentendo il downloading
dinamico di queste componenti da Internet
(meccanismo simile alle API di Java).
Anno accademico 2002-2003
17
Introduzione alla trasmissione
video digitale
Uscita video
Codificatore di
forma d’onda
Decodificatore di
forma d’onda
Codificatore
entropico
Decodificatore
entropico
Codificatore di sorgente
Decoder di sorgente
Codificatore di
trasporto
Canale
Anno accademico 2002-2003
– JPEG-2000: è lo standard di nuova
generazione per la codifica di immagini fisse;
– Basato sulla trasformata wavelet, esso
consente scalabilità di risoluzione e
scalabilità di qualità, con rapporti di
compressione assai migliori (a parità di
qualità), rispetto al JPEG classico.
Anno accademico 2002-2003
18
Introduzione alla trasmissione
video digitale
• Sistema di trasmissione video digitale
• Sistema di trasmissione video digitale
Ingresso video
Introduzione alla trasmissione
video digitale
– Il segnale video viene compresso dal
codificatore di sorgente al desiderato bit-rate;
– Il transport coder rappresenta un insieme di
dispositivi che eseguono la codifica di canale ,
la pacchettizzazione, la modulazione ed il
controllo a livello di trasporto. Converte il bitstream in uscita dal codificatore di sorgente in
unità-dati atte alla trasmissione sul canale.
Decodificatore
di trasporto
19
Anno accademico 2002-2003
20
Introduzione alla trasmissione
video digitale
• Protocolli di trasporto
• Protocolli di trasporto (TCP/IP)
– La scelta del protocollo di trasporto ha
un’influenza decisiva sulle prestazioni del
sistema di trasmissione video digitale;
– Il tradeoff che si pone è in termini di
robustezza vs. real-time;
– I principali protocolli di trasporto utilizzati
nella trasmissione video digitale sono: TCP/IP,
UDP, RTP, VDP, RTSP, RSVP.
Anno accademico 2002-2003
21
Introduzione alla trasmissione
video digitale
• Protocolli di trasporto (TCP/IP)
– TCP/IP: è utilizzato nelle applicazioni http per
lo scaricamento affidabile dei documenti da
Internet;
– Se un pacchetto è danneggiato (a causa di bit
errati) o eccessivamente ritardato (a causa di
congestioni nella rete), se ne ordina la
ritrasmissione.
Anno accademico 2002-2003
22
Introduzione alla trasmissione
video digitale
• Protocolli di trasporto (UDP)
– Il protocollo TCP/IP è inadatto per applicazioni
audio/video in tempo-reale poiché:
• Il TCP impone il suo controllo di flusso dei pacchetti e la sua
temporizzazione, distruggendo le relazioni temporali esistenti tra
frame video e pacchetti audio;
• Il TCP parte dal concetto-base di non perdere mai pacchetti, a
costo di introdurre ritardi e cali del throughput. Nelle applicazioni
video è invece preferibile perdere pacchetti piuttosto che
introdurre ritardi e diminuzioni della velocità di trasmissione.
Anno accademico 2002-2003
Introduzione alla trasmissione
video digitale
23
– UDP: (User Datagram Protocol) è il protocollo
preferito per le applicazioni di video streaming
in tempo reale;
– Viene usato dagli applicativi di video-streaming
più comuni (RealPlayer, StreamWork etc.),
spesso in alternativa al TCP/IP (RealPlayer
può, ad esempio, usare entrambi).
Anno accademico 2002-2003
24
Introduzione alla trasmissione
video digitale
• Protocolli di trasporto (UDP)
• Protocolli di trasporto (UDP)
– UDP non prevede correzione e/o
ritrasmissione di pacchetti. Se un pacchetto
risulta danneggiato, viene perduto, ovvero non
ricevuto;
– L’operazione di decodifica di sorgente, quindi,
procede facendo a meno dei pacchetti persi.
Ovviamente l’utente si accorgerà di questa
perdita. Ma potrebbe non soffrirne molto.
Anno accademico 2002-2003
25
Introduzione alla trasmissione
video digitale
• Protocolli di trasporto (RTP)
– In un broadcast TV digitale, se un frame
isolato risultasse pesantemente corrotto a causa
della mancanza di uno o più pacchetti, l’effetto
potrebbe anche essere inavvertibile;
– Mentre invece, un ritardo introdotto dalla
ritrasmissione di pacchetti corrotti, o una
desincronizzazione audio-video (tipici effetti
del TCP/IP) potrebbero essere avvertiti.
Anno accademico 2002-2003
26
Introduzione alla trasmissione
video digitale
• Protocolli di trasporto (VDP)
– RTP (Real-Time Protocol): è un’estensione
robusta del protocollo UDP, con meccanismi di
recupero del sincronismo audio-video, detezione
della perdita di pacchetti, sicurezza, ed
identificazione dei contenuti dei diversi utenti;
– RTP è un protocollo utilizzato, in particolare, per
applicazioni di videoconferenza di gruppo, con
identificazione dei singoli membri.
Anno accademico 2002-2003
Introduzione alla trasmissione
video digitale
27
– VDP (Video Datagram Protocol): è una
versione migliorata di RTP;
– VDP sfrutta due canali virtuali separati tra
client e server: un canale per il video streaming
ed un canale di controllo;
– Il canale di controllo serve a coordinare, previa
opportuna segnalazione, la trasmissione di
informazione sul canale di streaming.
Anno accademico 2002-2003
28
Introduzione alla trasmissione
video digitale
• Protocolli di trasporto (RSVP)
• Applicativi commerciali
– RSVP: è un protocollo di trasporto standard per
lo streaming multimediale in tempo reale, che
intende garantire una precisa qualità del
servizio su reti IP;
– Vengono definite classi diverse di QoS: una
classe di servizi “best-effort” ed una classe a
“Qos garantita”, quest’ultima sia a livello di
larghezza di banda, sia a livello di ritardi.
Anno accademico 2002-2003
– Esistono moltissimi applicativi commerciali per
il video streaming su reti IP;
– Alcuni applicativi effettuano il semplice
playback di stream video MPEG o AVI,
richiedendo il caricamento del file prima
dell’operazione di visualizzazione
(MACROMEDIA FLASH, ad esempio).
29
Tecniche di video streaming ed
applicazioni
• Applicativi commerciali
Anno accademico 2002-2003
30
Tecniche di video streaming ed
applicazioni
• Applicazioni
– Altri applicativi, invece, effettuano lo
streaming in tempo reale (ad esempio
REALPLAYER, STREAMWORK). Essi
utilizzano, in genere, il protocollo UDP, o
protocolli derivati;
– E’ possibile per alcuni di questi applicativi
(REALPLAYER) impiegare anche il protocollo
TCP/IP in alternativa all’UDP.
Anno accademico 2002-2003
Tecniche di video streaming ed
applicazioni
31
– Broadcast TV digitale;
– Teleconferenza interattiva;
– Video su reti IP: film in DVD, programmi
televisivi, animazioni, videoclips (settore molto
fiorente, ma caratterizzato da problemi infiniti
di carattere legale);
– Video controllo per applicazioni di sicurezza.
Anno accademico 2002-2003
32