TV - Computer Vision and Multimedia Lab
Transcript
TV - Computer Vision and Multimedia Lab
L TV su IInternet La t t Facoltà di Ingegneria - Università di Pavia Evoluzione dei sistemi di diffusione televisiva TV analogica satellitare TV Digitale Satellitare Palinsesti Lineari TV Digitale Terrestre Pay per View Mobile TV TV Terrestre TV via cavo IPTV Pay TV WEB TV Palinsesti Lineari Analogico VoD Palinsesti non Lineari Digitale Fonte: RapportoISIMM-Tiscali L’evoluzione L evoluzione dei consumi digitali in rete (fonte: Caio 2009) Video and the Web “Access tto high-speed, “A hi h d always-on l I t Internet t connections ti andd portable t bl devices d i has h heightened the expectations of consumers, who now desire living-room quality experiences, no matter where they are or what digital device they’re using” Quality Video requires:• High, High guaranteed downstream bandwidth • Typically 1 to 10Mbps per stream • Per session assigned bandwidth • Constant C bit bi rate service i • Low delay and low jitter Limited bandwidth Digital Video: Content Quality Video Resolution Format CIF (1/4 SD) 352 × 288 TV Standard Definition (4:3) - SD 720 x 576 TV High Definition (16:9) 1280 x 720 1920x1080 -HD SD: 720 x 576 x 24bit HD 1920 x 1080 x 24bit 10 Mbit/frame 50 Mbit/frame CIF SD HD Full HD Banda necessaria: 2,6 Gbps St Storage: 1200 1200 TB/h Digital g Video: Network Bandwidth ¾ Quality of Video, 3 factors •Frame F resolution l i •Frame rate •Color depth Example: Frame Rate: 30 fps (Full Motion) Resolution: R l i 640x480 640 480 (F (Full ll S Screen)) Color Depth: 24-bit (True Color) Bandwith of a ‘SD quality’ TV transmission,, not compressed, is 270 Mbps Data Rate = (640 X 480 pixels)* (3 bytes/pixel)*(30 fps)/(1024000 b t / bytes/megabyte)*8 b t )*8 bits/byte bit /b t Network(s) = 216 Megabits per second ¾ Bandwidth : range di frequenze di un segnale (es. video) misurato in MHz. gg è la larghezza g di banda ¾ Maggiore maggiore è l’informazione trasportabile. ¾ La larghezza di banda è correlata quindi con la risoluzione. A/V perceived quality ¾ Il bit-rate è l’equivalente digitale di bandwidth Compression ratio Compression Why compression? “Reduce the bandwidth from the non compressed 270 Mbps of a “TV quality” transmission to lower bandwiths” . • Essential i l in i most applications li i because: b – Bandwidth is limited – Content C t t is i bandwidth b d idth hungry h Streaming Files • One of the most confusing and hyped components in any multimedia system Transmit Video In Encoder • Intimately linked to content representation Video Resolution Bit rate Mb/s (MPEG-2) (MPEG 2) 352 × 288 0,5 -1,5 TV Standard Definition (4:3) - SD 720 x 576 2-6 -HD 1280 x 720 1920x1080 Decoder A "Codec" is a combination of an EnCoder and a Decoder CIF (1/4 SD) TV High Definition (16:9) Video Out To Display • Intimately linked to application requirements Format 111100110001010 1 Store 8-24 – – – – – – – 28kbps (FM Quality Music) 64kbps (PDA size Video) 500kbps (Near VHS) 750kbps (Near DVD quality) 3.5Mbps (TV MPEG2) 16Mbps (Broadcast HD) 50Mbps (Studio / Archive) – 1hr = 12MB – 1h = 28MB 1hr – 1hr = 225MB – 1hr = 337MB – 1hr = 1.5GB – 1hr = 7.2GB – 1hr = 22GB Obiettivo della compressione ¾ Individuare e codificare ll’informazione informazione ridondante nel video (spaziale e temporale) al fine di ridurre la quantità di dati necessaria per rappresentarlo. •LOSSLESS: non c’è perdita di informazione (Es. ZIP) •LOSSY: si accetta di scartare dell’informazione, purchè la ricostruzione del video si mantenga efficacie rispetto alla QoE attesa. (Es. H263 per Videoconferenza) •Intra-frame: •Intra frame: agisce sulla ridondanza spaziale. spaziale • Quantizzazione: riduce la quantità di informazione da codificare •Inter-frame: Inter frame: agisce sulla ridondanza temporale di un frame • Predizione del moto: ricerca dello spostamento di gruppi di pixel tra 2 frame • Codifica intra frame: riduce ridondanza spaziale del frame «differenza» Video/Image Coding Standards Digital g Video popular p p fformats JPEG (1988) - Still pictures H.261 (1990) – Video telephony/conference MPEG-1 (1991) - CD-ROM storage MPEG-2/H.262 (1993) - Digital TV (MP3 for music) H.263 (1995) - Video over PSTN and mobile networks pp MPEG-4 Visual ((1998)) – All applications JPEG 2000 (2000) – Still pictures and video H.264/MPEG-4 H 264/MPEG-4 AVC (2003) - Wide variety of applications on a wide variety networks High Quality: MPEG1 or MPEG2 (1.5 (1 5 – 8 Mbps) Medium Quality: MPEG1,2,4 (0.5 – 2 Mbps) Low Quality: Webstreaming (56Kbps – 300Kbps) The Goal of Picture and Video Codingg Standardization ¾ Only the Syntax and Decoder are standardized: •Permits optimization beyond the obvious •Permits complexity reduction for implementability •Provides no quality guarantees – only interoperability Source Pre Processing Pre-Processing Encoding Post-Processing Post Processing Decoding Destination Scope of Standard Video Scaling Scaling: the video to smaller windows sizes. This is Thi i especially i ll important i t t for low bandwidth access networks such as the Internet. Or small screens Frame Rate: 30 fps (Full Motion) Resolution: 640x480 (Full Screen) p 24-bit ((True Color)) Color Depth: Data Rate = (640 X 480 pixels)* (3 bytes/pixel)*(30 fps)/(1024000 bytes/megabyte)*8 bits/byte = 216 Megabits per second x 1/2 x 1/4 x 2/3 Frame Rate: 15 fps Resolution: 320x240 (Quarter Screen) p 16-bit Color Depth: Data Rate = (320 X 240 pixels)* (2 bytes/pixel)*(15 fps)/(1024000 bytes/megabyte)*8 bits per byte = 18 Megabits per second Problemi di rete TV su Internet: Tecnologie abilitanti ¾ Video Digitale • Tecnologie di compressione • Tecnologie di Video Streaming, •Storage S ¾ Reti a banda larga bidirezionali •Broadband B db d networks t k •Access networks ¾ Tecnologie d d’accesso accesso e di protezione del contenuto • NET-TV •Set-Top-Boxes •Conditional Access Systems, DRM ¾ World Wide Web Di it l video Digital id process 40 40” 1920x1080 TV/STB Digital Content Video Server PC 17” 1280 x 720 PDA/Mobile phone St Storage Storage connect Network 3,5” 320×480 DIGITAL VIDEO VIDEO: Fl Flow elements l Original quality depends on the device used Di t ib t Distribute Acquire q Network The network capacity might request further quality reduction Serve View During this phase the h quality li might i h be b reduced as needed The content quality depends on device size and resolution Capture p Encode Store IMPORTANT: O A The content quality i might i be different iff in i each phase off the digital i i video flow Acquiring and encoding content Ex: AVI File Encoding Software t l tool Live Encoder 300 Kbits/s file 75 Kbits/s file ADSL Access Live i Streaming Server 32 Kbits/s file Mobile phone Access Customer Premises Equipment Off-line encoding Customer Premises Equipment Live encoding Modi per distribuire un proprio filmato sulla rete WebServer: W bS •Attraverso un normale server web e protocollo HTTP . •Il p protocollo HTTP , basato sul TCP/IP, è stato messo a punto per la distribuzione di file di testo e di immagini, non di filmati in t i streaming. HTTP Web Server Video Server Streaming Server: • Attraverso un server dedicato e protocollo RTSP (Real Time Streaming Protocol). •Include funzionalità di controllo d ll streaming dello t i server da d parte t del d l client (FFW, SKIP, PLAY, PAUSA) •Può essere utilizzato sia con UDP che TCP Core Network Protocols UDP RTP TCP RTSP HTTP RSVP Internet Access to Video Access Network Access Methods: Modem, ISDN, ADSL, IP network F.O Client Download HTTP Progressive download •Il contenuto è progressivamente scaricato in un buffer sul client •Il playback inizia una volta raggiunto un livello di riempimento prefissato •Lo svuotamento del buffer causa freeze e pause di rebuffering •Il Il download d l d procede d indipendentemente i di d t t dal d l playback l b k •Consente accesso casuale al contenuto •Gestito interamente dal client: non richiede particolari funzionalità lato server (web server standard) Video streaming ¾ Streaming is the process of transferring data to end users that can be processed in a steady and continuous stream. Streaming has become very popular as many Internet users still do not have fast enough speeds to download large files such as movies. Usingg streaming, g, a browser plug-in p g or a website can display p y the data before the complete file has been transmitted. ¾ Streaming media formats (examples) •Flash Video (FLV), Adobe QuickTime • QuickTime, Apple •Windows Media Video (WMV) Microsoft Video Streaming Off Line Process Video Encoder Video Server Application Network Content Compressed ( about 100:1) full length Movie will be over 2 GBytes •High Bandwidth Downstream •Lower bandwidth Upstream for command and control Client Decompression D i and display •Video (content) in converted to Digital Format (e.g. MPEG) which is highly compressed and stored on the server. File il System S performance f is i important. i •The Video Server streams the content to the client -Amount of client buffering, transport protocols, and bandwidth need to be considered. The client decompress and displays the video. •The •The client usually runs an application to request video and other assets from the server. Streaming media: RTSP Video Streaming – Reference model Encoding Station 1. Capture 2. Edit 3. Encode Video editing Video.AVI Specify: Data Rate Compressed video Resolution Frame Rate Codec Type Network Video Editor 5 Play 5. Client Station 4. Serve Broadband network Video Server Narrowband network Video Server Sizing: Two Dimensions •Number Number of Streams (Bandwidth/Throughput) •Content Library (Storage) Multicast - Unicast Fonte: Associazione IPTV Modalità di trasmissione dati su rete IP ¾ Unicast • il server distribuisce in rete pacchetti di informazioni distinti (ad es. flussi streaming) al singolo g client. •ogni singolo flusso dati occupa spazio di banda, per cui, ai fini del traffico che si può generare, ci si deve limitare alla banda massima supportata dalla piattaforma server che si sta utilizzando. La trasmissione Unicast richiede una notevole quantità di risorse sul server, che deve essere in grado di gestire contemporaneamente molte richieste. ¾ Multicast •il flusso dati viene inviato in rete una volta sola, ed è a disposizione di qualsiasi utenza sia in grado di riceverlo e ritrasmetterlo. • consente di aumentare il numero di utenze raggiunte; allo stesso tempo aumenta però notevolmente anche il traffico di rete, ed il carico di client non interessati alla trasmissione ma comunque costretti ad elaborare una serie di dati non specificamente diretto a loro. loro Modalità di trasmissione dati su rete IP ¾ Le differenze tra trasmissione Unicast e Multicast consistono fondamentalmente nel modo di operare p dei server. Unicast one-to-one one to one ¾ In un certo senso l’Unicast può essere definito come un protocollo “on demand”, perché l’attivazione di ogni connessione client-server avviene sempre in base ad una richiesta esplicita da pparte del client, mentre il Multicast non è vincolato alle richieste del client. Multicast one-to-many Unicast--Multicast Network Considerations Unicast Unicasting ¾ 1. Unicasting separate video streams for each client consumes a lot l off networkk bandwidth b d id h. High bandwidth ¾ 2. Quality Q y of service (Q (QoS)) ¾ 3. Support for multicasting V1 V2 V3 Server Router Router Network Æ bps x No of Streams example: 100Kbps x 15‘000 Æ 1.5 Gbps Multicasting Multicasting one video stream serving several clients conserves network bandwidth. V V1 V2 V3 Server MulticastRouter Router Network Peer--to Peer to--Peer TV (P2P) Per P2P si intende: • un sistema decentralizzato •un sistema auto-organizzato g •un sistema nel quale i nodi mantengono indipendenza e autonomia Spesso però la cosa si riduce al fatto che i nodi possono avere sia funzione di client che di server Peer-toPeerto-Peer TV ppuò risolvere pproblemi di traffico Non deve essere un server centrale a trasmettere tutti i flussi video, il server trasmette il flusso video a un certo numero di utenti (peer), questi a loro volta ritrasmettono il flusso video ad altri utenti (peer) generando una rete che può raggiungere anche milioni di utilizzatori. Es. Babelgum , Coolstreaming, e-Mule Diffusione TV su rete IP Modelli di rete per TV su Internet ¾ Reti non gestite (“unmanaged”, es. Open Internet) •Costituite da segmenti di rete sotto il controllo di differenti Operatori •Prive P i di meccanismi i i di rete t per la l gestione ti della d ll Qualità Q lità di servizio i i (QoS) (Q S) •Web TV: Content/Service Provider forniscono servizi direttamente su Internet •Open p IPTV: integrazione g broadcast / broadband ¾ Reti gestite (“managed”, es. Reti di Operatore telefonico) •Totalmente sotto il controllo di un Operatore p •Dotate di meccanismi di rete per la gestione della QoS •IPTV: Content/Service Provider per fornire servizi si interfacciano alla piattaforma i tt f dell’Operatore d ll’O t Piattaforme pper TV su Internet WEB TV −Qualitàdel servizio non garantita ed affidata a tecniche end-to-end, svantaggi: Latenza (servizi non in tempo reale) Overhead ((necessitàdi ppiùbanda)) −Senza intermediazione tra utente e fornitore di servizi −Dimensione globale (Internet) IPTV −Servizio di alta qualità ed in tempo reale −Intermediazione tra utente e fornitore di servizi −Dimensione Dimensione locale (la rete dell’Operatore dell Operatore TELCO) Over the top-TV (Open−IPTV) La Over-The-Top TV (OTT TV) rappresenta il prototipo della nuova televisione e nasce integrando la TV broadcast (digitale terrestre e satellitare) con la TV on demand (Web TV e IPTV). −Qualità del servizio non garantita ed affidata al tipo di rete di connessione (CDN) −Senza intermediazione tra utente e fornitore di servizi p di rete)) −Dimensione gglobale ((condizionata dal tipo Confronto Iptv p e WebTV TV e Internet IEM Fond. Rosselli Categorie di portali web tv Aggregatori: Broadcaster tradizionali: Ripropongono contenuti pensati per la tv a palinsesto (tradizionale) anche in Internet e arricchiscono l’offerta con contenuti ad hoc per il web. Non producono contenuti propri, ma fungono da intermediari tra domanda e offerta di contenuti da altri messi a disposizione. Web Tv I Innovatori: t i Offrono contenuti o servizi in ottica web 2.0, contando molto sui contenuti della community, sulla condivisione degli stessi e sui . legami che si vengono a creare Replay Tv ¾ Ultimi giorni/settimana di tutta la programmazione dei principali canali nazionali da vedere e rivedere liberamente. ¾ Disponibile Di ibil iin alcune l offerte ff t (RAI (RAI, Mediaset, M di t LA7 LA7, F Fastweb,...) t b ) ¾ Supera il concetto di palinsesto e di videoregistrazione RAI Babelgum.com Babelgum com JOOST COM JOOST.COM Current TV IPTV: che cosa è ¾ IPTV (Internet Protocol Television): : flusso televisivo distribuito su rete Ip utilizzando tecnologie internet, internet fruito tramite un televisore e un set top box e l’accesso a una connessione a bbanda d larga. g . ¾ Offerta tipica dell’IPTV: • TV in presa diretta (Diffusione lineare) • Trasmissione di librerie video (Diffusione non lineare) Caratteristiche dell’IPTV ¾ Caratteristiche: Ì Comunicazione U C Unicast ((uno a uno ) e Multicast ((uno-molti)) Ì Bidirezionalità ¾ Possibili business model : •Sottoscrizione degli abbonamenti • L’acquisto dei singoli on demand prodotti da parte degli utenti, • Pubblicità che, grazie al protocollo IP, può disporre di una profilatura estremamente accurata dei d i clienti. li i Ì Controllo parziale della filiera televisiva Business model di IPTV ¾ Caratteristiche dell’offerta •Epg molto dettagliato • Offerta di canali live della tv generalista e di quella pay (Sky, Mediaset Premium) •Contenuti on demand (libreria di film e programmi) • Replay tv •Time shifted TV •Personal Video Recording •Subscription Video On Demand •Games On Demand •Etc… Servizi Triple Play xDSL/cable DSL/ bl IP network Set top box PSTN gateway OCMP SIP speechweb ASR/TTS Video streaming server & IP TV middleware IP TV/Video on demand Sip presence server Web portal vxml apps. apps Data Voice services TV su Internet In-Home In Home Access I f t t Infrastructure Transport, Voice, and Core Headend Voice Services Local Content VOD / Middleware Content Management Digital Content Internet Define end-to-end network performance requirements to achieve target QoE Courtesy of: Nortel, Tim Rahrer Mobile TV Video services Provided by telco operators through Mobile Network (UMTS, GPRS/EDGE)) Interactive channel available Mobile video broadcasting g Based on DVB-T version for mobile devices: Mobile Internet TV IPTV/Web TV over UMTS, WLAN, WiMAX Access through ad hoc WEB portals Posizionamento tecnologico g delle piattaforme televisive Televisione digitale g in Italia Il Cliente Mezzo trasmissivo Diffusione Oggi Satellite c.a. 5 mil pay 1 (?) mil il free f Terrestre >20 mil. di decoder ( (?) ) - Fibra - ADSL 2012 + Capacità di spesa Strumento utente Facilità d’uso Buona uo a Decoder ecode Alta ta ++ + + Medio/Bassa Decoder Alta (?) + Buona Decoder Media 500k -1 mil. decoder (?) ++ Buona Decoder Media NET Media Cavo TV (?) Domande ? Facoltà di Ingegneria - Università di Pavia Multimedialità ¾ Vengono espresse due idee di multimedialità: la multimedialità diffusa e la multimedialità ristretta. ÆMultimedialità diffusa: Quando veniamo colpiti, in tempi diversi, da messaggi veicolati da media differenti ma separati, che, di volta in volta,, utilizzano canali ((visivo,, acustico)) e codici ((alfabetico,, linguistico. g ecc.) differenti. Æ Multimedialità ristretta: Quando un mezzo di comunicazione unico, è in grado di trasmettere messaggi contemporaneamente canali e codici differenti. che utilizzano I mezzi di comunicazione ... I nuovi media non rimpiazzano p i media tradizionali ¾Differenti modalità di utilizzo ... HO OWEVER R IS NOW W USE ED TO BE E I nuovi media non rimpiazzano i media t di i li tradizionali 07:00AM 10:00AM 13:00PM 15:00PM 21:00PM b h bathroom office ffi lunch/day b d boardroom li i room living Advertisement spent vs. time used Source: Ad Spend – ZenithOptimedia Dec08 – Central & Eastern Europe Time Spent – EIAA Mediascope 2008 – European Average Attention Economy “la ricchezza di L’ATTENZIONE informazioni crea povertà di attenzione”. diventa la maggior valuta del commercio di contenuti H.Simon It is difficult to forecast technology evolution “Th “There is i no reason anyone would ld want a computer in their home” “Ken Olsen, Digital Equipment Corp. CEO, 1977” “ ἓν οἶδα δ ὅτι οὐδὲν οἶδα δ “ Domande ? Facoltà di Ingegneria - Università di Pavia Sistemi e tecnologie multimediali II Le Business TV Facoltà di Ingegneria - Università di Pavia a.a. 2009-2010 Video su Internet: Applicazioni 1 1. Più Conosciute 2. 3. I t Internet t Broadcasting B d ti • News: Rai 24news, Tgcom, CNN, TV 24 ore VOD WEBcast • Archivi: Teche RAI, VCR virtuale Live WEBcast • 1. Business Television • 2. Emergenti N ti i finanziarie Notizie fi i i Corporate TV • 3. 3 4. 5. Concerti, Eventi Sportivi Notizie Aziendali: ENEL WEB TV, … INDOOR TV Distance Learning (Istituzioni pubbliche) Informazioni al pubblico (Pubblica Ammistrazione). Richiami ¾ INTERNET: E’ l’insieme di numerose reti informatiche, sia pubbliche sia private, collegate tra loro, che permette agli utenti di accedere, pubblicare e scambiare informazioni in formato digitale in grande quantità e varietà ¾ INTRANET : rete locale interna ad un’azienda connessa a Internet e funzionante f n ionante con i suoi s oi standard (TCP/IP (TCP/IP, Web) e strumenti (e-mail, siti), ma accessibile solo agli utenti autorizzati ¾ EXTRANET : rete con tecnologia Internet che ha lo scopo di collegare tra loro varie intranet, ma sempre accessibile ai soli utenti autorizzati Corporate p TV ¾ La Corporate TV viene proposta al management di un azienda come strumento per Formare e aggiornare in tempo reale tutta la rete dei collaboratori (evitando gli spostamenti). spostamenti) Diffondere know-how in modo immediato, chiaro e sintetico. Motivare i dipendenti ¾ Può essere realizzata come una vera e propria televisione, con un suo un palinsesto di formati televisivi che rispondono a precise esigenze di comunicazione interna., volendo fare un paragone con il caso di un palinsesto televisivo si può immaginare: Uno Talk-show qquando si vogliano g ppresentare nuovi prodotti, p , Un Telegiornale per diffondere news ed eventi, interviste di colleghi, manager e clienti ¾ In genere viene adottata da aziende grandi (numero di clienti, numero di filiali, ...) e da multinazionali Brand TV,, Instore TV ¾ Brand TV Unisce la potenza espressiva della TV e l’interattività del web. Si tratta di un canale televisivo on-line on line dedicato al proprio prodotto/servizio. prodotto/servizio Il brand diventa il protagonista dei programmi della Brand Television. ¾ Instore sto e TV V Lo spazio dei punti vendita: un momento importante per creare valore nei confronti del cliente. La TV porta il video all’interno degli store: per far vivere il mondo di marca ai visitatori con video e trailer emozionali, o per offrire servizi a valore aggiunto con veri e propri formati televisivi che danno informazioni sui prodotti e news dal mondo del brand. La In store TV viene proposta per emozionare, fidelizzare il cliente e stimolare l’acquisto d’impulso. http://www.turismo.regione.lombardia.it/home.htm Digital Signage ¾ Una specie di “cartellone elettronico” che si sta diffondendo in ambiti outdoor come le stazioni ferroviarie, aeroportuali e metropolitane, centri commerciali, grandi magazzini e negozi, ma anche nelle intranet aziendali per comunicare informazione, intrattenimento, messaggi promozionali e commerciali. Digital Signage System ¾ Esempio di architettura commerciale T-Learningg ¾ Un metodo didattico che utilizza la televisione come mezzo ¾ Utilizzata per Corsi, workshop, didattica on-line specializzata. •Utile per la formazione a distanza per integrare ed affiancare la formazione tradizionale •creare canali di formazione aziendale e aggiornamento gg continuo • realizzare corsi utilizzando video lezioni (anche Universitarie) sia on demand che con interventi live da parte dei docenti •distribuire di ib i video id formativi f i i raggiungendo i d le l sedi di decentrate d o periferiche if i h . ¾ Ha comunque la possibilità di interazione, flessibilità di fruizione, disponibilità di materiali digitali. digitali ¾ Può essere diffusa tramite canali TV digitali specializzati (RAI Educational Mediaset TED) o tramite WEB TV. Educational, TV Domande ? Facoltà di Ingegneria - Università di Pavia Mobile TV The Sixth Medium User experience evolution Understanding U d t di th the h human element l t Multimedia adoption Multimedia Movie clips experiences Messaging and music MP3 Visual Radio Mobile TV Video conference +call center Vid Video P h to video Push id messaging Presence + chat Ringtones Ring-back Voice portal MMS SMS+ Voice calls ll 2G SMS Mobile Telephony 2.5G 3G time Domande ? Facoltà di Ingegneria - Università di Pavia