Teoria dell`informazione e codici
Transcript
Teoria dell`informazione e codici
TEORIA DELL'INFORMAZIONE ¾ Problema fondamentale della comunicazione: Facoltà di Ingegneria Riprodurre in un punto, in modo esatto o approssimato, un messaggio selezionato Appunti dalle lezioni del corso di in un altro punto ¾ Obiettivo Teoria dell’informazione e codici Provare, per mezzo della teoria dei processi ergodici, teoremi fondamentali sulla codificazione dell'informazione trasmessa (in cui l'entropia gioca un ruolo Prof. Alessandro NERI essenziale) ¾ La misura dell'informazione è Anno accademico 2008-2009 1. Un'indicazione della libertà di scelta che una sorgente è in grado di esercitare nel selezionare un messaggio 2. Un'indicazione del grado di incertezza di un osservatore nei riguardi del messaggio che sarà emesso 1 Codifica a blocchi 2 Codifica a blocchi ¾ A(k) : l'alfabeto estensione di ordine k di A S0 xk A(k) =(b1, b2, …, bj, …bLk) Codificatore a blocchi (k;M) i cui elementi sono le Lk differenti sequenze di k caratteri ciascuno appartenente ad A, cioè Data una sorgente discreta S0, siano: bj =(aj1, aj2, …, ajn , … ajk) ¾ x[n]: una realizzazione costituita da una successione indefinita di caratteri appartenenti all'alfabeto di sorgente A ad L determinazioni Si applichi ad x[n] una codificazione a blocchi (k; M) a lunghezza di parola non necessariamente costante tale che a ciascun carattere bj di A(k) faccia corrispondere A=(a1, a2, …, aj, …aL) una stringa di nj caratteri del nuovo alfabeto ad M simboli ¾ xk: sequenza di k caratteri successivi C =(c1, c2, …, cj, …cM) 3 4 Codifica a blocchi carattere a1 a2 a3 a4 PA(a) 1/2 1/4 1/8 1/8 ENTROPIA Codice I 1 00 01 10 ) Obiettivo Codice II Codice III 0 0 10 01 110 011 111 111 cercare di assegnare le parole di codice di lunghezza più brevi alle sequenze di caratteri d'ingresso più frequenti esempio: codice MORSE Codici: ) Definizione univocamente decodificabili Trasformazione invertibile istantaneamente decodificabili l'inversione può essere effettuata in tempo reale senza dover attendere gli altri caratteri della Indicata con PB(bj) la probabilità associata al carattere bj, il valore atteso del numero di caratteri di C che corrispondono a xk vale: sequenza. Regola del prefisso: Un codice risulta univocamente istantaneamente E B {n} = decodificabile se non esiste nessuna parola di codice che coincida interamente Lk ∑ n j PB (b j ) j =1 con l'inizio di parole di codice di lunghezza maggiore. 5 ENTROPIA 6 ENTROPIA (cont.) Ciò posto, si definisce Entropia H della sorgente la quantità Teorema H = lim ⎡ E {n}⎤ H = Inf ⎢ B ⎥ k ⎣ k ⎦ 1 k →∞ k al variare in tutti i modi possibili del sistema di codificazione a blocchi, Dal ⎧ 1 ⎫ E B ⎨ log M ⎬ P (b) ⎭ ⎩ B (1) teorema discende che una serie di approssimazioni per H può essere ottenuta a partire dalla conoscenza delle proprietà statistiche di sequenze purché biunivocamente decodificabile. di 1, 2, …, k simboli La base del logaritmo che compare nella (1) determina l'unità di misura per l'entropia. 7 Per M=2 l'entropia si misura in [bit/simbolo] Per M=e l'entropia si misura in [nat/simbolo] 8 Sorgente ergodica senza memoria Sorgente ergodica senza memoria ¾quindi una sorgente senza memoria presenta una entropia pari a: Poiché per tale sorgente: PB(bj)=PA(aj1, aj2, …, ajn , … ajk)= k ⎧ 1 ⎫ H = E A ⎨ log 2 ⎬ PA ( a ) ⎭ ⎩ = ∏ PA ( a j ) l l =1 si ha: ⎧ ⎫ ⎪ ⎧ k 1 1 1 1 ⎫ ⎪ ⎪⎪ H = lim E A ( k ) ⎨log 2 k E A ( k ) ⎨ ∑ log 2 = lim ⎬ ⎬= k →∞ k k →∞ k PAj ( a j ) ⎭ j =1 ⎩ ⎪ ⎪ ( ) P a A j ∏ j ⎪⎩ ⎪⎭ i =1 1 ⎫ ⎧ k E A ⎨ log 2 ⎬ PA ( a ) ⎭ k →∞ k ⎩ = lim 1 9 10 Sorgente ergodica senza memoria Sorgente ergodica senza memoria ¾Sorgente binaria posto ¾Teorema: L'entropia di una sorgente senza memoria soddisfa la PA(a1)=P; diseguaglianza: PA(a2)=1-P per l'entropia di tale sorgente si ha: H = P log2 H ≤ log 2 L 1 1 + (1 − P ) log2 P 1− P con uguaglianza quando i simboli sono equiprobabili. Dim.: poiché log 2 y ≤ 11 1 ( y − 1) ln 2 12 Sorgente ergodica senza memoria si ha: H − log 2 L = ⎡ ⎤ 1 1 L 1 ≤ ∑ PA (an ) ⎢ LP (a ) − 1⎥ . a ( ) ln 2 n =1 ⎣ A n ⎦ A n L ∑ PA (an ) log2 LP n =1 D’altro canto, L ⎡ n =1 ⎣ L ⎤ 1 L 1 − 1⎥ = ∑ 1 − ∑ PA ( a n ) = 1 − 1 = 0 , ( a ) ⎦ L n =1 n =1 A n ∑ PA (a n ) ⎢ LP pertanto si ha: H − log 2 L ≤ 0 c.d.d. 13