Teoria dell`Informazione 6 cfu

Teoria dell’Informazione
6 cfu
Francesco Fabris
Dip. di Matematica e Geoscienze
via Velerio 12b III piano
stanza 325
040 558 2625
[email protected]
Informazioni in ingresso
A,a,B,b,… simboli da tastiera
suoni
12+37 (3 -5) =
numeri
immagini
001011011101
Informatica
←
Infor(mation) (auto)matique
(elaborazione automatica dell'informazione)
Computer Science
( (scienza degli elaboratori) d'informazione)
Cos'è l'informazione?
Come nasce l'informazione
Q = grandezza fisica
S
differenze → informazione
ΔQ
canali fisici di trasmissione
(delle differenze)
S = Sorgente d'informazione
L'informazione nasce a seguito di una differenza nel valore di una grandezza fisica
barriera spaziale
S
informazione
informazione
barriera temporale
(memoria HD)
utente distante
Stratificazione gerarchica delle differenze
...
...
Differenze di differenze di differenze
Differenze di differenze
Differenze
Qualifiche degli attributi dei dati
Attributi dei dati
Dati
differenza di differenze: informazione di II livello
differenze: informazione di I livello
differenze: informazione di I livello
studente di fisica
giocatore d'azzardo
orientamento
facce
Δy
posizione dadi
Δx
Binomio sorgente-utente
U1
S
U2
Informazione:
che si può considerare
che si vuole considerare
latente
U3
Processo di comunicazione
1)
Rilevamento
(livello sintattico)
2)
Comprensione
(livello semantico)
3)
Impiego
(livello pragmatico)
S
R'
P
S
V
N
6
1
E
L
A
LA NAVE SALPERA' ALLE 16
rilevamento
comprensione
rilevamento senza comprensione
Aspetto pragmatico: impiego dell'informazione.
So che la nave salperà alle 16 e dunque avviso la capitaneria di porto
Informazione
Informazione sintattica
→
dati
(frequenze relative delle lettere)
Informazione semantica
→
significato dei dati
(contesto)
La teoria Shannoniana si situa solo a livello sintattico
Ridondanza
eccesso d'informazione rispetto a quella strettamente necessaria per ricostruire il tutto
si possono fare previsioni sui dati mancanti con una probabilita' di successo
superiore alla distribuzione uniforme
informazione
essenziale
ridondanza
informazione
sintattica
(riguarda i dati)
semantica
(riguarda il significato)
(legata all'esperienza dell'osservatore)
Ridondanza:
IL PRIMO MESE DELL'ANNO E' GE...
informazione
ridondanza
essenziale
La frequenza delle lettere
(nei Promessi Sposi)
dell'alfabeto italiano
E
A
O
I
N
R
T
L
S
C
D
U
P
M
V
G
H
F
B
Q
Z
0.12059
0.11512
0.09640
0.09530
0.07292
0.06599
0.06083
0.05567
0.05459
0.04692
0.03731
0.03569
0.02967
0.02365
0.02305
0.01713
0.01352
0.01052
0.00973
0.00779
0.00760
ROSA
ricostruzione sintattica
NNAIO
ricostruzione semantica
IL PRIMO MESE DELL'ANNO E' GE...
La frequenza delle coppie di lettere dell'alfabeto italiano
E
A
O
I
R
N
.
.
.
E
A
O
I
0.00001
0.00011
0.00096
0.00953
0.08599
0.07292
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
R
.
0.09621
.
.
.
Processo di comunicazione
.
.
.
.
.
.
.
.
.
.
differenze di diff. di diff.
differenze di diff.
differenze
rilevamento (sintattico)
comprensione (semantico)
impiego (pragmatico)
Metacanale
Canale di comunicazione
binomio sorgente utente
informazione:
che si può considerare
che si vuole considerare
latente
L'informazione
non coincide col supporto
non segue le leggi di conservazione
(distribuendola non diminuisce)
non è una grandezza fisica
dipende dal contesto
dipende dall'osservatore
anche l'assenza di informazione può essere informazione
L'informazione si sviluppa nell'interazione tra
supporto modulato e osservatore
Bit:
minima quantità d'informazione necessaria
a distinguere tra due stati equiprobabili
0
1
T
C
1/2
1/2
1)
Informazione: analogica - discreta (o digitale)
2)
Perche' il calcolatore è binario?
3)
La rivoluzione microelettronica
1)
Informazione: analogica - discreta (o digitale)
Segnale analogico
Campionamento
Campioni in notazione
floating point
c4 c5 c6
c
c1c2 3
Se
Segnale campionato
fc > 2 B
<
c1
>
<
c2
>
<
c3
>
<
c4
>
<
c5
>
<
c6
>
il segnale si può ricostruire senza ambiguità
2)
Perche' il calcolatore è binario?
I=0
I=i
V=v
V=0
Saturazione
Interdizione
Stato logico
0
Stato logico
1
Pd = V I = 0 i = 0
Pd = V I = v 0 = 0
I = i/2
V = v/2
Saturazione
Stato logico
2
Pd = V I = v/2 i/2 ≠
0
3) Rivoluzione microelettronica - prima fase: tubi termoionici
2A6
(1930-40)
Diodo, Sir John Fleming (1904)
Triodo, Lee de Forest (1906)
ECC82
(1970-80)
tubo sub-miniatura
('80)
6V6
(1940-60)
Rivoluzione microelettronica - seconda fase: transistor
primo transistor
1948
W. Shockley
W. Brattain
J. Bardeen
OC44
germanio
primo transistor al silicio
transistor di potenza
(2N3055, BD137)
Rivoluzione microelettronica - terza fase: circuiti integrati
primo circuito integrato
1958 Jack Kilby
Modello di un sistema di comunicazione (Shannon, 1948)
Principali problemi
Codifica dell'alfabeto
S
C
Gent.mo dott. ...
... 011010110 ...
S
Compressione dei dati
C
... 011101 ...
Gent.mo dott. ...
rumore
Protezione dal rumore
S
C
... 011101 ...
U
... 010101 ...
Protezione della segretezza
dell'informazione
S
C
U
Intercettazione
Autenticazione della sorgente
S
C
U
Impersonazione
Verifica dell'integrità dei dati
S
C
U
Violazione dell'integrità dei dati
Codifica dell'alfabeto
Compressione dei dati
Teoria dell'Informazione
Protezione dal rumore
Protezione della segretezza
dell'informazione
Autenticazione della sorgente
Verifica dell'integrità dei dati
Crittografia
Teoria dell'Informazione
rumore
S
CS
CC
C
DC
DS
U
CS
codificatore di sorgente
traduzione + compressione
CC
codificatore di canale
introduzione ridondanza sistematica
DC
decodificatore di canale
rilevamento e correzione degli errori
DS
decodificatore di sorgente
decodifica delle sequenze binarie
CS
codificatore di sorgente
1) traduzione dall'alfabeto della sorgente (A,B,C,...,Z) all'alfabeto del canale (0,1)
2) compressione dei dati mediante eliminazione della ridondanza sintattica
Esempio:
Gent.mo dott. Rossi,
traduzione
0100011101100101011011100111010000101110001000000110010001101111011101000111010000101110...
compressione
10100010010010101101000111011100110111000011
CC
codificatore di canale
introduzione di ridondanza sistematica per la protezione dal rumore
Esempio: codice a ripetizione
0100011
CC
0
000
1
111
000 111 000 000 000 111 111
DC
decodificatore di canale
rimozione della ridondanza sistematica e correzione degli errori
rumore
Esempio:
000 111 000 000 000 111 111
0
1
0
0
0
1
C
000 111 000 010 000 110 111
1
DC
0100011
DS
decodificatore di sorgente
decodifica delle sequenze binarie nell'alfabeto adatto all'utente
Esempio:
...0100011...
DS
Gent.mo dott. ...
Crittografia
Protezione dei dati
BEVBNUHYGNIQIPJJIURNCIGHIHCHOZNQQWADDCAFVSKSDK
DFIFGPGMMABAGWSYHXSHXHB
Cosa dice il messaggio?
Domani alle 6:00 partira’ un attacco aereo contro la base di Pearl Harbour
Autenticazione dell’utente legittimo
Prego trasferire sul conto corrente n. 353540919L
intestato a Mario Rossi la cifra di Euro 3700
F.to
Francesco Fabris
E’ Francesco Fabris che scrive?
Verifica dell’integrita’ dei dati
Prego trasferire sul conto corrente n. 353540919L
intestato a Mario Rossi la cifra di Euro 3700 00
F.to
Francesco Fabris
Francesco Fabris e’ stato autenticato,
ma la cifra e’ quella corretta?
Non ripudiabilita’ di un messaggio trasmesso
Dichiaro che non faro’ mai l’assessore per la
maggioranza attuale, anche se me lo chiedessero
in ginocchio
Giuseppe Bianchi
futuro assessore della maggioranza
Sistema Crittografico
Impersonazione
Violazione
dell'integrità dei dati
S
SA
SC
C
SD
SI
U
Intercettazione
SA
sistema di autenticazione
autenticazione del messaggio emesso
SC
sistema cifrante
cifratura
SD
sistema decifrante
decifrazione
SI
sistema di identificazione
identificazione della sorgente
Cifratura: trasformazione del messaggio in chiaro nel messaggio cifrato (crittogramma)
La cifratura fa uso di un'informazione riservata e condivisa (tra mittente e destinatario)
chiamata chiave
Decfrazione: operazione (legittima) inversa alla cifratura, che consente di ottenere
il messaggio in chiaro a partire dalla chiave e dal crittogramma
Decrittazione: operazione (illegittima) nella quale si tenta di ottenere
il messaggio in chiaro a partire dal crittogramma senza usare la chiave
Sistema di comunicazione protetto
traduzione e
compressione
S
SA
SC
CS
Impersonazione
Violazione
dell'integrità dei dati
CC
C
U
SI
SD
DS
DC
rumore
Intercettazione
Esistono due approcci diversi alla protezione dei dati:
1) Crittografia a chiave segreta (approccio classico)
2) Crittografia a chiave pubblica (approccio moderno, dal 1976)
1949: nasce il primo modello teorico di un sistema di comunicazione protetto con
tecniche crittografiche
C. E. Shannon, Communication Theory of Secrecy Systems, Bell Technical Journal
Applicazioni
Memorizzazione
delle informazioni
Reti di computer
Telefonia fissa
e mobile
Sicurezza
Claude Elwood Shannon: circuiti digitali, Teoria dell’Informazione,
Crittografia
Schizzo originale di Calzecchi raffigurante il dispositivo per sperimentare la conducibilità
delle polveri metalliche. Sono ben visibili la pila Leclanche, il campanello generatore
di scintille, la bobina per aumentare l’extracorrente all’apertura del contatto e, in primo piano,
il tubetto a limatura
Antenna Marconiana a quarto d’onda
H = altezza dell’antenna
D = distanza da coprire
k = costante (0,12-0,19)
H
esosfera
ionosfera
stratosfera
troposfera
Vannevar Bush
L'Analizzatore differenziale di Vannaver Bush (1930)
• 1927: computer analogico per la risoluzione di equazioni
• 1930: Analizzatore differenziale (meccanico)
• 1935: Analizzatore differenziale (elettro-meccanico):
100 tonnellate, 2000 valvole, 150 motori, oltre 300 Km di cavi. Utilizzato nel progetto Manhattan.
/52
An investigation on the law of thought (1847)
Calcolo logico basato su due valori
(vero e falso)
Operatori Booleani
AND
George Boole
OR
NOT
La sua tesi al MIT (sotto la direzione di Bush)
A Symbolic Analysis of Relay and Switching Circuits (1937)
mostra come la logica binaria di Boole possa
essere usata per rappresentare
le funzioni degli interruttori nei circuiti elettronici
Claude Elwood Shannon
Howard Gardner, della Harvard University, la definì come la più famosa e probabilmente
la più importante tesi di Master del secolo
interruttori → relay → tubi termoionici → transistor
/52
Bell Labs Technical Journal:
A Mathematical Theory of Communication (1948)
Communication Theory of Secrecy Systems (1949)
ma pronto già nel 1945 col titolo
A Mathematical Theory of Cryptography