Claude Shannon, il padre del digitale

d
D S
36
DIDATTICA delle SCIENZE
|
N.
227
|
OTTOBRE 2003
Claude Shannon,
il padre del digitale
L’Autore presenta un excursus storico della vita e della crescita professionale dello scienziato
americano, considerato una delle menti più vivaci e produttive del secolo appena terminato.
GIOVANNI VITTORIO PALLOTTINO
l 24 Febbraio 2001 moriva Claude Elwood Shannon, lo
scienziato americano che aveva gettato le basi di una
nuova disciplina, la teoria dell’informazione, che è all’origine dello sviluppo di tutto il settore delle tecnologie dell’informazione, nei sistemi di comunicazione,
nei calcolatori ed in una miriade di altri ritrovati. E per
questo Shannon viene chiamato «padre del digitale», la
tecnologia oggi dominante e veramente onnipresente.
Sarebbe stata un’ottima occasione per ricordare questo
personaggio, una delle menti più vivaci e produttive del
secolo appena trascorso e certamente una delle pochissime che hanno lasciato un’impronta decisiva: non a caso si parla di rivoluzione dell’informazione per caratterizzare l’epoca che stiamo vivendo. Ma non è stato così.
Con pochissime eccezioni, i media hanno trascurato di
ricordare Shannon, la sua vita ed i suoi contributi eccezionali, che tanto più risaltano quanto meglio sono inquadrati nel contesto dello sviluppo storico della scienza, della tecnologia e della società.
Nato a Petoskey, Michigan, il 30 aprile 1916, Shannon dimostrò da ragazzo un duplice orientamento: ad un forte
interesse per lo studio della matematica si accompagnava quello verso la costruzione di oggetti «tecnologici»: aeromodelli, battelli radiocomandati, telegrafi elettrici ed altro ancora (egli nutriva
una particolare ammirazione per il
grande inventore Thomas Alva Edison, che era suo lontano parente).
Questi due aspetti, inclinazione ad
affrontare problemi teorici difficili,
con estremo rigore formale, e vivo
interesse per costruire oggetti concreti che realizzassero idee avanzate, caratterizzeranno poi tutta la sua
vita, l’uno o l’altro diversamente
prevalendo nei decenni successivi.
Nel 1936, appena ventenne, Shannon conseguì una doppia laurea1 in
matematica e in ingegneria elettrotecnica presso l’Università del Mi-
I
chigan. Poi egli volle proseguire i suoi studi presso una
delle più prestigiose università americane, il Massachusetts Institute of Technology (MIT) di Cambridge, che si
trova nei pressi di Boston.
Ammesso al MIT – e non era facile allora come non lo è
oggi, se non si possiede una preparazione di alto livello
– egli potè entrare in contatto con studiosi di primo piano: un nome per tutti è quello di Norbert Wiener, il fondatore della cibernetica. Qui, per mantenersi agli studi,
accettò un lavoro a tempo parziale presso il gruppo di
uno studioso di grande qualità, Vannevar Bush2.
Nel suo laboratorio Bush aveva costruito una macchina
assai innovativa e di grande rilievo concettuale: un calcolatore analogico3 denominato «Analizzatore Differenziale», che serviva a risolvere equazioni differenziali anche di notevole complessità. Si trattava, però, di un apparato meccanico, che per realizzare le sue funzioni utilizzava un insieme di meccanismi: motorini, rotelle, levette ed ingranaggi. Shannon ebbe il compito di occuparsi di questo affascinante oggetto: sorvegliarne il funzionamento (risolvere un’equazione con questi mezzi
meccanici poteva richiedere anche molte ore); ripararlo,
lavorando in officina, quando qualche pezzo si guastava;
ed anche «programmarlo» a risolvere un determinato
problema, modificando la disposizione e le dimensioni delle sue parti.
Svolgendo queste attività, alcune
delle quali assai tediose, Shannon
ebbe modo di riflettere sul funzionamento della macchina, in particolare
sugli oltre cento relè che comandavano l’azionamento delle sue varie
parti. Queste riflessioni lo indussero
a immaginare di utilizzare l’algebra
di Boole, che aveva appreso in un
corso seguito all’Università del Michigan, per descrivere il funzionamento dei relè, più precisamente dei
circuiti costituiti da una molteplicità
di relè variamente collegati fra loro.
OTTOBRE 2003
|
N.
227
|
DIDATTICA delle SCIENZE
37
d
D S
(A pagina precedente). Claude Shannon (1916-2001).
(A fianco). ENIAC, primo calcolatore,
1946.
Gli sviluppi di questa idea costituirono l’argomento della sua tesi di master in ingegneria elettrotecnica al MIT
(1938), dal titolo A Symbolic Analysis of Relay and
Switching Circuits. Questa tesi, che è ritenuta forse la
più importante tesi di master del secolo, costituisce la
base teorica di quella che oggi chiamiamo elettronica digitale: i capitoli iniziali di tutti i testi su tale argomento
riguardano infatti invariabilmente l’algebra di Boole, i
circuiti AND, OR e NOT, le funzioni logiche, ... Si noti
anche la dizione «switching circuits» (circuiti di commutazione) nel titolo della tesi: Shannon aveva compreso che il suo lavoro avrebbe trovato impiego nella progettazione delle centrali di commutazione, cioè delle telefoniche automatiche (allora impieganti relè), che a
quell’epoca stavano sostituendo gli operatori umani per
stabilire il collegamento fra due abbonati.
È importante osservare che la tesi di master di Shannon
fu svolta quando l’elettronica digitale, praticamente,
non esisteva, a parte realizzazioni assai specifiche, come il famoso circuito di coincidenza (un circuito AND,
nella terminologia introdotta da Shannon) che il fisico
italiano Bruno Rossi aveva costruito anni prima nei suoi
studi sulla rivelazione dei raggi cosmici. I primi calcolatori digitali, costruiti attorno al 1940, erano infatti costituiti da relè e solo qualche anno dopo, nel 1945, sarebbe
stato realizzato il calcolatore ENIAC, che impiegava 18
mila tubi elettronici.
Seguendo un suggerimento di Bush, Shannon conseguì
poi (1940) anche un dottorato in matematica, con una
dissertazione su argomenti di biologia, più precisamente sulla matematizzazione di problemi di genetica, dal titolo An Algebra for Theoretical Genetics.
In seguito, dopo aver trascorso un anno all’Institute for
Advanced Studies di Princeton, egli venne assunto (1941)
come matematico-ingegnere presso i famosi Bell Telephone Laboratories4, una straordinaria fucina d’ingegni.
Qui, nel pieno della guerra mondiale, il nostro personaggio entrò a far parte di un gruppo che si occupava di
crittografia per scopi militari e affrontò anche il problema di contrastare gli aerei e i missili V1 e V2, con cui i
tedeschi bombardavano l’alleata Inghilterra, studiandone le traiettorie in modo da dirigere opportunamente il
tiro dell’artiglieria antiaerea. Anche qui Shannon diede
contributi assai rilevanti: il suo lavoro Communication
Theory of Secrecy Systems, pubblicato alcuni anni dopo
il termine del conflitto, viene considerato la base della
moderna crittografia avendo trasformato questa disciplina da un’arte ingegnosa in una rigorosa scienza formale.
Mentre si occupava di crittografia, Shannon cominciò a
sviluppare nuove idee sui processi di comunicazione,
elaborando una teoria matematica raffinata e rigorosa:
la teoria dell’informazione, che costituisce la base di
tutti i moderni sistemi di comunicazione e di trattamento digitale dell’informazione. Tuttavia, a differenza di
quanto si fa usualmente, Shannon non pubblicò subito
un lavoro sull’argomento per la sua natura schiva e riservata, e ciò mette in luce un’altra delle particolarità
del suo carattere. La pubblicazione5, per insistenza dei
suoi colleghi, avvenne solo nel 1949, con il titolo A
Mathematical Theory of Communication, che, in seguito, in una ristampa pressoché integrale, venne modificato, assai appropriatamente, in The Mathematical
Theory of Communication.
Il lavoro è costituito da un centinaio di pagine, di lettura non facile, che presentano i fondamenti e i principali
sviluppi della teoria. È straordinario osservare che questo stesso materiale costituisce anche il nocciolo essenziale di tutti i testi di teoria dell’informazione apparsi nel
mezzo secolo successivo, sicché è stato scritto che questo lavoro costituisce la vera e propria Magna Carta
delle comunicazioni.
d
D S
兩
38
La formalizzazione dell’informazione.
L’informazione delle sorgenti
DIDATTICA delle SCIENZE
兩
Quali sono i punti essenziali della teoria di Shannon? Innanzitutto la sua estrema generalità, che consiste nel
trattare messaggi di qualsiasi natura – testi, voce e suoni, immagini, ... – e mezzi trasmissivi anch’essi di qualsiasi natura – cavi elettrici, il vuoto e l’aria dove si propagano onde elettromagnetiche, e via dicendo, comprese anche le fibre ottiche usate oggi – con l’obiettivo della fedeltà di risposta, ossia che il messaggio ricevuto sia
una copia esatta, o quanto più possibile tale, di quello inviato.
A questo riguardo un punto chiave è l’aver ricondotto la
generalità dei messaggi ad un denominatore comune, introducendo per l’informazione, come per qualsiasi grandezza trattata nelle scienze esatte, un’unità di misura: il
bit6. Questo termine, fra l’altro, è nel lavoro di Shannon
che appare per la prima volta, a quanto sembra suggerito dal matematico John W. Tuckey7, come abbreviazione
di binary digit (cifra binaria), ma anche con il significato (in inglese) di pezzetto, piccola porzione di qualcosa.
L’unità d’informazione, cioè il bit, è quella che ci toglie
dall’incertezza circa il verificarsi di due alternative,
quando queste sono equiprobabili. In altre parole, se
una sorgente8 può emettere soltanto due messaggi A e
B, con la stessa probabilità, la quantità d’informazione
che otteniamo quando riceviamo il messaggio è appunto 1 bit. E non importa di quale messaggio, A o B, si tratti, perchè l’informazione della sorgente dipende dall’insieme di tutti i messaggi che essa può generare e, come
vedremo in seguito, dalle rispettive probabilità di occorrenza.
E se la sorgente può emettere n messaggi diversi, ancora equiprobabili? È evidente che in questo caso la quantità d’informazione, che indichiamo con H(n), sarà maggiore di 1 bit, e dovrà essere una funzione crescente di
n. Per stabilire la forma di questa funzione basta immaginare che il messaggio della sorgente, scelto fra gli n
possibili, sia costituito da due messaggi: l’uno scelto fra
n1 con informazione H(n1), l’altro fra n2 con informazione H(n2), con n1⫻n2 = n. Per fare un esempio, la sorgente potrebbe essere un dado che viene lanciato producendo il messaggio costituito da un numero fra 1 e 6:
tale messaggio può essere suddiviso in due messaggi
complessivamente ad esso equivalenti: quello che specifica se il numero è pari o dispari (n1 = 2), e quello che
specifica se il numero è il primo, il secondo o il terzo
delle due possibili sequenze (n2 = 3). È allora evidente
che deve essere H(n) = H(n1) + H(n2).
La funzione che soddisfa le nostre condizioni è il logaritmo. In particolare si sceglie il logaritmo in base 2, in
|
N.
227
|
OTTOBRE 2003
modo che al caso n = 2 corrisponda l’unità d’informazione H(2) = log2 2 = 1. L’espressione della quantità
d’informazione nel caso di n messaggi equiprobabili, misurata in bit, è dunque9
H(n) = log2 n.
(1)
Così, per esempio, l’informazione associata a una cifra
decimale è H(10) = 3,3219.... bit; quella associata a una
lettera dell’alfabeto italiano è H(21) = 4,393... bit.
Veniamo ora a un punto cruciale della teoria di Shannon, considerando il caso in cui i messaggi non sono
equiprobabili. Allora, come risulta intuitivo, l’informazione risulta minore di quella data dalla formula (1): è
infatti ovvio che quando uno degli n messaggi ha probabilità zero, con gli altri equiprobabili, la quantità d’informazione è H(n – 1) < H(n), mentre nel caso limite in cui
la sorgente emettesse sempre lo stesso messaggio,
l’informazione sarebbe nulla (ed è per questo che ci si
annoia ad ascoltare chi ripete sempre gli stessi discorsi....).
Nel caso generale in cui gli n messaggi hanno ciascuno
probabilità pi, la quantità d’informazione è data dalla seguente espressione:
H = Si pi log2 (1/pi)
(2)
Questa, nel caso n = 2 si riduce a H = p log2 (1/p) + (1 +
p) log2 (1/(1 – p)). Se p = 0,5 si ha H = 1; se p + 0,5 si ha
H < 1; se p = 0 oppure p = 1 si ha H = 0. E qui è interessante notare che il massimo della funzione (H = 1 per
p = 0,5) è assai poco pronunciato: per esempio, per p =
0,4 oppure 0,6 si ha H = 0,9709... bit.
La (2) si dimostra considerando n messaggi equiprobabili, che si suddividono in due gruppi n1 ed n2 tali che
n1 + n2 = n, e calcolando la seguente informazione: a
Le memorie dei primi computer
commerciali erano fatte da piccoli
anelli di ferrite, attraversati da un
intreccio di fili percorsi da impulsi
elettrici.
OTTOBRE 2003
|
N.
227
|
39
DIDATTICA delle SCIENZE
quale dei due gruppi appartiene il messaggio? Questa è
allora H = H(n) – (n1/n) H(n1) – (n2/n) H(n2); cioè è data dall’informazione relativa al messaggio fra gli n possibili (H(n)) meno l’informazione che specifica quale sia
il messaggio nell’ambito di ciascuno dei due gruppi, pesata per la rispettiva probabilità (p1 = n1/n; p2 = n2/n).
La formula (2) è estremamente importante, perché mostra che la quantità d’informazione di una sorgente che
può emettere n messaggi diversi, con probabilità differenti, può essere anche assai minore di H(n). Ciò vale,
a maggior ragione, quando la si generalizza al caso di
messaggi costituiti da sequenze di simboli che non sono
indipendenti fra loro ed allora la probabilità di occorrenza di un simbolo, in una data posizione della sequenza, è condizionata dai simboli che lo precedono10. Qualsiasi sorgente, in altre parole, con la sola eccezione di
quelle sorgenti i cui messaggi sono costituiti da sequenze di simboli equiprobabili e indipendenti fra loro11, presenta un certo grado di ridondanza. Tale grandezza si
esprime come R = 1 – H/H(n), dove H è l’effettiva quantità d’informazione, data dalla formula (2). È proprio la
ridondanza che, per esempio, ci consente di leggere un
testo anche quando contenga qualche errore o addirittura decifrare un messaggio cifrato.
La ridondanza di una sorgente, d’altra parte, costituisce
un aggravio per la trasmissione dei messaggi, dato che
richiede di trasmettere più di quanto è strettamente necessario. Ma nel suo lavoro Shannon stabilì che qualsiasi grado di ridondanza presenti una sorgente, esiste
sempre un codificatore che ne elabora opportunamente
i messaggi per ridurli all’essenziale (teorema della codificazione di sorgente). Così, per esempio, i messaggi di
una sorgente che può emettere ogni secondo un simbolo binario, ma con probabilità tali che H = 0,5 bit, potranno essere codificati in modo da inviare al canale di
trasmissione proprio 0,5 cifre binarie al secondo anzi-
d
D S
ché 1, come avverrebbe in assenza di codificazione.
Questa operazione di codificazione (chiamata codifica
di sorgente), in altre parole, trasforma i messaggi della
sorgente in sequenze di cifre binarie, il numero delle
quali, idealmente, è esattamente uguale all’effettiva
quantità d’informazione, generalmente operando su sequenze di simboli piuttosto lunghe in modo da sfruttare
al meglio tutta la struttura statistica dei messaggi della
sorgente. Per quest’ultimo motivo la codificazione può
richiedere operazioni anche di notevole complessità e
che impiegano del tempo per essere svolte, introducendo così un ritardo nella trasmissione12.
Negli anni ’50 e ’60 del secolo scorso, in effetti, non si disponeva di mezzi di calcolo sufficientemente potenti e
veloci, sicché nella maggior parte dei casi si doveva ricorrere a codificazioni semplificate, senza raggiungere il
limite teorico. Le idee di Shannon, in altre parole, precorrevano i tempi. Ma in seguito, con lo sviluppo dell’elettronica integrata e soprattutto dopo l’introduzione del
microprocessore, queste complesse operazioni poterono
essere svolte, con estrema efficacia, assai agevolmente.
Pensiamo soltanto all’estrema compattezza dei file
«compressi»13 usati abitualmente, anche su un calcolatore domestico, per rappresentare suoni o immagini!
兩 Il canale e il rumore 兩
Un altro punto fondamentale della teoria di Shannon riguarda la caratterizzazione del canale, cioè del mezzo
attraverso cui si trasmettono i messaggi. Qualunque sia
la sua natura, il canale viene caratterizzato da una sola
grandezza essenziale: la sua capacità, cioè il numero di
bit che esso può trasmettere nell’unità di tempo. Impiegando una rappresentazione unificata, che consente di
trattare allo stesso modo una linea telegrafica, un doppino telefonico, un cavo coassiale, un collegamento radio e via dicendo, cioè sistemi che in precedenza erano
oggetto di trattazioni e approcci separati da parte di ingegneri telegrafici, telefonici e radiotecnici.
Nel concetto di capacità del canale, con una sintesi potentissima, rientra anche il rumore che accompagna
sempre inevitabilmente, con effetti più o meno rilevanti, la trasmissione di qualsiasi segnale su un canale fisico. Del rumore, infatti, si tiene conto nello stabilire la
capacità di un canale.
Senza scendere in dettagli tecnici, basterà dire che un
canale che trasmette n cifre binarie in un tempo T con
una certa probabilità d’errore presenterà una capacità
C, misurata in bit/s, che è minore di C0 = n/T; tanto minore quanto maggiore è la probabilità d’errore. Il caso
più semplice è quello del cosiddetto canale binario simmetrico, che trasmette solo l’uno o l’altro di due simbo-
d
D S
40
DIDATTICA delle SCIENZE
|
N.
227
|
OTTOBRE 2003
I materiali semiconduttori hanno contribuito
notevolmente allo sviluppo delle memorie interne dei
computer.
li, con uguale probabilità d’errore p. In tal caso, se C0 è
la sua capacità in assenza d’errore, la sua capacità effettiva14 è:
C = C0 (1 – p log2 (1/p) – (1 – p) log2 (1/(1 – p))
(3)
Nel caso di un canale analogico, invece, è più significativo considerarne il rapporto segnale/rumore (SNR),
cioè il rapporto fra la potenza media del segnale e quella del rumore. In tal caso Shannon mostrò che la capacità del canale è:
C = B log2 (1 + SNR)
(4)
dove B è la larghezza di banda del canale misurata in
hertz. È interessante notare che, in base alla (4), la capacità di un canale analogico ideale, cioè privo di rumore e dunque con SNR =앝, risulta infinita; ma questo non
Fig. 1 Schema di un sistema di comunicazione, che
evidenzia gli elementi essenziali considerati dalla teoria
di Shannon.
SORGENTE
CODIFICATORE
DI SORGENTE
CODIFICATORE
DI CANALE
deve stupire dato che un canale siffatto permetterebbe
la trasmissione di segnali dotati di un numero infinito di
livelli diversi di ampiezza, cioè di un numero infinito di
simboli diversi.
Ma come si può utilizzare un canale soggetto a errori
per ottenere una trasmissione che, invece, si attui senza
errori? L’idea vincente è quella di codificare opportunamente il segnale che viene inviato sul canale (con l’operazione chiamata codifica di canale), introducendovi
quel tanto di ridondanza15 che permetterà poi, alla destinazione, di recuperare fedelmente il messaggio originale. Tutto ciò, naturalmente, richiede poi, all’uscita del
canale, un opportuno decodificatore che esegua le operazioni inverse a quelle dei codificatori che lo precedono, in modo da riottenere il messaggio di partenza.
Lo schema di un processo di comunicazione alla Shannon è dunque quello mostrato nella figura 1, dove accanto agli elementi tradizionali (sorgente, canale e destinazione) sono evidenziati i codificatori, il decodificatore e il rumore che agisce sul canale.
Il risultato fondamentale della teoria stabilisce che un
messaggio può essere trasmesso fedelmente soltanto se
la quantità d’informazione prodotta dalla sorgente nell’unità di tempo non eccede la capacità del canale, riducendo tutto il problema delle comunicazioni alla seguente semplicissima diseguaglianza, che esprime il cosiddetto «limite di Shannon»:
H/T⭐C
(5)
Notiamo però che per realizzare la condizione limite, o
comunque per avvicinarsi molto ad essa, occorre disporre di codificatori e decodificatori in grado di compiere le necessarie operazioni; altrimenti ci si deve accontentare di non sfruttare tutta la capacità del canale,
oppure accettare un certo tasso d’errore in ricezione,
CANALE
RUMORE
DECODIFICATORE
DESTINAZIONE
OTTOBRE 2003
|
N.
227
|
41
DIDATTICA delle SCIENZE
d
D S
Fig. 2 Theseus22, il topo elettromeccanico di Shannon,
costituisce uno dei primi tentativi di «insegnare» a una
macchina a «imparare», rappresentando uno dei primi
esperimenti nel campo dell’intelligenza artificiale.
con una riproduzione non del tutto fedele dei messaggi
originali. La marcia di avvicinamento al limite di Shannon nei sistemi di comunicazione, nei decenni trascorsi,
si è avvalsa degli sviluppi compiuti in due direzioni. Da
un lato l’introduzione di una varietà di codici sempre
più efficienti; dall’altro la disponibilità di dispositivi di
memoria sempre più capienti e di dispositivi di calcolo
più potenti e veloci: microprocessori ed elaboratori di
segnali digitali (digital signal processor o DSP).
Nel corso dell’ultimo mezzo secolo la teoria di Shannon,
che forniva le indicazioni essenziali, e i suoi sviluppi dovuti all’opera di altri studiosi, molti dei quali suoi allievi,
che hanno proseguito il suo lavoro, ha trovato infatti innumerevoli impieghi. Non soltanto nei sistemi di comunicazione, dai più diffusi come la rete Internet, ai più
avanzati come la rete «deep space» della Nasa (usata
per i collegamenti con le sonde planetarie), ma anche in
una varietà di altre applicazioni, fra cui, per esempio, i
sistemi per la riproduzione dei suoni16 impieganti compact disc, usati comunemente in casa e le macchine fotografiche digitali.
nuto nel 1956 al Darthmouth College, che segnò la nascita di questa disciplina; si occupò di problemi di affidabilità, affrontati applicando anche qui criteri di ridondanza; scrisse programmi per il gioco degli scacchi (nel
quale egli eccelleva) su calcolatore, utilizzati, poi, sulla
prima macchina (il calcolatore MANIAC, 1956) che
giocò una partita a scacchi contro l’uomo18.
Ma soprattutto egli seguì la sua inclinazione ad affrontare problemi sempre nuovi, anche se strani o apparentemente futili, motivato, come ebbe l’occasione di dichiarare egli stesso, più dalla curiosità intellettuale che
dall’utilità dei possibili ritrovati, sebbene le ricadute applicative dei suoi lavori risultassero poi di rilievo eccezionale. Per esempio, costruì THESEUS, un topo meccanico, comandato da relè, che era in grado di trovare la
strada in un labirinto, il calcolatore THROBAC, che eseguiva tutte le operazioni aritmetiche utilizzando i numeri romani19, un apparecchio per risolvere il cubo di Rubik e numerosi altri oggetti20 e giocattoli.
La vicenda di Shannon, per concludere, appare estremamente istruttiva proprio oggi, mentre in Italia, come
in altri paesi industrializzati, l’impegno pubblico verso
la ricerca fondamentale rivolta al progresso delle conoscenze, denominata «curiosity driven» (mossa dalla curiosità), viene ridimensionato a vantaggio della ricerca
finalizzata a obiettivi. Mentre è proprio dalla curiosità
intellettuale che possono derivare ricadute applicative
di enorme portata, come appunto Shannon ha dimostrato, nei fatti, assai chiaramente.
Giovanni Vittorio Pallottino
Dipartimento di Fisica
Università «La Sapienza» - Roma
兩 L’eclettismo di Shannon 兩
Bibliografia
Ma torniamo alle vicende del nostro personaggio, che
nella seconda metà degli anni ’50, continuando a lavorare presso i laboratori Bell Telephone17, inizia una carriera di docente presso il MIT, prima come professore visitatore, dal 1956, e poi come professore ordinario, fino al
1978, creando una scuola di altissimo livello. Anche in
questa fase della sua vita Shannon esplorò nuove direzioni. Fu tra i primi, per esempio, a occuparsi di intelligenza artificiale, contribuendo al famoso convegno te-
Il lavoro fondamentale di Shannon, pubblicato inizialmente nel
1948 (nota 3), venne poi ristampato nel libro The Mathematical
Theory of Communication (W. Weaver, C.E. Shannon, University
of Illinois Press, 1949) e riprodotto nella raccolta Key Papers in
the Development of Information Theory (a cura di D. Slepian,
IEEE Press, 1974); si può scaricare dal sito:
http://cm.bellabs.com/cm/ms/what/shannonday/paper.html.
La traduzione italiana è apparsa in La teoria matematica delle
comunicazioni (Etas Kompass, Milano, 1971).
Molti importanti lavori di Shannon rimasero a lungo nella forma
di rapporti interni, lettere e altro, finché nel 1993 non venne pub-
d
D S
42
blicata una raccolta delle sue opere dal titolo C.E. Shannon, Collected Papers (a cura di N.J.A. Sloane e Aaron D. Wyner, IEEE
Press, 1993), che comprende anche una biografia e una bibliografia completa. Questa raccolta è suddivisa in tre parti: a) teoria
delle comunicazioni, teoria dell’informazione e crittografia; b)
calcolatori, circuiti e giochi; c) la tesi di dottorato, mai pubblicata in precedenza. Una presentazione di questa opera, inclusa la
bibliografia completa, si può consultare al sito:
http://www.research.att.com/~njas/doc/shannon.html.
Fra i numerosi libri di divulgazione che trattano dell’opera di
Shannon, uno dei migliori, sebbene datato, è La teoria dell’informazione. Simboli, codici, messaggi (EST Mondadori, Milano 1963, poi ristampato più volte) scritto da John R. Pierce21,
collega di Shannon ai laboratori Bell e autore di numerosi libri e
pubblicazioni scientifiche.
Numerose pagine Web offrono notizie su Shannon: sui siti dei laboratori Bell, di varie università (MIT, Harvard, ecc.) e di altre istituzioni. Si trovano facilmente cercando Claude Shannon con un
buon motore di ricerca, per esempio Google (www.google.it).
1. Si tratta di titoli di studio di primo livello, grosso modo corrispondenti alle lauree triennali che sono state appena introdotte
in Italia.
2. Vannevar Bush, in seguito, svolse anche il compito di consigliere scientifico del presidente Truman ed ebbe così un ruolo di
primo piano nell’indirizzare gli sviluppi della ricerca scientifica,
dando ad essa un grande impulso, nel periodo immediatamente
successivo alla II Guerra mondiale.
3. I calcolatori analogici risolvono le equazioni realizzando una
struttura fisica che obbedisce alle medesime equazioni: la soluzione si ottiene osservando e registrando l’evoluzione nel tempo
di determinate grandezze fisiche dell’apparato. Realizzati in forma elettronica, i calcolatori analogici trovarono largo impiego in
ambito scientifico e tecnico fra il 1940 e il 1970, ma poi caddero
in disuso quando si diffusero i calcolatori digitali, che permettevano di ottenere risultati estremamente più accurati.
4. Si tratta dei laboratori di ricerca della società che in passato
deteneva il monopolio nel settore telefonico negli Stati Uniti; dove nel 1947 fu costruito il primo transistor e dove si sono svolte
ricerche di altissimo livello, che ebbero ricadute applicative di
grandissima portata e che furono premiate con 11 premi Nobel.
5. Sulla rivista Bell System Technical Journal, vol. 27, pp. 379423 e 623-656, luglio e ottobre 1948.
6. Un’importante precisazione riguarda il diverso significato del
termine bit nel contesto della teoria dell’informazione e in quello
delle tecniche digitali. Nel primo caso il bit è l’unità d’informazione, come abbiamo appena detto. Nell’altro caso, invece, il bit
ha il significato letterale di cifra binaria (0 o 1), rappresentando,
per esempio, il livello logico di un nodo di un circuito o il contenuto di una cella elementare di memoria, ma prescindendo totalmente dalla probabilità che questa grandezza valga 0 o 1. Per questo venne proposto in passato di assegnare nomi differenti a questi due diversi oggetti (proponendo l’uso del termine binit in aggiunta a bit), ma l’idea, per quanto sensata, non ebbe seguito.
7. Tuckey, collega di Shannon ai laboratori Bell Telephone, è noto per aver introdotto, assieme a Cooley, un algoritmo assai efficiente per calcolare la trasformata discreta di Fourier, conosciuto come Fast Fourier Transform (FFT) o trasformata veloce di
Fourier e usato oggi pressoché universalmente. Meno noto è il
fatto che fu Tuckey, nel 1958, a usare per la prima volta il termine «software».
8. Alla quantità d’informazione che una sorgente produce con i
suoi messaggi Shannon diede il nome di entropia, lo stesso della
nota grandezza fisica. Nel seguito non useremo questo termine,
che può suggerire stimolanti analogie ma può anche costituire
DIDATTICA delle SCIENZE
|
N.
227
|
OTTOBRE 2003
motivo di equivocazione. Notiamo, comunque, che vari fisici hanno discusso il legame fra informazione ed entropia, fra questi
Leon Brillouin e Leo Szilard. Quest’ultimo, in particolare, introdusse il termine neghentropia (entropia negativa) per indicare
l’informazione e presentò una soluzione del problema del diavoletto di Maxwell in termini d’informazione (per separare le molecole calde di un gas da quelle fredde all’interno di un contenitore, diminuendo così l’entropia del gas, il diavoletto deve poter conoscere la temperatura di ciascuna molecola, cioè disporre di
informazione ossia di neghentropia).
9. Questo risultato era stato ottenuto in precedenza dal matematico Harry Nyquist, che lo pubblicò nel 1924. Nyquist è noto
per aver trovato un criterio che garantisce la stabilità dei sistemi
a controreazione, conosciuto oggi come Criterio di Nyquist.
10. Nella lingua italiana, per esempio, la lettera q è sempre seguita dalla lettera u, con la sola eccezione della parola soqquadro.
11. E allora più che di una sorgente si dovrebbe parlare di un generatore di rumore bianco con densità di probabilità uniforme.
12. I ritardi di codificazione e decodificazione possono risultare
eccessivi in certi impieghi, per esempio nel caso di una comunicazione telefonica.
13. Quella che normalmente si chiama compressione consiste in
effetti in una codificazione efficiente nel senso che mira a raggiungere il limite di Shannon. Qui occorre una distinzione fra
compressione, o codificazione, reversibile ossia senza perdite
(lossless), che consente poi di riottenere esattamente il messaggio, come fanno i diffusissimi programmi variamente denominati
ZIP, e compressione irreversibile (lossy), in cui un’estrema compattezza viene ottenuta a spese della fedeltà nella riproduzione
dei suoni o delle immagini, con effetti che generalmente non sono avvertibili dall’occhio o dall’orecchio. Proprio grazie a metodi
di compressione molto raffinati, è stato possibile compattare i file musicali in modo da realizzare il noto sistema Napster, permettendone così la diffusione attraverso Internet.
14. La formula si dimostra facilmente immaginando di disporre,
all’uscita del canale, una sorgente ausiliaria d’informazione che
corregga gli errori introdotti dal canale stesso. In tal caso l’informazione ricevuta ogni secondo è esattamente 1 bit, da cui va però
sottratta l’informazione fornita dalla sorgente ausiliaria, che è data dalla formula (2).
15. Una soluzione adottata in passato, basata sul concetto di ridondanza ma che lo impiega assai poco efficacemente, è quella,
del resto ovvia, di trasmettere più di una volta il medesimo messaggio.
16. Notiamo, a questo proposito, che anche gli amplificatori elettronici usati per la riproduzione dei suoni cominciano, oggi, a essere realizzati in forma interamente digitale. Il segnale audio viene trasformato in una sequenza d’impulsi binari che comandano
lo stadio finale dell’amplificatore, con una tecnica (PCM, pulse
code modulation) di cui Shannon si occupò in un suo lavoro. Il
circuito finale è costituito da una coppia di interruttori che collegano l’altoparlante all’alimentazione o a massa a seconda del valore della cifra binaria a quell’istante.
17. Da cui si ritirerà nel 1972, all’età di 58 anni.
18. In quell’occasione, naturalmente, la macchina fu sconfitta
dall’uomo. E dovettero passare trent’anni per arrivare alla sconfitta del campione di scacchi Juri Karpov da parte del supercalcolatore Deep Blue della IBM.
19. Si tratta di una notazione assai poco adatta all’esecuzione di
calcoli aritmetici, tanto è vero che in Occidente fu solo dopo l’introduzione dei numeri arabi che la matematica trovò un grande
sviluppo.
20. Fra questi, uno denominato «The ultimate machine» basato
su un’idea del matematico Marvin Minski. Si trattava di una scatola di legno dotata di un interruttore. Azionandolo, il coperchio
della scatola si apriva e ne usciva una piccola mano, che riportava a posto l’interruttore. E poi il coperchio si richiudeva.
21. Pierce è noto anche per aver dato il nome al transistor (da
transfer resistor o transresistore, per il fatto che la tensione applicata al circuito d’ingresso controlla l’intensità della corrente
che attraversa il circuito d’uscita).