Teoria dell’Informazione (Classica)

Teoria dell’Informazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dell’Informazione

Lezione 1 3 ottobre 2002

Programma del Corso • Che cos’è l’Informazione e che cos’è la T.I. • Richiami di Teoria della Probabilità • Proprietà matematiche utilizzate nella T.I. • Misura dell’informazione: l’Entropia. • Codici • Comunicazione in presenza di rumore • Codici a correzione d’errore • Cenni sulla Teoria della Trasmissione • Cenni di Crittografia

Bibliografia • E. ANGELERI: Informazione: significato e universalità, UTET, Torino, 2000. (libro di testo) • J. VAN DER LUBBE: Information Theory, Cambridge University Press, 1988. • J. R. PIERCE: An Introduction to Information Theory, Dover, 1980.

Ricevimento Studenti • Giovedì, dalle ore 14.00 alle ore 16.00 • Per appuntamento: • e-mail: andrea.tettamanzi@unimi.it • tel.: 03 73 89 82 48 • Sito del corso: “http://mago.crema.unimi.it/Classes/TIC”

Modalità di Esame • Scritto: 3 o 4 esercizi che coprono vari argomenti del corso. • Temi d’esame degli scritti degli anni passati, completi di correzione, disponibili all’URL: “http://mago.crema.unimi.it/Classes/TIC/Temidesame” • Orale: interrogazione su definizioni, enunciati di teoremi e alcune dimostrazioni, rielaborazione critica del materiale presentato a lezione.

Che Cos’è l’Informazione? SINTASSI SEMANTICA PRAGMATICA

Informazione informazione significato apparato simbolico Rilevanza pratica dell’informazione (effetto, scopo, ecc.)

Informazione - semantica • La quantità di informazione di un enunciato è tanto più grande quante più sono le alternative che esso esclude. U B A

Che cos’è la Teoria dell’Informazione? • Una teoria matematica dell’aspetto simbolico dell’Informazione • Un approccio quantitativo alla nozione di Informazione • Risponde alle domande: • Come immagazzinare e trasmettere informazione in modo compatto? (compressione) • Qual’è la massima quantità di informazione che può essere trasmessa su un canale? (velocità di trasmissione) • Come posso proteggere la mia informazione: • dalla corruzione del suo supporto o da errori di trasmissione? • da sguardi indiscreti?

invio ricezione Compressione Immagazzinamento = Trasmissione scrittura t0 x0 x1 lettura t1

Funzioni convesse Diseguaglianza fondamentale:

Convessità del valore atteso convessa concava

Misura dell’Informazione Alfabeto di s simboli R. V. L. Hartley C I A O , M A M M A ! l 2 1 Messaggi possibili R. Hartley Perché il logaritmo? Perché così

Unità di misura dell’Informazione La quantità di informazione che permette di distinguere uno di due eventi equiprobabili e mutuamente esclusivi è l’unità di misura dell’informazione: il bit. Un simbolo di un alfabeto di s simboli equiprobabili porterà un’informazione di bit

Entropia informativa di Shannon continua simmetrica (commutativa) additiva

Massimo dell’Entropia N.B.:

Entropia delle lingue Frequenze dei simboli testo

Ridondanza Efficienza di codifica

Informazione secondo Kolmogorov Misura assoluta, non utilizza la probabilità Y X y x fn. parziale ricorsiva descrizioni oggetti

Equivalenza con entropia di Shannon

Assiomi dell’entropia (1) 1 Misura d’incertezza, max con eventi equiprobabili 2 (simmetrica) 3 4

Assiomi dell’entropia (2) 5 6 continua 7 8 (diramazione)

Teorema Se H soddisfa gli otto assiomi, Basterebbero 4 assiomi “minimali”: - continuità; - simmetria; - proprietà di diramazione - H(1/2, 1/2) = 1

Modello della comunicazione sorgente destinazione canale rumore

Modello dettagliato Sorgente di informazione Destinazione riduzione ricostruzione Codifica sorgente Decodifica sorgente distorsione (rumore) cifratura decifrazione Codifica canale Decodifica canale Canale discreto modulazione Canale continuo demodulazione

Sorgente discreta senza memoria S è un dispositivo che genera ad ogni istante t un simbolo x con probabilità p(x), i.i.d.

Proprietà Indipendenza statistica e stazionarietà: autoinformazione

Il concetto di codice Alfabeto sorgente Alfabeto del codice

Esempio: codifica delle cifre decimali Cifra decimale Rappresentazione binaria 0 1 2 3 4 5 6 7 8 9 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001

Estensione di una sorgente Alfabeto base Alfabeto esteso

Teorema Data una sorgente senza memoria, Dimostrazione:

Nel caso X = {0, 1}

Classificazione dei codici A blocco Singolare Non singolare Unicamente decodificabile Non unicamente decodificabile Non istantaneo Istantaneo

Esempi Non istantaneo: Non unicamente decodificabile:

Codici a prefisso Condizione necessaria e sufficiente perché un codice sia istantaneo è che nessuna parola del codice sia un prefisso di un’altra parola del codice. 0 0 0 1 1 1

Diseguaglianza di Kraft Condizione necessaria e sufficiente perché esista un codice istantaneo con lunghezze di parola è che

Dimostrazione - sufficienza Costruiamo un codice istantaneo che soddisfa

Teorema di McMillan Un codice unicamente decodificabile soddisfa la diseguaglianza di Kraft Sviluppando la potenza, avremo qn termini della forma ma allora deve essere

Teorema di codifica della sorgente la lunghezza media di un codice istantaneo Sia a r simboli. Allora,

Dimostrazione Kraft Proprietà fondamentale dei logaritmi

Processi Stocastici Un processo stocastico è una successione di v.a. Ciascuna con la propria distribuzione di probabilità. Notazione:

0.4 0.7 0.6 A B C 0.75 0.3 0.25 Catene di Markov Un processo stocastico è una catena di Markov sse il suo stato dipende solo dallo stato precedente, cioè, per ogni t,

Processi Markoviani È un processo Markoviano di ordine m sse

Sorgente discreta con memoria S è un dispositivo che genera ad ogni istante t un simbolo x con probabilità condizionata dagli m simboli generati in precedenza Stazionarietà: le probabilità sono costanti nel tempo

Informazione e Entropia condizionali Informazione condizionale: Entropia condizionale:

Proprietà dell’Entropia condizionale Dimostrazione:

Teoria dell’Informazione (Classica)