Download
1 / 19
190 likes | 351 Views
Teoria dell’Informazione (Classica). Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dell’Informazione. Lezione 1. 3 ottobre 2002. Programma del Corso. Che cos’è l’Informazione e che cos’è la T.I. Richiami di Teoria della Probabilità
E N D
Teoria dell’Informazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dell’Informazione
Lezione 1 3 ottobre 2002
Programma del Corso • Che cos’è l’Informazione e che cos’è la T.I. • Richiami di Teoria della Probabilità • Proprietà matematiche utilizzate nella T.I. • Misura dell’informazione: l’Entropia. • Codici • Comunicazione in presenza di rumore • Codici a correzione d’errore • Cenni sulla Teoria della Trasmissione • Cenni di Crittografia
Bibliografia • E. ANGELERI: Informazione: significato e universalità, UTET, Torino, 2000. (libro di testo) • J. VAN DER LUBBE: Information Theory, Cambridge University Press, 1988. • J. R. PIERCE: An Introduction to Information Theory, Dover, 1980.
Che Cos’è l’Informazione? SINTASSI SEMANTICA PRAGMATICA
Informazione informazione significato apparato simbolico Rilevanza pratica dell’informazione (effetto, scopo, ecc.)
Informazione - semantica • La quantità di informazione di un enunciato è tanto più grande quante più sono le alternative che esso esclude. U B A
Che cos’è la Teoria dell’Informazione? • Una teoria matematica dell’aspetto simbolico dell’Informazione • Un approccio quantitativo alla nozione di Informazione • Risponde alle domande: • Come immagazzinare e trasmettere informazione in modo compatto? (compressione) • Qual’è la massima quantità di informazione che può essere trasmessa su un canale? (velocità di trasmissione) • Come posso proteggere la mia informazione: • dalla corruzione del suo supporto o da errori di trasmissione? • da sguardi indiscreti?
invio ricezione Compressione Immagazzinamento = Trasmissione scrittura t0 x0 x1 lettura t1
Funzioni convesse Diseguaglianza fondamentale:
Convessità del valore atteso convessa concava
Misura dell’Informazione Alfabeto di s simboli R. V. L. Hartley C I A O , M A M M A ! l 2 1 Messaggi possibili R. Hartley Perché il logaritmo? Perché così
Unità di misura dell’Informazione La quantità di informazione che permette di distinguere uno di due eventi equiprobabili e mutuamente esclusivi è l’unità di misura dell’informazione: il bit. Un simbolo di un alfabeto di s simboli equiprobabili porterà un’informazione di bit
Entropia informativa di Shannon continua simmetrica (commutativa) additiva
Massimo dell’Entropia N.B.:
Entropia delle lingue Frequenze dei simboli testo
Ridondanza Efficienza di codifica
Informazione secondo Kolmogorov Misura assoluta, non utilizza la probabilità Y X y x fn. parziale ricorsiva descrizioni oggetti
