5. Informationstheorie

1. 5. Informationstheorie - Information: Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte: syntaktisch, semantisch Information - syntaktisch - Nachricht: eine nach vorher festgelegten Regeln zusammengestellte, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt - Signale: physikalische Größen, mit deren Hilfe Zeichen realisiert und zwischen Sender und Empfänger ausgetauscht werden (analoge und digitale Signale) - Datum: digitales Zeichen - Bit: (binary digit) kleinste Darstellungseinheit für Daten in binärer Zahlendarstellung (stets ganzzahlig)

2. Information - semantisch - Bedeutung: Interpretation mit Interpretationsschlüssel, i.a. Abbildungsvorschrift - Vorschrift zur Nachrichtenverarbeitung: Codierung - Vorschrift zur Informationsverarbeitung:   = ‘  - Umschlüsselung: vollständig, komprimierend, selektiv

3. Entscheidungsinformation: Anzahl optimal gewählter binärer Entscheidungen zur Ermittlung eines Zeichens innerhalb eines Zeichenvorrats Gegeben 8 Zeichen. Nach maximal wieviel Schritten ist ein Zeichen gefunden? Entscheidungsbaum: Informationsgehalt A B C D E F G H A-D? A B C D A-B? C D C? C

4. Aufteilung nicht in gleich große sondern gleich wahrscheinliche Mengen von Zeichen. Allgemeiner Fall 1/2 1/4 1/8 A E B C F A E B D G A B C D E F G D G B D C F G C F Das i-te Zeichen ist nach ki Alternativentscheidungen isoliert. Seine Wahrscheinlichkeit ist pi = (1/2)ki, sein Informationsgehalt ki = ld (1/pi) bit.

5. Buchstaben Pi Codierung A 1/4 00 E 1/4 01 F 1/8 100 C 1/8 101 B 1/8 110 D 1/16 1110 G 1/16 1111 Optimale Codierung mittlerer Entscheidungsgehalt pro Zeichen (Entropie): H = p1I1 + p2I2 + ... + pnIn =  pi ld(1/pi) bit = 2/4 + 2/4 + 3/8 ... = 2,625

6. Gegeben eine Nachrichtenquelle die nur 0 und 1 sendet: P0 , 1-P0 Mittlerer Informationswert (Entropie) H(p) = p ld(1/p) + (1-p) ld (1/(1-p)) Die Shannon-Funktion erreicht ein Maximum für p= 1/2, d.h. wenn die Dualzeichen 0 und 1 gleich häufig auftreten. Allgemein gilt, daß H(p) maximal ist, wenn alle Zeichen gleich wahrscheinlich sind. Shannon-Funktion S(p) p 0 0,5 1

7. Redundanz: Maß für den Anteil einer Nachricht, der keine Information enthält Besitzt in einer Codierung einer Nachrichtenquelle das i-te Zeichen die Wortlänge Ni, so ist L=  piNi die mittlere Wortlänge.Unter der Voraussetzung, daß der Zeichenvorrat in genau gleichwahrscheinliche Teilmengen zerlegt werden kann gilt L=H. Im allgemeinen gilt das Shannonsche Codierungstheorem: 1. H  L. 2. Jede Nachricht kann so codiert werden, daß die Differenz L-H beliebig klein wird. (Betrachte Binärcodierungen für nk Gruppen von je k Zeichen). Die Differenz L-H heißt Code-Redundanz, die Größe 1-H/L relative Code-Redundanz. Redundanz

8. 30 Buchstaben (inkl. Zwischenraum) I = ld 30 = 4,9 bit Mittlerer Informationsgehalt unter Berücksichtigung von Bigrammen H = 1,6 bit Redundanz 4,9 - 1,6 bit = 3,3 bit (Text auch noch dann lesbar, wenn jeder zweite Buchstabe fehlt) Informationsgehalt Schriftsprache

9. Bei reduzierter Redundanz wird das Lesen sehr viel mühsamer BEI REDUZIERTER REDUNDANZ WIRD DAS LESEN SEHR VIEL MÜHSAMER BEIREDUZIERTERREDUNDANZWIRDDASLESENSEHRVIELMÜHSAMER BE RE UZ ER ER ED ND NZ IR DA LE EN EH VI LM HS ME (nach Breuer 1995) Redundanz - Beispiel

11. Binärcode mit variabler Wortlänge 1. Ordne alle Zeichen nach der Wahrscheinlichkeit ihres Auftretens. 2. Unterteile sie in zwei Gruppen möglichst gleich summierter Wahrscheinlichkeit. 3. Die eine Gruppe erhält das Binärzeichen 1, die andere 0. 4. Unterteile jede Gruppe erneut und verfahre nach (1) - (3) bis jede Gruppe nur aus einem einzigen Zeichen besteht. Generieren einer optimalen Codierung(Fano-Code)