1 / 8

ENTROPIA

ENTROPIA. Średnia informacja na wiadomość [b/w] gdzie P(x) – prawdopodobieństwo wystąpienia danego stanu wiadomości x. Jeśli prawdopodobieństwa P(x) są jednakowe, H(x) jest największa.

oona
Download Presentation

ENTROPIA

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ENTROPIA • Średnia informacja na wiadomość [b/w] gdzie P(x) – prawdopodobieństwo wystąpienia danego stanu wiadomości x. • Jeśli prawdopodobieństwa P(x) są jednakowe, H(x) jest największa. • H(x) określa się w bitach/wiadomość. Oznacza ona oczekiwaną liczbę bitów przy przesyłaniu danej wiadomości kanałem binarnym.

  2. Przykład • Rzucamy idealną kostką do gry • Musimy użyć 2,7 (praktycznie 3) bity do przesłania 6 stanów • Niech kostka ma uprzywilejowane położenie P(6), np. P(6)=0,05; P(1)=...=P(5)=0,19. Wtedy • Widzimy, że entropia zmalała. Występuje bowiem w zasadzie tylko 5 stanów (szósty jest bardzo mało prawdopodobny). Statystycznie mamy oczekiwaną liczbę bitów do przesłania 2,3

  3. EKWIWOKACJA (NIEPEWNOŚĆ) • Jest to entropia warunkowa. Określa stopień niepewności, że nadano wiadomość x gdy odebrano y powiązaną z nią via P(x/y) • Dążymy do tego, by H(x/y)0 (niepewność!)

  4. PRZYKŁAD (1) • Odebrano informację złożoną z ośmiu jednakowo prawdopodobnych zdarzeń, np. odebrano cyfry 1, 2, ..., 8. Ich entropia jest największa i wynosi

  5. Przykład (2) • Dana jest dodatkowa informacja {Y1,Y2} stanowiąca, że przy Y1 możliwe są tylko stany x1, ...,x4 a przy Y2 – tylko x5, x6, x7, x8 • Stąd mamy mniejszą entropię (nastąpiło częściowe uporządkowanie)

  6. Przykład 3 • System binarny wyróżnia stany x1 i x2 • Zakładamy apriori P(x1)=P(x2)=1/2 • W punkcie odbiorczym mamy y1 i y2, ale bez pewności, że y1x1, y2x2 • Odsetek pomyłek wynosi 0,01. H(x/y)=?

  7. ZADANIE 1 • Informacja pogodowa: X={S, P, D, U}, S –słońce, P-pochmurno, D-deszcz, U- ulewa • Dodatkowa informacja Y={ R - ranek, P – popołudnie} • Zależności: dla R P(S)=1/8,P(P)=1/8, P(D)=3/8, P(U)=3/8 dla P P(S)=3/8. P(P)=3/8, P(D)=1/8, P(U)=1/8 Należy określić entropię H(x) oraz entropię uzależnioną od pory dnia, czyli niepewność H(x/y). Wskazówka: musi H(x/y)<H(x), wziąć 1/2x(1/8,3/8...

  8. ZADANIE 2 • System binarny wyróżnia stany x1 i x2 • Zakładamy apriori P(x1)=P(x2)=1/2 • Odsetek pomyłek w odbiorze wynosi 0,5, czyli P(x1/y1)=P(x2/y2)=0,5 oraz P(x1/y2)=P(x2/y1)=0,5. • Jaka jest strata (niepewność w odbiorze) informacji, czyli H(x/y)=? • Wskazówka: Jest to strata największa możliwa

More Related