TEORIE INFORMACE

TEORIE INFORMACE CLAUDE ELWOOD SHANNON 1916 - 2002

LAICKÝ POHLED NA INFORMACI • SDĚLENÍ, ZPRÁVA • JAZYKOVÝ PROJEV VYBUDOVANÝ NA PRINCIPU INFORMAČNÍHO SLOHOVÉHO POSTUPU, VE KTERÉM SE CO NEJOBJEKTIVNĚJI VĚCNĚ A DOKUMENTARISTICKY KONSTATUJÍ URČITÁ FAKTA • ZNALOST SDÍLENÁ TÍM, ŽE SE KOMUNIKUJE - TO, CO MY VÍME (SDĚLITELNÁ ZNALOST)

FILOSOFICKÉ POJETÍ • VLASTNOST HMOTNÉ REALITY BÝT USPOŘÁDÁN A JEJÍ SCHOPNOST USPOŘÁDÁVAT (FORMA EXISTENCE HMOTY VEDLE PROSTORU, ČASU A POHYBU) (ZEMAN) • VNÍMATELNÝ OBSAH POZNANÉHO NEBO PŘEDPOKLÁDANÉHO OBRAZU SKUTEČNOSTI, KTERÝ JE MOŽNO VYUŽÍT PRO ŽIVOT ČLOVĚKA • POTENCIÁLNĚ KOMUNIKOVATELNÝ POZNATEK O OBJEKTIVNÍ REALITĚ • POZNATEK O URČITÉ SKUTEČNOSTI, PŘEDMĚTU NEBO JEVU ZACHYCENÉM VE ZPŘÍSTUPNITELNÉ FORMĚ VYUŽITELNÝ PŘI PŘIZPŮSOBOVÁNÍ SE ČLOVĚKA ŽIVOTNÍMU PROSTŘEDÍ (CIGÁNIK) • VÝZNAM PŘIŘAZENÝ OBRAZŮM, ÚDAJŮM A Z NICH UTVOŘENÝM LIDSKÝM CELKŮM. INFORMACE PŘEDSTAVUJE MÍRU USPOŘÁDANOSTI SYSTÉMŮ NA ROZDÍL OD ENTROPIE, TJ. MÍRY NEUSPOŘÁDANOSTI.

KOMUNIKAČNÍ POJETÍ • OBSAH PROCESU LIDSKÉ KOMUNIKACE, ODEVZDÁVÁNÍ A PŘIJÍMÁNÍ OZNÁMENÍ, JEJICH PŘENOS OSOBNÍM KONTAKTEM, ZVUKEM, SIGNÁLEM A PROSTŘEDKY MASOVÉ KOMUNIKACE • KAŽDÝ ZNAKOVÝ PROJEV, KTERÝ MÁ SMYSL PRO KOMUNIKÁTORA I PŘÍJEMCE (LAMSER) • OBJEKTIVNÍ OBSAH KOMUNIKACE MEZI SOUVISEJÍCÍMI HMOTNÝMI OBJEKTY, PROJEVUJÍCÍ SE ZMĚNOU STAVU TĚCHTO OBJEKTŮ (BRILLOUIN)

MATEMATICKÝ PŘÍSTUP • ENERGETICKÁ VELIČINA, JEJÍŽ HODNOTA JE ÚMĚRNÁ ZMENŠENÍ ENTROPIE SYSTÉMU • POZNATEK, KTERÝ OMEZUJE NEBO ODSTRAŇUJE NEJISTOTU TÝKAJÍCÍ SE VÝSKYTU URČITÉHO JEVU Z DANÉ MNOŽINY MOŽNÝCH JEVŮ • OBSAH ZPRÁVY, KTERÝ JE DEFINOVÁN JAKO ZÁPORNÝ DVOJKOVÝ LOGARITMUS JEJÍ PRAVDĚPODOBNOSTI

TEORIE INFORMACESOUČÁST KYBERNETIKY • DĚLÍ SE NA : • KÓDOVÁNÍ ZPRÁV • VYSÍLÁNÍ ZPRÁV • PŘENOS INFORMAČNÍM KANÁLEM • PŘÍJEM ZPRÁV U PŘÍJEMCE • DEKÓDOVÁNÍ ZPRÁV

KÓDOVÁNÍ MODULACE PŘENOS DEMODULACE DEKÓDOVÁNÍ ZDROJ Z RUŠENÍ PŘÍJEMCE Z Zpětný měnič zprávy Zpětný měnič signálu Měnič zprávy Měnič signálu Přenosová cesta VYSÍLACÍ ČÁST PŘENOSOVÝ KANÁL PŘIJÍMACÍ ČÁST SPOJ OBECNÝ SDĚLOVACÍ ŘETĚZEC PUBLIKOVÁNO V ROCE 1955 Z´ Z

PROCES PŘENOSU INFORMACEOD ZDROJE K PŘÍJEMCI PŘÍJEMCE INFORMACE/ZPRÁVA SIGNÁL SIGNÁL ZDROJ ZPRÁVA SE ŠÍŘÍ DANÝM PROSTŘEDÍM DÍKY NOSIČI - SIGNÁLU FYZIKÁLNÍ VELIČINA V JEJÍŽ NĚKTERÝCH PARAMETRECH JE ZAKÓDOVÁNA ZPRÁVA

INFORMACE • SDĚLÍ POZNATEK, KTERÝ MÁ SMYSL A SNIŽUJE NEJISTOTU. INFORMACI CHÁPEME SÉMANTICKY, BĚŽNĚ TENTO POJEM POUŽÍVÁME V ŘEČI, ALE LZE JI DEFINOVAT I MATEMATICKY.

ZPRÁVA JE KOMBINACÍ ZNAKŮ Z ABECEDY USPOŘÁDANÝCH PODLE PRAVIDEL TAK, ABY BYLA SROZUMITELNÁ. ZPRÁVA MŮŽE, ALE NEMUSÍ BÝT INFORMACÍ. ZPRÁVA O VELMI PRAVDĚPODOBNÉM JEVU NESE V SOBĚ TEDY MÁLO INFORMACE A NAOPAK ZPRÁVA O MÁLO PRAVDĚPODOBNÉM JEVU OBSAHUJE VELKÉ MNOŽSTVÍ INFORMACE

KDY JE INFORMACE INFORMACÍ? • INFORMACE JE OBSAŽENA VE ZPRÁVĚ JEN TEHDY, JESTLIŽE U PŘÍJEMCE (PŘIJÍMAJÍCÍHO SUBJEKTU) ODSTRAŇUJE JISTÉ NEVĚDĚNÍ, TJ. MÁ URČITÉ NÁSLEDKY NA STAV PŘÍJEMCE. MÍROU TĚCHTO NÁSLEDKŮ JE MNOŽSTVÍ PŘIJATÉ INFORMACE. • PO PŘIJETÍ ZPRÁVY JE ZMĚNA STAVU PŘÍJEMCE TÍM VĚTŠÍ, ČÍM VĚTŠÍM JE PRO NĚHO INFORMACE PŘEKVAPENÍM. S ČÍM MENŠÍ PRAVDĚPODOBNOSTÍ ZPRÁVU OČEKÁVÁ, TÍM VĚTŠÍ MNOŽSTVÍ INFORMACE PRO NĚHO ZPRÁVA PŘEDSTAVUJE. MOHL-LI PŘÍJEMCE OČEKÁVAT ZPRÁVU S JISTOTOU, NEOBSAHUJE PRO NĚJ ŽÁDNOU INFORMACI. TZN. MNOŽSTVÍ INFORMACE VE ZPRÁVĚ SE CHÁPE VŽDY RELATIVNĚ, VZHLEDEM K URČITÉMU PŘÍJEMCI A K URČITÉ SITUACI. TÍM SE LIŠÍ ZPRÁVA OD INFORMACE, NEJDE O SYNONYMA

INFORMACE A ENTROPIE • TEORIÍ INFORMACE SE ZABÝVAL AMERICKÝ FYZIK CLAUDE SHANNON (1916–2001) • SHANNONOVA DEFINICE: INFORMACE JE MÍRA MNOŽSTVÍ NEURČITOSTI NEBO NEJISTOTY O NĚJAKÉM NÁHODNÉM DĚJI ODSTRANĚNÁ REALIZACÍ TOHOTO DĚJE A ZÍSKÁNÍM VÝSLEDKŮ. • MNOŽSTVÍ INFORMACE VE ZPRÁVĚ TEDY MĚŘÍME PODLE TOHO, O KOLIK SE SNÍŽÍ NEURČITOST NEBO NEJISTOTA, KDYŽ ZPRÁVU PŘIJMEME A POCHOPÍME. • PRO TUTO NEURČITOST POUŽIL SHANNON POJEM INFORMAČNÍ ENTROPIE. (AUTOREM POJMU ENTROPIE JE L. BOLTZMANN, ENTROPIE PŘEDSTAVUJE MÍRU NEUSPOŘÁDANOSTI SYSTÉMU.) • ENTROPIE JE CHÁPÁNA JAKO MÍRA NEURČITOSTI, KTERÁ SE PO PŘIJETÍ ZPRÁVY ODSTRAŇUJE A VYJADŘUJE TAK MNOŽSTVÍ INFORMACE OBSAŽENÉ VE ZPRÁVĚ.

PŘÍKLADY ….KDY BUDE ZPRÁVA INFORMACÍ ??

DVOJÍ VÝZNAM INFORMACE SÉMANTICKÝ JAKÝ JE OBSAH ZPRÁVY SYNTAKTICKÝ JAKÁ JE FORMA ZPRÁVY TEORIE INFORMACE SE ZABÝVÁ POUZE SYNTAKTICKÝM POJETÍM A NEZAJÍMÁ JI SÉMATIKA.

REDUNDANCE MÍRA RELATIVNÍ NADBYTEČNOSTI INFORMACE POSKYTOVANÉ ZDROJEM. NADBYTEČNOST NENÍ BEZÚČELNÁ SLOUŽÍ K ZAKÓDOVÁNÍ ZPRÁVY. NAPŘ. ZDVOJENÍ ZPRÁVY, SAMOOPRAVNÉ KÓDY, PARITNÍ BITY. PŘÍKLADEM VYSOKÉ REDUNDANCE JE HOVOROVÁ ŘEČ (ASI 90 %). REDUNDANCI MUSÍME ZNOVU OBNOVIT

REDUNDANCE A IRELEVANCE VYJADŘUJÍ VŠEOBECNĚ NADBYTEČNOU INFORMACI V SIGNÁLU. TO ZNAMENÁ, ZE SIGNÁL, KTERÝ OBSAHUJE TYTO INFORMACE, SE NÁM JEVÍ STEJNĚ I PO ODSTRANĚNÍ TĚCHTO INFORMACÍ. REDUNDANTNÍ SLOŽKA TOTIŽ PŘEDSTAVUJE TU ČÁST INFORMACE, KTEROU KDYŽ ODSTRANÍME ZE SIGNÁLU, ZE ZBÝVAJÍCÍ ČÁSTI MŮŽEME REKONSTRUOVAT PŮVODNÍ SIGNÁL BEZ ZKRESLENÍ. NAPŘÍKLAD MĚJME SIGNÁL, KTERÝ JE REPREZENTOVÁN NÁSLEDUJÍCÍ SEKVENCÍ VZORKŮ S(N): S(N) = {5,5,5,5,5,5,5,5,2,2,2,2,2,2,2,2,3,3,3,3,3} TUTO SEKVENCI MŮŽEME JEDNOZNAČNĚ POPSAT I POMOCÍ KRATŠÍHO VYJÁDŘENÍ. NA ZÁKLADĚ TOHO SIGNÁL S(N) MŮŽE BÝT JEDNOZNAČNĚ VYJÁDŘEN POMOCÍ TŘÍ DVOJIC TAKTO : {5,8} {2,8} {3,5} Z TOHOTO KRATŠÍHO VYJÁDŘENÍ NA ZÁKLADĚ ZNALOSTI JEHO STRUKTURY (PRVNÍ ČÍSLO V DVOJICI ZNAMENÁ HODNOTU A DRUHÉ ČÍSLO POČET VZORKŮ) JE MOŽNÉ REKONSTRUOVAT SEKVENCI S(N), ANIŽ BYCHOM ZTRATILI NĚJAKOU INFORMACI.

IRELEVANCE IRELEVANTNÍ INFORMACE JE TA ČÁST INFORMACE, JEJÍŽ NEPŘÍTOMNOST JE NEPOSTŘEHNUTELNÁ V SIGNÁLU. SIGNÁL PŮVODNÍ A SIGNÁL S ODSTRANĚNOU IRELEVANTNÍ ČÁSTÍ SE NÁM JEVÍ STEJNĚ, I KDYŽ EXAKTNĚ STEJNÉ NEJSOU. NEPODSTATNOST IRELEVANCI UŽ OBNOVOVAT NEMUSÍME

VYSVĚTLENÍ IRELEVANCE VYTVOŘENÍ MASKOVACÍHO PRAHU – JESTLIŽE JSME S JINÝMI TÓNY POD TÍMTO PRAHEM TAK JE NESLYŠÍME – NEDOKONALOST NAŠICH ORGÁNŮ f 1 kHz IRELEVANCI UŽ OBNOVOVAT NEMUSÍME – NA PŘIJÍMACÍ STRANĚ BYCHOM JI STEJNĚ NEZAZNAMENALI NA FREKVENCI 900 kHz ZAVEDEME DALŠÍ TÓN O NĚCO SLABŠÍ – NAŠE UCHO BUDE MÍT DOJEM, ŽE DRUHÝ TÓN TAM NENÍ…

VYSVĚTLENÍ IRELEVANCE V ČASOVÉ OBLASTI MASKOVACÍ EFEKT V ČASOVÉ OBLASTI PRE MASKOVACÍ EFEKT POST MASKOVACÍ EFEKT t DOBA TRVÁNÍ TÓNU TÓN O NIŽŠÍ INTENZITĚ

KAPACITA KANÁLU • DEFINICE MAXIMÁLNÍ MNOŽSTVÍ INFORMACE, KTERÉ JE MOŽNO PŘENÉST ZA ČASOVOU JEDNOTKU. Z DEFINICE PLYNE, ŽE POJMU INFORMACE MUSÍME DÁT NĚJAKÝ KVANTITATIVNÍ SMYSL

PROBLÉM • CO KDYŽ SE NEDAŘÍ PŘENÉST ZPRÁVY ZE ZDROJE SE ZNÁMOU KAPACITOU ? JE CHYBA V KAPACITĚ KANÁLU NEBO V KÓDOVÁNÍ ? JE TŘEBA OHODNOTIT INFORMAČNÍ VYDATNOST ZDROJE A TO DĚLÁME POMOCÍ POJMU ENTROPIE.

ENTROPIE NEURČITOST, NEJISTOTA, NEUSPOŘÁDANOST, STŘEDNÍ HODNOTA MÍRY INFORMACE POTŘEBNÉ K ODSTRANĚNÍ NEURČITOSTI, KTERÁ JE DÁNA KONEČNÝM POČTEM VZÁJEMNĚ SE VYLUČUJÍCÍCH JEVŮ. INFORMACE DEFINOVÁNA POMOCÍ ENTROPIE – MÍRA URČITOSTI.

PŘÍKLADY PRO VYSVĚTLENÍ ENTROPIE • ENTROPIE URČITÉHO SYSTÉMU VYJADŘUJE MÍRU JEHO NEUSPOŘÁDANOSTI. PODLE NAŠÍ KAŽDODENNÍ ZKUŠENOSTI MÁ TATO NEUSPOŘÁDANOST STÁLÝ SKLON NARŮSTAT, PONECHÁME-LI VĚCI SAMI O SOBĚ. K TOMU ABYCHOM SE O TOM PŘESVĚDČILI, STAČÍ KDYŽ NA CHVÍLI PŘESTANEME OPRAVOVAT DŮM. NEPOŘÁDEK MŮŽEME ZMĚNIT NA POŘÁDEK (TŘEBA TÍM, ŽE VYMALUJEME), ALE VYŽADUJE TO VYNALOŽIT URČITÉ ÚSILÍ A ENERGII. TYTO MYŠLENKY JSOU PŘESNĚ FORMULOVÁNY VE DRUHÉ VĚTĚ TERMODYNAMICKÉ.

PŘÍKLADY PRO VYSVĚTLENÍ ENTROPIE • VE DRUHÉ VĚTĚ TERMODYNAMICKÉ SE ŘÍKÁ, ŽE ENTROPIE IZOLOVANÉHO SYSTÉMU NIKDY NEKLESÁ A ENTROPIE SYSTÉMU, KTERÝ VZNIKL SPOJENÍM DVOU JINÝCH SYSTÉMŮ, PŘEVYŠUJE SOUČET ENTROPIÍ JEDNOTLIVÝCH ČÁSTÍ. NAPŘ. SYSTÉM MOLEKUL PLYNU UZAVŘENÝCH V KRABICI.

ENTROPIE VERSUS ŠÁLEK • CHOVÁNÍ ŠÁLKŮ I VŠEHO OSTATNÍHO V NAŠEM SVĚTĚ SE OBVYKLE VYSVĚTLUJE TÍM, ŽE SAMOVOLNÉ SPOJOVÁNÍ ROZBITÝCH HRNEČKŮ JE V ROZPORU S DRUHOU VĚTOU TERMODYNAMICKOU. PODLE NÍ V KAŽDÉM UZAVŘENÉM SYSTÉMU NEUSPOŘÁDANOST ČI ENTROPIE S ČASEM VŽDY VZRŮSTÁ. JDE O JISTOU MODIFIKACI MURPHYHO ZÁKONA, ŽE VĚCI TVRDOŠÍJNĚ SPĚJÍ K HORŠÍMU KONCI. NEPORUŠENÝ ŠÁLEK NA STOLE PŘEDSTAVUJE VYSOCE USPOŘÁDANÝ STAV, ALE KDYŽ LEŽÍ ROZTŘÍŠTĚNÝ NA ZEMI , JE TO STAV NEUSPOŘÁDANÝ

PŘÍKLAD 1 • MÁME 27 KULIČEK Z NICHŽ 1 JE TĚŽŠÍ. MÁME DVOURAMENNÉ VÁHY BEZ ZÁVAŽÍ. KOLIK VÁŽENÍ BUDE TŘEBA K URČENÍ TĚŽŠÍ KULIČKY ? • ŘEŠENÍ ….ENTROPIE ZÁKLADNÍHO POKUSU…….

PŘÍKLAD 2 • VE TŘÍDĚ JE 32 ŽÁKŮ Z NICHŽ JEDEN MÁ NAROZENINY. JAKÝM MINIMÁLNÍM POČTEM OTÁZEK, NA KTERÉ MŮŽEME DOSTAT JEN ODPOVĚĎ ANO/NE ZJISTÍME, KTERÝ ŽÁK TO JE ?

SMĚŠNÝMI 33 BITY LZE JEDNOZNAČNĚ IDENTIFIKOVAT VŠECHNY LIDI NA ZEMI.

SHANNONOVA VĚTA • KDYŽ JE ENTROPIE ZDROJE MENŠÍ, NEŽ KAPACITA KANÁLU, VŽDY EXISTUJE KÓD, KTERÝ UMOŽNÍ PŘENÉST ZPRÁVY ZE ZDROJE PŘES KANÁL A TO S DOSTATEČNOU PŘESNOSTÍ BEZ ZDRŽENÍ. CLAUDE ELWOOD SHANNON

OBRÁCENÁ SHONNONOVA VĚTA • KDYŽ ENTROPIE ZDROJE PŘEVYŠUJE KAPACITU KANÁLU, JE PŘESNÝ PŘENOS PŘES KANÁL BEZ ZDRŽENÍ NEMOŽNÝ

KVANTIFIKACE INFORMACE JAK POPSAT MNOŽSTVÍ INFORMACE VE ZPRÁVĚ ? JAKO POSLOUPNOS DOVOLENÝCH STAVŮ. V ABSTRAKTNÍM POJETÍ JE SIGNÁL MNOŽINOU PO SOBĚ JDOUCÍCH POVOLENÝCH STAVŮ (RESP. KOMBINACE STAVŮ) DANÉ FYZIKÁLNÍ VELIČINY.

KONKRETIZACE VARIACE S OPAKOVÁNÍM KDYŽ MÁME NAPŘ. 3 PRVKY 1,2,x, MŮŽEME Z NICH TVOŘIT SKUPINY TAK, ŽE PŘIPUSTÍME, ABY SE KAŽDÝ PRVEK V KAŽDÉ SKUPINĚ OPAKOVAL LIBOVOLNĚKRÁT. KDYŽ PŘITOM BEREME ZŘETEL NA POŘÁDEK, VE KTERÉM JSOU SESTAVENÉ PRVKY V JEDNOTLIVÝCH SKUPINÁCH, HOVOŘÍME O VARIACÍCH S OPAKOVÁNÍM. Vk(n) = nk

PŘÍKLAD 1 MÁME 3 PRVKY CHCEME JE USPOŘÁDAT DO SKUPIN PO DVOU. KOLIK SKUPIN (VARIACÍ S OPAKOVÁNÍM) MŮŽEME SESTAVIT ? V2(3)=32

PŘÍKLAD Z TEORIE INFORMACEKVANTIFIKACE INFORMACE SIGNÁL JE SLOŽEN Z n KÓDOVÝCH SLOV „N“ INFORMAČNÍCH PRVKŮ (PRO N=2 HOVOŘÍME O BINÁRNÍ ABECEDĚ) Nk= POČET POVOLENÝCH KÓDOVÝCH SLOV NZ = POČET NAVZÁJEM RŮZNÝCH ZPRÁV, KTERÉ JE MOŽNÉ SIGNÁLEM VYJÁDŘIT. NZ= NKn

PŘÍKLAD 2 TELEGRAM VYUŽÍVÁ 32-PRVKOVOU ABECEDU (N=32), KOLIK LZE SESTAVIT RŮZNÝCH TELEGRAMŮ O DÉLCE 50 ZNAKŮ (n=50). NZ=3250 Z HLEDISKA SÉMANTICKÉHO, KTERÉ JE TEORIÍ INFORMACÍ IGNOROVÁNO, JE VŠAK VĚTŠINA Z TĚCHTO TELEGRAMŮ NESMYSLNÝCH.

SAMOSTATNÝ ÚKOL 1 KOLIK JE MOŽNÉ VYTVOŘIT RŮZNÝCH ZVUKOVÝCH KLIPŮ O PARAMETRECH KLIPU „ ZVUK MICROSOFT.WAV“. DÉLKA ZÁZNAMU 7,859 s, ZVUKOVÝ FORMÁT PCM , VZORKOVACÍ KMITOČET 22050 Hz KVANTOVÁNÍ NA 16 BITŮ.

ŘEŠENÍ N = 2 POČET INFORMAČNÍCH PRVKŮ NK=16 POČET POVOLENÝCH KÓDOVÝCH SLOV n = 7,859*22050= 173291 POČET KÓDOVÝCH SLOV(POČET VZORKŮ) NZ=(216)173291=10834652 V TOMTO POČTU JSOU KROMĚ ZNĚLKY WINDOWS ZAHRNUTY VŠECHNY MOŽNÉ SEGMENTY DANÉ DÉLKY VŠECH EXISTUJÍCÍCH HUDEBNÍCH NAHRÁVEK, I TĚCH KTERÉ TEPRVE BUDOU VYMYŠLENY..

SAMOSTATNÝ ÚKOL 2 ODHADNĚTE POČET RŮZNÝCH PŮLMINUTOVÝCH TELEFONNÍCH HOVORŮ. PŘEDPOKLÁDEJTE, ŽE TELEFONNÍ SIGNÁL JE KMITOČTOVĚ OMEZEN DO FM=3,4 kHz A PŘENÁŠEN TECHNIKOU PCM, TJ. VZORKOVÁN 8000 KRÁT ZA SEKUNDU, PŘIČEMŽ KAŽDÝ VZOREK JE KVANTOVÁN 8 BITY.

ŘEŠENÍ 2 N = 2 NK=28 = 256 n = 30*8000=240000 NZ=256240000 RŮZNÝCH TELEFONNÍCH HOVORŮ

MĚŘENÍ MNOŽSTVÍ INFORMACE • MNOŽSTVÍ INFORMACE OBSAŽENÉ VE ZPRÁVĚ TEDY MĚŘÍME MNOŽSTVÍM ODSTRANĚNÉ NEURČITOSTI (ENTROPIE). • VELIKOST NEURČITOSTI (ENTROPIE) MŮŽEME SPOČÍTAT POMOCÍ NÁSLEDUJÍCÍHO VZORCE: KDE S JE POČET MOŽNOSTÍ (VARIANT) A P(XI) JE PRAVDĚPODOBNOST VÝSKYTU I-TÉ VARIANTY (100 % = 1).

PŘÍKLAD • POČÁTEČNÍ SITUACE: SOUTĚŽÍCÍ V TELEVIZNÍ SOUTĚŽI MÁ NA VÝBĚR ZE ČTYŘ ODPOVĚDÍ NA ZADANOU OTÁZKU. SPRÁVNOU ODPOVĚĎ VŠAK NEZNÁ A DOKONCE ANI ŽÁDNOU VARIANTU NEPREFERUJE. • NEJISTOTA SOUTĚŽÍCÍHO V ZADANÉ OTÁZCE: SPRÁVNÁ ODPOVĚĎ MŮŽE BÝT SE STEJNOU PRAVDĚPODOBNOSTÍ (P(XI) = 0,25) KTERÁKOLIV ZE ČTYŘ NABÍDNUTÝCH. • HODNOTA INFORMAČNÍ ENTROPIE SOUTĚŽÍCÍHO:

PŘÍKLAD • NÁSLEDUJÍCÍ SITUACE: SOUTĚŽÍCÍ POŽÁDÁ O NÁPOVĚDU „50 NA 50“, TAKŽE MU ZBUDOU NA VÝBĚR 2 VARIANTY. • NEJISTOTA SOUTĚŽÍCÍHO V TÉTO SITUACI: SPRÁVNÁ ODPOVĚĎ MŮŽE BÝT SE STEJNOU PRAVDĚPODOBNOSTÍ (P(XI) = 0,5) KTERÁKOLIV ZE DVOU ZBÝVAJÍCÍCH. • HODNOTA INFORMAČNÍ ENTROPIE SOUTĚŽÍCÍHO: • POTÉ, CO SE DOZVÍ SPRÁVNOU ODPOVĚĎ, KLESÁ HODNOTA NEURČITOSTI NA NULU.

ENTROPIE – ZJEDNODUŠENÝ VZOREC • ENTROPIE NABÝVÁ NEJVYŠŠÍ HODNOTY PŘI STEJNÉ PRAVDĚPODOBNOSTI VÝSKYTU PRVKŮ XI. POTOM PLATÍ: • NEJMENŠÍ JEDNOTKA MÍRY INFORMACE = NEURČITOST REALIZACE JEVU, KTERÝ MÁ JEN DVĚ MOŽNOSTI = 1 BIT (1 B).

MNOŽSTVÍ INFORMACE JEDNOTKOVÉ MNOŽSTVÍ INFORMACE JE 1 SHANNON SE ZKRATKOU Sh PRŮMĚRNÉ MNOŽSTVÍ INFORMACE PŘIPADAJÍCÍ NA JEDEN PRVEK ZPRÁVY (TZV. ENTROPIE) JE DÁNO VZTAHEM H = LOG2S S = POČET PRVKŮ ABECEDY ZDROJE Z NICHŽ KAŽDÝ MA STEJNOU PRAVDĚPODOBNOST VÝSKYTU.

LITERATURA • Biolek, D.: Datová komunikace- přednášky 2000 – 2002. • Němec, K.: Datová komunikace. Skriptum VUT, VUTIUM 2000. • http://www.elektrorevue.cz/clanky/00009/ • Doc.Ing. Václav Žalud. CSc, Přednáška z předmětu „Mobilní komunikace“ (4.3.2005)

OTÁZKY K OPAKOVÁNÍ • DO JAKÝCH SKUPIN SE DĚLÍ TEORIE INFORMACE • VYSVĚTLETE PROCES PŘENOSU INFORMACE OD ZDROJE K PŘÍJEMCI. • CO JE TO INFORMACE. CO JE TO ZPRÁVA. • VYSVĚTLETE DVOJÍ VÝZNAM INFORMACE. • CO JE TO REDUNDANCE. • CO JE TO KAPACITA KANÁLU • VYSVĚTLETE POJEM ENTROPIE VE VZTAHU K TEORII INFORMACE. • SHANNONOVA VĚTA VE VZTAHU K ENTROPII. • CO JE TO KVANTIFIKACE INFORMACE. • VARIACE S OPAKOVÁNÍM + PŘÍKLADY

TEORIE INFORMACE