Információelmélet

Információelmélet 1. Előadás Dr. Nagy Szilvia Széchenyi István Egyetem Győr, 2006 tavaszi félév

Az információelmélet kezdetei • Már az ősember is… • Boltzmann és az entrópia • R. V. L. Hartley információdefiníciója • C. E. Shannon általánosabb információdefiníciója, entrópia

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Esemény: sokszor végrehajtható kísérlet eredménye.Kísérlet, ill. kimenetel lehet például: • Egy dobozból golyókat veszünk ki, és vizsgáljuk a színüket. Esemény, hogy piros, zöld, lila, … golyót találtunk. • Fej vagy írást játszunk egy érmével. Esemény: a fej vagy az írás oldal van felül. • Minden kedden reggel 7 és 8 óra között vizsgáljuk egy buszmegállóban a megálló buszok számát.Esemény: 0 busz állt meg, 1, 2, … busz állt meg. • Egy hírközlési csatornára bocsátunk egy bizonyos jelet és vizsgáljuk a kimeneti jelet.Esemény: a vett jel azonos a leadottal, a vett jel amplitúdója azonos a leadottéval, de a frekvenciája kétszeres, …

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Az A eseményellentett eseményea kísérlet minden A-n kívüli kimenetele. Jelölés: A. Egy A esemény valószínűsége: nagyon sokszor elvégezve a kísérletet azon kísérletek száma, amikor A bekövetkezikaz összes kísérlet száma A valószínűség jellemzői: • 1 ≥ p(A) ≥ 0, az 1 valószínűségű esemény biztosan bekövetkezik, a 0 valószínűségű sohasem következik be. • p(A)+p(A) = 1. p(A) =

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy dobozban 15 sárga, 6 lila, 42 fehér és 11 kék golyó van. Mi a valószínűsége, hogy ha egyetlen golyót veszünk ki a dobozból (nem odanézve), akkor az • kék lesz: • sárga lesz: • nem sárga lesz: • kék vagy lila lesz: • piros lesz:

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy A és egy B esemény szorzatán azt értjük, ha A és B is bekö-vetkezik. A és Begyüttes bekövetkezésivalószínűsége: p(A∙B ). Egy A és egy B esemény összege az, ha vagy A, vagy B (vagy mind-kettő) bekövetkezik. Valószínűsége: p(A+B ). Az A és B események függetlenek, ha semmiféle befolyással nincs A-nak a bekövetkezése a B bekövetkezésére. Ekkor p(A∙B )= p(A ) ∙ p(B ). Egyéb esetekben p(A∙B )≠ p(A) ∙ p(B ), csak azt lehet tudni, hogyp(A+B ) = p(A) + p(B) – p(A∙B ), és p(A∙B ) ≤ p(A ) ∙ p(B ).

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy dobozban 15 sárga, 6 lila, 42 fehér és 11 kék golyó van. Mi a valószínűsége, hogy ha két golyót veszünk ki a dobozból (nem odanézve), akkor • az 1. kék lesz, a 2. fehér: • mindkettő sárga lesz: • valamelyik sárga lesz: • egyik sem lesz sárga:

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy hírközlési csatorna bemenetén és kimenetén megjelenő jelek nem függetlenek egymástól. Ha B jelet vettünk akkor annak a valószínűsége, hogy A jel volt a csatorna bemenetén:A-nak B feltétel melletti feltételes valószínűsége Az is érdekes, hogy ha A jelet adok, milyen B kerül a csatorna kimenetére, ez B-nek A feltétel melletti feltételes valószínűségével, p(B|A)-val írható le. A kölcsönös és feltételes valószínűségek között fennáll: p(A∙B )=p(B ) ∙ p(A|B)= p(A ) ∙ p(B|A)

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy dobozban 15 sárga, 6 lila, 42 fehér és 11 kék golyó van. Mi a feltételes valószínűsége annak, hogy ha az első kihúzott golyó kék volt, akkor a második • fehér: • kék: • nem kék: • Mi annak a feltételes valószínűsége, hogy az első kék volt, ha a második kék:

Matematikai kitérő – A valószínűségszámítás alapfogalmairól Ha az eseményekhez számértékek rendelhetők, (pl. árammérés), akkor kíváncsiak lehetünk a kísérlet eredményének várható értékére. Legyen A={A1, A2, … An } számhalmaz a kísérlet kimenetének értékkészlete, az A1 kimenet valószínűsége p(A1), … az An-é p(An). Ekkor A várható értéke Az is érdekelhet minket, hogy átlagosan mennyire fog eltérni az eredmény a várhatóértéktől, ezt a szórással jellemezhetjük:

Az információ Az információ valamely véges számú, előre ismert esemény közül annak megnevezése, hogy melyik következett be.Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszűntet. Hartley: m számú, azonos valószínűségű esemény közül egy megnevezésével nyert információ: I=log2 m .(log2m kérdéssel azonosítható egy elem) Shannon: minél váratlanabb egy esemény, bekövetkezése annál több információt jelent. Legyen A={A1, A2, … Am } eseményhalmaz, az A1 esemény valószínűsége p1, … az Am-é pm. Ekkor az Ai megnevezésekor nyert információ: Megjegyzés: ha pi=1/m, minden m-re, visszakapjuk Hartley definícióját.

Az információ Az információ tulajdonságai: • Csak az esemény valószínűségének függvénye. • Nem negatív: I ≥ 0 • Additív: ha m = m1∙m2, I(m1∙m2) = I(m1) + I(m2) • Monoton: ha pi ≥ pj , akkor I(Ai ) ≤ I(Aj ) • Normálás: legyen I(A)=1, ha p(A)=0,5. Ekkor kettes alapú logaritmus használandó és az információegysége a bit. Megjegyzés: ha tízes alapú logaritmust (lg-t) használunk, a hartley, az egység. Ekkor a normálás: I(p=0,1)=1. Ha természetes alapú logaritmussal definiáljuk az információt (I=−ln p), akkor a natban mérjük az információt, a normálás pedig I(p=1/e)=1.

Az információ A forrásunk a következő üzenetet adta le: „ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncdcccdcddcdccccnnn” (21 db „c”, 22 db „n”, 17 db „d”)mekkora az információtartalma a „c” szimbólum kibocsátásának? p(c)=21/(21+22+17)=21/60=0,35 I(c) = − log2 0,35 = −ln 0,35/ln 2 = 1,51 A forrásunk a , , , ,  szimbólumokat bocsátja ki p=0,12, p=0,37, p=0,06, p=0,21, p=0,24 valószínűséggel. Mi az információtartalma annak a közlésnek, hogy a jelet adta? I() = − log2 0,37 = − ln 0,37/ln 2 = 1,43

Az entrópia Az entrópia az információ várható értéke: Az entrópia tulajdonképpen annak a kijelentésnek az információtartalma, hogy az m db egymást kizáró esemény közül az egyik bekövetkezett. A p log2 p kifejezés p=0 esetén: L’Hospital-szabály szerint

Az entrópia Az entrópia tulajdonságai: • Nem negatív: H( p1, p2,…, pm) ≥ 0 • Az események valószínűségeinek folytonos függvénye. • H( p1, p2,…, pm, 0 ) = H( p1, p2,…, pm) • Ha pi = 1, a többi pk = 0 , ( k=1, …, i−1, i+1 ,…, m ), akkor H( p1, p2,…, pm) =0. • H( p1, p2,…, pm) ≤ H( 1/m,1/m, … 1/m ) • H( p1, …, pk−1, pℓ , pk+1, …, pℓ−1, pk , pℓ+1,…, pm) = = H( p1, p2,…, pm),  k, ℓ ; azaz az entrópia szimmetrikus változóinak cseréjére.

Az entrópia A forrásunk a következő üzenetet adta le: „ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncdcccdcddcdccccnnn” (21 db „c”, 22 db „n”, 17 db „d”)Mekkora az üzenet entrópiája?p(c)=21/60=0,35 p(n)=22/60=0,37p(d)=17/60=0,28 H(c) = −0,35 log2 0,35 = −0,35 ∙(ln 0,35/ln 2) = = −0,35∙(−1,51) = 0,53H(n) = −0,37 log2 0,37 = −0,37 ∙(ln 0,37/ln 2) = = −0,37∙(−1,43) = 0,53H(d) = −0,28 log2 0,28 = −0,28 ∙(ln 0,28/ln 2) = = −0,28∙(−1,84) = 0,51

Az entrópia A forrásunk a , , , ,  szimbólumokat bocsátja ki p=0,12, p=0,37, p=0,06, p=0,21, p=0,24 valószínűséggel. Mennyi az entrópia? H(, , , ,  ) = −0,12 log2 0,12 −0,37 log2 0,37 − − 0,06 log2 0,06 −0,21 log2 0,21 −0,24 log2 0,24 = = 0,37+0,53+0,24+0,47+0,49 = 2,1

A kölcsönös entrópia Legyen A={A1, …, Am1} a lehetséges leadott jelek halmaza, B={B1, …, Bm2} pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. Ai és Bjegyüttes bekövetkezési valószínűsége pi,j = p(Ai ∙ Bj ), a két esemény együttes bekövetkezésekor nyert információ I(Ai ∙ Bj )=−log2p(Ai ∙ Bj )=−log2pi,j . Mindig igaz a kölcsönös információra, hogy I(Ai ∙ Bj )≥ I(Ai ), és I(Ai ∙ Bj )≥ I(Bj ). A és B halmazok kölcsönös entrópiája:

A feltételes entrópia Legyen A={A1, …, Am1} a lehetséges leadott jelek halmaza, B={B1, …, Bm2} pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. Ai-nek Bj-re vonatkoztatott feltételes valószínűségep(Ai | Bj ). Az A halmaz B halmazra vonatkoztatott feltételes entrópiája: Mivel p(Ai∙Bj)=p(Bj) ∙ p(Ai|Bj ) minden i-re és j-re, H(A ∙ B )= H(B) ∙ H(A|B )= H(A) ∙ H(B|A ). ÍgyH(A) ≥ H(A∙B) ≥ 0

mintavételezés, kvantálás, forráskódolás tényleges forrás Lehet folytonos jel A forrás jelét diszkrétjellé alakítja át és tömöríti Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. forrás/adó kódoló csatorna dekódoló nyelő/vevő

Csatornakódolás avagy hibajavító kódolás:lehetővé teszi a zajos csatornán való biztonságos(abb) üzenetátvitelt, a keletkező hibák jelzését kijavítását. (Esetleg a modulátor is ide sorolható.) Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. forrás/adó kódoló csatorna dekódoló nyelő/vevő

demodulátor, döntő modulátor csatorna Átalakítja a kódolt üzenetet a csatornán átvihető jellé. Eldönti, hogy a lehetséges leadott jelalakok közül melyiket adhatták. torzul a jel Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. forrás/adó kódoló csatorna dekódoló nyelő/vevő

Kijavítja és/vagy jelzi a vett jelek hibáit. Elvégzi a csatornakódolás inverz műveletét. Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. forrás/adó kódoló csatorna dekódoló nyelő/vevő

a forráskódolás inverze vevő értelmezi az üzenetet a helyreállított üzenetet „kitömöríti” Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. forrás/adó kódoló csatorna dekódoló nyelő/vevő

Forráskódolás A következőkben olyan forrásokkal fogunk foglalkozni, amelyek kimenetén véges sok elemből álló A ={A1, …, An } halmaz elemei jelenhetnek meg. Az A halmazt ekkor forrásábécének nevezzük. Az A elemeiből képezett véges A(1)A(2)A(3) … A(m) sorozatok az üzenetek. (m tetszőleges természetes szám) A lehetséges üzenetek halmaza A. A kódolt üzenetek egy B ={B1, …, Bs } szintén véges halmaz elemeiből épülnek fel, B a kódábécé. A B elemeiból álló véges hosszúságú B(1)B(2)B(3) … B(m) sorozatok a kódszavak. A lehetséges kódszavak halmaza B.

Forráskódolás: egyértelműen dekódolható kódok Az illetve függvényeket (forrás)kódoknak nevezzük. Az f leképezés a forrás egy-egy szimbólumához rendel egy-egy kódszót, az F ennél általánosabb. Egy f forráskód egyértelműen dekódolható, ha minden egyes B-beli sorozatot csak egyféle A-beli sorozatból állít elő. (A neki megfeleltethető F invertálható. Az nem elég, hogy f invertálható.) Az állandó kódszóhosszú kódok egyértelműen dekódolhatók, megfejthetők, de nem elég gazdaságosak. Egy f betűnkénti kód prefix, ha a lehetséges kódszavak közül egyik sem áll elő egy másik folytatásaként.

Forráskódolás: a források jellemzése,forrásentrópia Vizsgáljuk a forrás egymást követő N szimbólumkibocsátását: az A(1), A(2), …, A(N) sorozatot. A forrás emlékezet nélküli, ha A(i) független A(i−1)-től,  i. A forrás stacioner, ha A(i)  A  i , és p( A(i) = Aj ) = pj ,  i, j. Az A forrás forrásentrópiája: Nem keverendő -vel, a forrásábécé entrópiájával.

Forráskódolás: a kódszavak átlagos hossza Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B-beli sorozat, azaz kódszó hosszaℓi . Egy f kód átlagos szóhosszaℓi várható értéke:

Forráskódolás: a McMillan-egyenlőtlenség Minden egyértelműen dekódolható kódra igaz, hogy ahol s a kódábécé elemszáma n pedig a forrásábécéé.

Forráskódolás: a Kraft-egyenlőtlenség Legyen ℓ1, ℓ2, …, ℓn N, s >1 egész, és legyen rájuk érvényes, hogy Ekkor létezik olyan prefix kód, amelynek kódábécéje s elemű, és az n elemű forrásábécé A1, A2, …, An elemeihez rendelt kódszavak hossza rendre ℓ1, ℓ2, …, ℓn .

Forráskódolás: a kódszavak átlagos hosszáról szóló tétel Minden egyértelműen dekódolható kódra Bizonyítás: A Jensen-egyenlőtlenség egy következménye, hogy ha pi ≥ 0, qi > 0, és

Forráskódolás: a kódszavak átlagos hosszáról szóló tétel Független i-től, állandó McMillan: ≤ 1

Forráskódolás: a kódszavak átlagos hosszáról szóló II tétel Létezik olyan prefix kód, melyre Bizonyítás: Legyenek ℓ1, ℓ2, …, ℓn pozitív egész számok, melyekre

Forráskódolás: Shannon első tétele Minden A={A1, A2, …, An} véges forrásábécéjű forráshoz található olyan s elemű kódábécével rendelkező kód, amely az egyes forrásszimbólumokhoz rendre ℓ1, ℓ2, …, ℓn szóhosszúságú kódszavakat rendel, és Az olyan kódok, amelyekre ez teljesül az optimális kódok.

Információelmélet 2. Előadás Dr. Nagy Szilvia Széchenyi István Egyetem Győr, 2006 tavaszi félév

Forráskódolás A következőkben olyan forrásokkal fogunk foglalkozni, amelyek kimenetén véges sok elemből álló A ={A1, …, An } halmaz elemei jelenhetnek meg. Az A halmazt ekkor forrásábécének nevezzük. Az A elemeiből képezett véges A(1)A(2)A(3) … A(m) sorozatok az üzenetek. (m tetszőleges természetes szám) A lehetséges üzenetek halmaza A. A kódolt üzenetek egy B ={B1, …, Bs } szintén véges halmaz elemeiből épülnek fel, B a kódábécé. A B elemeiból álló véges hosszúságú B(1)B(2)B(3) … B(m) sorozatok a kódszavak. A lehetséges kódszavak halmaza B.

Forráskódolás: egyértelműen dekódolható kódok Az illetve függvényeket (forrás)kódoknak nevezzük. Az f leképezés a forrásábécé egy-egy betűjéhez rendel egy-egy kódszót. Egy f forráskód egyértelműen dekódolható, ha minden egyes B-beli sorozatot csak egyféle A-beli sorozatból állít elő. Az állandó kódszóhosszú kódok egyértelműen dekódolhatók, de nem elég gazdaságosak.Ha a gyakrabban előforduló Ai kódábécébeli elemhez rövidebb kódszót rendelünk, mint a ritkább Aj-hez, akkor már tömörítettük az üzenetet. Egy f betűnkénti kód prefix, ha a lehetséges kódszavak közül egyik sem áll elő egy másik folytatásaként.

Forráskódolás: a kódszavak hossza Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B-beli sorozat, azaz kódszó hosszaℓi . A jó tömörítő eljárásokra tehát igaz, hogy ha pi ≥ pj , akkor ℓi ≤ℓi . Ha az fbináris kód prefix, akkor a leggyakoribb forrásábécébeli elemhez fog a legrövidebb kódszó tartozni, a második leggyakoribbhoz eggyel hosszabb kódszó, …a két legritkábban előforduló betűhöz pedig azonosan hosszú kódszó fog tartozni, és csak az utolsó karakterben fog e két szó különbözni.

Forráskódolás: Huffman-kód A legrövidebb átlagos szóhosszú bináris prefix kód. • Valószínűségek szerint sorba rendez • A két legkisebb valószínűségű szimbólumot összevonja. Az összevont szimbólum valószínűsége a két eredeti szimbólum valószínűségének összege. • Az (1-)2. lépést addig ismétli, amíg egyetlen, 1 valószínűségű összevont szimbólumot nem kap. • A kapott gráf minden csomópontja előtti két élt megcímkézi 0-val és 1-gyel. • A kódfa gyökerétől elindulva megkeresi az adott szimbólumhoz tartozó útvonalat, kiolvassa az éleknek megfelelő biteket. A kapott bitsorozatot rendeli a szimbólumhoz kódszóként.

Forráskódolás: Huffman-kód Legyen a forrásábécé A={A1, A2, A3, A4, A5, A6, A7}, elemeinek előfordulási valószínűsége rendre p1=0,17, p2=0,26, p3=0,07, p4=0,21, p5=0,10, p6=0,08 és p7=0,11.

Forráskódolás: Huffman-kód Legyen a forrásábécé A={A1, A2, A3, A4, A5, A6, A7}, elemeinek előfordulási valószínűsége rendre p1=0,17, p2=0,26, p3=0,07, p4=0,21, p5=0,10, p6=0,08 és p7=0,11. A 0 és 1 címkézése válastható, elágazásomként felcserélhető.

Forráskódolás: Huffman-kód Legyen a forrásábécé A={A1, A2, A3, A4, A5, A6, A7}, elemeinek előfordulási valószínűsége rendre p1=0,17, p2=0,26, p3=0,07, p4=0,21, p5=0,10, p6=0,08 és p7=0,11. Az átlagos kódszóhossz:

Forráskódolás: Huffman-kód Legyen a forrásábécé A={A1, A2, A3, A4, A5, A6, A7}, elemeinek előfordulási valószínűsége rendre p1=0,17, p2=0,26, p3=0,07, p4=0,21, p5=0,10, p6=0,08 és p7=0,11. A kódhoz tartozó egyszerűsített bináris fa: A kiolvasás iránya

Forráskódolás: Huffman-kód Legyen a forrásábécé A={A1, A2, A3, A4, A5, A6, A7}, elemeinek előfordulási valószínűsége rendre p1=0,17, p2=0,26, p3=0,07, p4=0,21, p5=0,10, p6=0,08 és p7=0,11. A kiolvasás iránya

Forráskódolás: Huffman-kód Legyen a forrásábécé A={,,,,,}, elemeinek előfordulási valószínűsége rendre p () =0,10, p () =0,05, p () =0,12, p () =0,25, p () =0,40 és p () =0,08 .

      Forráskódolás: Huffman-kód Legyen a forrásábécé A={,,,,,}, elemeinek előfordulási valószínűsége rendre p () =0,10, p () =0,05, p () =0,12, p () =0,25, p () =0,40 és p () =0,08 . A kiolvasás iránya

      Forráskódolás: Huffman-kód Legyen a forrásábécé A={,,,,,}, elemeinek előfordulási valószínűsége rendre p () =0,10, p () =0,05, p () =0,12, p () =0,25, p () =0,40 és p () =0,08 . Az átlagos kódszóhossz: A kiolvasás iránya

Információelmélet