Információelmélet

1. Információelmélet Nagy Szilvia 1. Az információelmélet alapfogalmai 2. A forráskódolás elmélete 3. Forráskódolási módszerek 2005.

2. Információelmélet - Az információelmélet alapfogalmai Az információelmélet kezdetei • Állatvilágról • Emberi információcsere fontosabb lépései • közvetlen információcsere • távoli személyek közti információcsere • gépekkel való hírközlés • gépek által generált adatforgalom • Az információelmélet kezdetei, Hartley, Shannon Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

3. Információelmélet - Az információelmélet alapfogalmai Az információelmélet kezdetei Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

4. Információelmélet - Az információelmélet alapfogalmai Az információelmélet kezdetei • Állatvilágról • Emberi információcsere fontosabb lépései • közvetlen információcsere • távoli személyek közti információcsere • gépekkel való hírközlés • gépek által generált adatforgalom • Az információelmélet kezdetei, Hartley, Shannon • Az információelmélet a gyakorlatban Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

5. forrás/adó kódoló dekódoló vevő/nyelő csatorna mintavételezés kvantálás forráskódolás tényleges forrás A forrás jelét diszkrétjellé alakítja át és tömöríti Lehet folytonos jel Információelmélet Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

6. forrás/adó kódoló dekódoló vevő/nyelő csatorna Csatornakódolás avagy hibajavító kódolás:lehetővé teszi a zajos csatornán való biztonságos(abb) üzenetátvitelt, a keletkező hibák jelzését kijavítását. Információelmélet Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

7. forrás/adó kódoló dekódoló vevő/nyelő csatorna demodulátor, döntő modulátor csatorna Átalakítja a kódolt üzenetet a csatornán átvihető jellé. Eldönti, hogy a lehetséges leadott jelalakok közül melyiket adhatták. torzul a jel Információelmélet Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

8. forrás/adó kódoló dekódoló vevő/nyelő csatorna Kijavítja és/vagy jelzi a vett jelek hibáit. Elvégzi a csatornakódolás inverz műveletét. Információelmélet Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

9. forrás/adó kódoló dekódoló vevő/nyelő csatorna a forráskódolás inverze vevő értelmezi az üzenetet a helyreállított üzenetet „kitömöríti” Információelmélet Információelmélet - Az információelmélet alapfogalmai Shannon hírközlési modellje A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

10. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Esemény: sokszor végrehajtható kísérlet eredménye. Kísérlet, ill. kimenetel lehet például: • Egy dobozból golyókat veszünk ki, és vizsgáljuk a színüket. Esemény, hogy piros, zöld, lila, … golyót találtunk. • Fej vagy írást játszunk egy érmével. Esemény: a fej vagy az írás oldal van felül. • Minden kedden reggel 7 és 8 óra között vizsgáljuk egy buszmegállóban a megálló buszok számát.Esemény: 0 busz állt meg, 1, 2, … busz állt meg. • Egy hírközlési csatornára bocsátunk egy bizonyos jelet és vizsgáljuk a kimeneti jelet.Esemény: a vett jel azonos a leadottal, a vett jel amplitúdója azonos a leadottéval, de a frekvenciája kétszeres, … Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

11. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Az A eseményellentett eseményea kísérlet minden A-n kívüli kimenetele. Jelölés: A. Egy A esemény valószínűsége: nagyon sokszor elvégezve a kísérletet A valószínűség jellemzői: • 1 ≥ p(A) ≥ 0, az 1 valószínűségű esemény biztosan bekövetkezik, a 0 valószínűségű sohasem következik be. • p(A)+p(A) = 1. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

12. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól A Kolmogorov-féle valószínűségi axiómákról:Eseménytér: Az elemi események összessége: W; a teljes eseményEsemények halmaza: SLehetetlen esemény: O. Az S halmaz akkor és csak akkor s-algebra, ha • WS és OS, • ha AiS i-re, akkor • ha A1S és A2S, akkor Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

13. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól A Kolmogorov-féle valószínűségi axiómákról: Minden AS eseményhez rendelhető egy p(A) szám, az A valószínűsége, melyre a következők igazak: • 0 ≤ p(A) ≤ 1 • p(W)=1 • ha A i ∙ A j = 0  i ≠ j-re, akkor Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

14. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy A és egy B esemény szorzatán azt értjük, ha A és B is bekövetkezik. A és Begyüttes bekövetkezésivalószínűsége: p(A∙B ). Egy A és egy B esemény összege az, ha vagy A, vagy B (vagy mindkettő) bekövetkezik. Valószínűsége: p(A+B ). Az A és B események függetlenek, ha semmiféle befolyással nincs A-nak a bekövetkezése a B bekövetkezésére. Ekkor p(A∙B )= p(A ) ∙ p(B ). Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

15. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy A és egy B esemény szorzatán azt értjük, ha A és B is bekövetkezik. A és Begyüttes bekövetkezésivalószínűsége: p(A∙B ). Egy A és egy B esemény összege az, ha vagy A, vagy B (vagy mindkettő) bekövetkezik. Valószínűsége: p(A+B ). Egyéb esetekben p(A∙B )≠ p(A) ∙ p(B ), csak azt lehet tudni, hogyp(A+B ) = p(A) + p(B) – p(A∙B ), és p(A∙B ) ≤ p(A ) ∙ p(B ). Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

16. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Egy hírközlési csatorna bemenetén és kimenetén megjelenő jelek nem függetlenek egymástól. Ha B jelet vettünk akkor annak a valószínűsége, hogy A jel volt a csatorna bemenetén:A-nak B feltétel melletti feltételes valószínűsége Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

17. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Az is érdekes, hogy ha A jelet adok, milyen B kerül a csatorna kimenetére, ez B-nek A feltétel melletti feltételes valószínűségével, p(B|A)-val írható le: A kölcsönös és feltételes valószínűségek között fennáll: p(A∙B )=p(B ) ∙ p(A|B)= p(A ) ∙ p(B|A) Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

18. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Ha az eseményekhez számértékek rendelhetők, (pl. árammérés), akkor kíváncsiak lehetünk a kísérlet eredményének várható értékére. Legyen A={A1, A2, … An } számhalmaz a kísérlet kimenetének értékkészlete, az A1 kimenet valószínűsége p(A1), … az An-é p(An). Ekkor A várható értéke Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

19. Információelmélet Információelmélet - Az információelmélet alapfogalmai Matematikai kitérő – A valószínűségszámítás alapfogalmairól Az is érdekelhet minket, hogy átlagosan mennyire fog eltérni az eredmény a várhatóértéktől, ezt a szórással jellemezhetjük: Ha több kísérletet vizsgálunk, A és B korrelációja írja le az, hogy mennyire függ a kettő egymástól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

20. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az információ Az információ valamely véges számú, előre ismert esemény közül annak megneve-zése, hogy melyik következett be.Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszüntet. Hartley: m számú, azonos valószínűségű esemény közül egy megnevezésével nyert információ: (log2m kérdéssel azonosítható egy elem) Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

21. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az információ Az információ valamely véges számú, előre ismert esemény közül annak megneve-zése, hogy melyik következett be.Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszűntet. Shannon: minél váratlanabb egy esemény, bekövetkezése annál több információtjelent. Legyen A={A1, A2, … Am } esemény-halmaz, az A1 esemény valószínűsége p1, … az Am-é pm. Ekkor az Ai megnevezésekor nyert információ: Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Megjegyzés: ha pi=1/m, minden i-re, visszakapjuk Hartley definícióját.

22. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az információ tulajdonságai • Csak az esemény valószínűségének függvénye. • Nem negatív: I ≥ 0 • Additív: ha m = m1∙m2, I(m1∙m2) = I(m1) + I(m2) • Monoton: ha pi ≥ pj , akkor I(Ai ) ≤ I(Aj ) • Normálás: legyen I(A)=1, ha p(A)=0,5. Ekkor kettes alapú logaritmus használandó és az információegysége a bit. Megjegyzés: ha tízes alapú logaritmust (lg-t) használunk, a hartley, az egység. Ekkor a normálás: I(p=0,1)=1. Ha természetes alapú logaritmussal definiáljuk az információt (I=−ln p), akkor a natban mérjük az információt, a normálás pedig I(p=1/e)=1. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

23. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az információ A forrásunk a következő üzenetet adta le: „ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncdcccdcddcdccccnnn” (21 db „c”, 22 db „n”, 17 db „d”)Mekkora az információtartalma a „c” szimbólum kibocsátásának? p(c) = 21/(21+22+17) = 21/60 = 0,35 I(c) = − log2 0,35 = −ln 0,35/ln 2 = 1,51 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

24. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az információ A forrásunk a , , , ,  szimbólumokat bocsátja ki p=0,12, p=0,37, p=0,06, p=0,21, p=0,24 valószínűséggel. Mi az információtartalma annak a közlésnek, hogy a  jelet adta? I() = − log2 0,37 = − ln 0,37/ln 2 = 1,43 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

25. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az entrópia Az entrópia az információ várható értéke: Az entrópia tulajdonképpen annak a kijelentésnek az információtartalma, hogy az m db egymást kizáró esemény közül az egyik bekövetkezett. A p log2 p kifejezés p  0 esetén: Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia L’Hospital-szabály szerint

26. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az entrópia A forrásunk a következő üzenetet adta le: „ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncdcccdcddcdccccnnn” (21 db „c”, 22 db „n”, 17 db „d”)Mekkora az üzenet entrópiája?p(c)=21/60=0,35 p(n)=22/60=0,37p(d)=17/60=0,28 H(c) = −0,35 log2 0,35 = −0,35 ∙(ln 0,35/ln 2)= = −0,35∙(−1,51) = 0,53 H(n) = −0,37 log2 0,37 = −0,37 ∙(ln 0,37/ln 2)= = −0,37∙(−1,43) = 0,53 H(d) = −0,28 log2 0,28 = −0,28 ∙(ln 0,28/ln 2)= = −0,28∙(−1,84) = 0,51 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

27. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az entrópia A forrásunk a , , , ,  szimbólumokat bocsátja ki egyforma, p= p= p= p= p= 0,2 valószínűséggel. Mennyi a forrás, mint halmaz entrópiája? H(, , , ,  ) = (− 0,2 log2 0,2) 5 = 2,32 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

28. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az entrópia A forrásunk a , , , ,  szimbólumokat bocsátja ki p=0,12, p=0,37, p=0,06, p=0,21, p=0,24 valószínűséggel. Mennyi a forrás, mint halmaz entrópiája? H(, , , ,  ) = −0,12 log2 0,12 − − 0,37 log2 0,37 − 0,06 log2 0,06 − − 0,21 log2 0,21 − 0,24 log2 0,24 = = 0,37+0,53+0,24+0,47+0,49 = =2,1 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

29. Információelmélet Információelmélet - Az információelmélet alapfogalmai Az entrópia tulajdonságai • Nem negatív: H( p1, p2,…, pm) ≥ 0 • Az események valószínűségeinek folytonos függvénye. • H( p1, p2,…, pm, 0 ) = H( p1, p2,…, pm) • Ha pi = 1, a többi pk = 0 , ( k=1, …, i−1, i+1 ,…, m ), akkor H( p1, p2,…, pm) =0. • H( p1, p2,…, pm) ≤ H( 1/m,1/m, … 1/m ) • H(p1, …, pk−1,pℓ ,pk+1,…,pℓ−1,pk ,pℓ+1,…,pm) = H( p1, p2,…, pm),  k, ℓ ; azaz az entrópia szimmetrikus változóinak cseréjére. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

30. Információelmélet Információelmélet - Az információelmélet alapfogalmai A kölcsönös entrópia Legyen A={A1, …, Am1} a lehetséges leadott jelek halmaza, B={B1, …, Bm2} pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. Ai és Bjegyüttes bekövetkezési valószínűsége pi,j = p(Ai ∙ Bj ), a két esemény együttes bekövetkezésekor nyert információ I(Ai ∙ Bj )=−log2p(Ai ∙ Bj )=−log2pi,j . Mindig igaz a kölcsönös információra, hogy I(Ai ∙ Bj )≥ I(Ai ), és I(Ai ∙ Bj )≥ I(Bj ). Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

31. Információelmélet Információelmélet - Az információelmélet alapfogalmai A kölcsönös entrópia Legyen A={A1, …, Am1} a lehetséges leadott jelek halmaza, B={B1, …, Bm2} pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. Ai és Bjegyüttes bekövetkezési valószínűsége pi,j = p(Ai ∙ Bj ), a két esemény együttes bekövetkezésekor nyert információ I(Ai ∙ Bj )=−log2p(Ai ∙ Bj )=−log2pi,j . A és B halmazok kölcsönös entrópiája: Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

32. Információelmélet Információelmélet - Az információelmélet alapfogalmai A feltételes entrópia Legyen A={A1, …, Am1} a lehetséges leadott jelek halmaza, B={B1, …, Bm2} pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. Ai-nek Bj-re vonatkoztatott feltételes valószínűségep(Ai| Bj ). Az A halmaz B halmazra vonatkoztatott feltételes entrópiája: Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

33. Információelmélet Információelmélet - Az információelmélet alapfogalmai A feltételes entrópia Legyen A={A1, …, Am1} a lehetséges leadott jelek halmaza, B={B1, …, Bm2} pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. Ai-nek Bj-re vonatkoztatott feltételes valószínűségep(Ai| Bj ). Mivel p(Ai∙Bj)=p(Bj) ∙ p(Ai|Bj ) minden i-re és j-re, H(A ∙ B )= H(B) ∙ H(A|B )= H(A) ∙ H(B|A ). ÍgyH(A) ≥ H(A∙B) ≥ 0 Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűség-számítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia

34. Információelmélet – A forráskódolás elmélete A források jellemzése Olyan forrásokkal fogunk foglalkozni, amelyek kimenetén véges sok elemből álló A ={A1, …, An } halmaz elemei jelenhetnek meg. Az A halmazt ekkor forrásábécének nevezzük. Az A elemeiből képezett véges A(1)A(2)A(3) … A(m) sorozatok az üzenetek. (m tetszőleges természetes szám) A lehetséges üzenetek halmaza A. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

35. Információelmélet – A forráskódolás elmélete A források jellemzése Ha egy A forrás által kibocsátott üzenet diszkrét jelek sorozata, akkor Adiszkrét információforrás. A forrás emlékezet nélküli, ha A(i) független A(i−k)-től,  i, k. A forrás stacionárius, ha A(i)  A  i , és p( A(i) = Aj ) = pj,  i, j. Előfordulhat, hogy a forrás által kibocsátott szimbólum függ az azt megelőző kibocsátásoktól Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

36. Információelmélet – A forráskódolás elmélete A források jellemzése A rendszer lehetséges állapotainak a halmaza: S={S1, S2, …, Sn}. Tegyük fel, hogy a forrás egy Selőző állapotban van, és az aktuális szimbólumkibocsátás után egy Súj állapotba kerül. Ha p(Súj|Selőző,Selőző−1,…,Selőző−m)= p(Súj|Selőző),akkor a rendszer egy Markov-folyamattal leírható. A források általában jól modellezhetők Markov-folyamatokkal. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

37. Információelmélet – A forráskódolás elmélete A források jellemzése A források leírhatók Markov-folyamatokkal. Egy összetettebb Markov-folyamat során a karakterek előfordulási valószínűsége más és más, a szimbólum-kibocsátások független események. Legyen pA=0,4; pB=0,1; pC=0,2; pD=0,2 és pE=0,1. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel A folyamat gráfja: Egyetlen állapot

38. Információelmélet – A forráskódolás elmélete A források jellemzése Még összetettebb Markov-folyamatok során nem csak a karakterek előfordulási valószínűsége más és más, hanem a szimbólum-kibocsátások sem független események. A legegyszerűbb ilyen eset, ha az aktuális szimbólum csak az őt eggyel megelőzőtől függ. Legyen pA=1/3; pB=16/27; pC=2/27, és a feltételes valószínűségek: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

39. Információelmélet – A forráskódolás elmélete A források jellemzése Legyen pA=1/3; pB=16/27; pC=2/27, és a feltételes valószínűségek: Egy tipikus példa így előállt szövegre (Shannon művéből): Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

40. Információelmélet – A forráskódolás elmélete A források jellemzése Ellenőrizhetjük a feltételes és együttes előfor-dulási valószínűségek közötti összefüggé-seket. Az együttes valószínűségekre igaz: ahol pA=1/3=9/27; pB=16/27; pC=2/27, és Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

41. Információelmélet – A forráskódolás elmélete A források jellemzése pA=1/3=9/27; pB=16/27; pC=2/27, és Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

42. Információelmélet – A forráskódolás elmélete A források jellemzése Legyen pA=1/3; pB=16/27; pC=2/27, és a feltételes valószínűségek: A gráf: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel 3 állapot A C B

43. Információelmélet – A forráskódolás elmélete A források jellemzése A források leírhatók Markov-folyamatokkal. Még magasabb összetettségi szintű Markov-folyamatok során a karakterek helyett a belőlük épített szavaknak van valamilyen előfordulási statisztikája. A szavakat is választhatjuk egymástól függetlenül. Egy ilyen példa (Shannon művéből):A következő 16 szó fordulhat elő az előttük álló valószínűségekkel: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

44. Információelmélet – A forráskódolás elmélete A források jellemzése A szavakat alapul vevő, független szóvá-lasztású Markov-folyamatunk egy gráfja: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel ADE A AD BEB BE szó vége B BA szó vége−D szó eleje CA C D számos állapot E

45. Információelmélet – A forráskódolás elmélete A források jellemzése – forrásentrópia Ha a forrás az Si állapotban van, akkor minden j-re p(Sj|Si) ismert, ebből Ha ismerjük az Si állapot Pi előfordulási valószínűségét, akkor a forrásentrópia: Ha a forrás stacionárius, azaz p(Sj|Si)=p(Aj|Ai) és p(Aj|Ai)= p(Aj), akkor a forrásentrópia megegyezik az egyetlen szimbólum kibocsátásának entrópiájával: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

46. Információelmélet – A forráskódolás elmélete A források jellemzése – forrásentrópia Vizsgáljuk a forrás egymást követő N szimbólum-kibocsátását: az A(1), A(2), …, A(N) sorozatot. Az A forrás forrásentrópiája: Nem keverendő -vel, a forrás-ábécé entrópiájával. Ha a forrás stacionárius, akkor H=H(A) Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

47. Információelmélet – A forráskódolás elmélete A forráskódok jellemzése A kódolt üzenetek egy B ={B1, …, Bs } szintén véges halmaz elemeiből épülnek fel, B a kódábécé. A B elemeiből álló véges hosszúságú B(1)B(2)B(3) … B(m) sorozatok a kódszavak. A lehetséges kódszavak halmaza B. Az illetve függvényeket (forrás)kódoknak nevezzük. Az f leképezés a forrás egy-egy szimbólumához rendel egy-egy kódszót, az F ennél általánosabb. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

48. Információelmélet – A forráskódolás elmélete Egyértelműen dekódolható kódok Egy f forráskód egyértelműen dekódolható, ha minden egyes B-beli sorozatot csak egyféle A-beli sorozatból állít elő. (A neki megfeleltethető F invertálható. Az nem elég, hogy f invertálható.) Az állandó kód-szóhosszú kódok egyértelműen dekódol-hatók, megfejthetők, de nem elég gazdaságosak. Egy f betűnkénti kód prefix, ha a lehet-séges kódszavak közül egyik sem áll elő egy másik folytatásaként. Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

49. Információelmélet – A forráskódolás elmélete A kódszavak átlagos hossza Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B-beli sorozat, avagy kódszó hosszaℓi . Egy f kód átlagos szóhosszaℓi várható értéke: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel

50. Információelmélet – A forráskódolás elmélete A kódszavak átlagos hossza Az olyan kódokat, amelyek különböző A-beli szimbólumokhoz más és más hosszúságú kódszavakat rendelnek, változó szóhosszúságú kódoknak nevezzük. Az B-beli sorozat, avagy kódszó hosszaℓi . Egy f kód átlagos szóhosszaℓi várható értéke: Forráskódolás elmélete Források jellemzése Forráskódok Egyértelműen dekódolható kódok Kódszavak átlagos hossza McMillan-egyen-lőtlenség Kraft-egyen-lőtlenség Forráskódolási tétel