Info alapfogalmak és kódolás

1. Info alapfogalmak és kódolás

2. Az információ fogalma és tulajdonságai • Az információ anyaghoz kötődik. • A kapcsolat adat formában valósul meg. • Az anyag amihez az adat kötődik -adathordozó.

3. Definíciók • Az adat bármilyen hír, közlemény, amit felfogunk, érzékelünk. • Az információ a nekünk új ismeretet hozó jelek tartalmi jelentése. • Az adat a formai, az információ a tartalmi oldalát jelenti ugyanannak a közleménynek.

4. Az információ legfontosabb tulajdonságai • Az információ mennyiség nem szükségszerűen változik az információt hordozó jelek számával. • A kétszer adott közleménynek nincs kétszeres mennyiségű információértéke. • Egyidejűleg több egyed részére kiadott információból mindenki ugyanannyi információt nyerhet. • Az információ nem osztódik. • Azonos közleményt különböző jelekkel is rögzíthetünk, ez nincs hatással az információ tartalomra. • Azonos jelek más összefüggésben más információt hordozhatnak.

5. Az információ átadási folyamat Az adó feladatai: • A hírek, közlemények kialakítása • Kódolás, a csatorna igényei szerint A vevő feladatai: • Dekódolás • A hírek, közlemények felhasználása

6. A csatorna lehet: • Térbeli adatátviteli csatorna • Időbeli adatátviteli csatorna • A csatornának minimálisan kétféle jelet kell átvinnie. • Az ilyen csatornát bináris csatornának nevezzük. Egykettesszámrendszerbeliszámjegy a bit. ( binary unit, binarydigit) Egyben ez az információmennyiség alapegysége is.

7. A kódolási eljárás Alapfogalmak: • Forrás-ABC • Közlemény • Kód-ABC (Csatorna-ABC) • Kódközlemény

8. Kódolási eljárás Olyan utasítás, amely minden lehetséges közleményhez hozzárendel egy kódjelekből álló sorozatot a kódközleményt. • A gyakorlatban a forrás-ABC minden betűjéhez hozzárendelünk egy kódjelekből álló sorozatot - az illető betű kódját-, és a továbbítandó közlemény kódközleményét az egyes betűk kódjainak egymás után írásával állítjuk elő. • Általában azonos hosszúságú kódokat alakítunk ki.

9. A kódolással szemben támasztott követelmények: Alkalmas legyen minden közlemény egyértelmű leképzésére. Tömör legyen. (Gazdaságosság!) A csatorna képes legyen a jelek továbbítására.

10. Kódolni csak akkor lehet, ha rendelkezésre áll: • A kód-ABC A kódképzés szabálya • Formai (szintaktikai) • Értelmezési (szemantikai) A kódolás általában többszörös. (Például a telefon)

11. Jelkészlet A kódolható forrás-ABC betűk számát meghatározza: • A kód-ABC jeleinek száma • A kódszó hossza

12. Definíció A kód-ABC és meghatározott hosszúságú jelsorozat mellett továbbítható forrás-ABC betűk számát jelkészletnek nevezzük. Pl. 4 hosszon bináris csatornán a továbbítható jelek száma?

13. Decimális kód • Ha a kód-ABC decimális, akkor a jelkészlet: • Decitek száma Jelkészlet 1 10 = 10 2 10 x 10 = 100 3 10 x 10 x 10 = 1000

14. Bitek száma Jelkészlet 1 2 = 2 2 2x 2 = 4 3 2 x 2 x 2 = 8

15. Általánosságban Ahol: V=mn V - jelkészlet m - a kód-ABC jeleinek száma n - a kód hossza A jelkészlet exponenciálisan nő a jelsorozat hosszával.

16. Példa m = 2; n = 8; V = ? V=mn=28=256

17. De • A kérdés általában az, hogy (m) jelű kód-ABC esetén milyen hosszúságú (n) jelsorozatot kell a csatornán továbbítani, hogy a rendszer minden lehetséges állapotát kifejezhessük.

18. Matek – levezetés nem csak a képlet szükséges

19. folytatás

20. A lényeg

21. Példa

22. Azonos előfordulási valószínűséget feltételezve, minél nagyobb egy rendszer jelkészlete, annál kisebb egy-egy állapot bekövetkezésének valószínűsége. A valószínűség jelölése: p p = 0 Lehetetlen esemény p = 1 Biztos esemény

23. Ha a rendszer egyes állapotainak bekövetkezési valószínűsége azonos, akkor

24. Az entrópia Valós rendszerekben az egyes szimbólumok előfordulási valószínűsége általában nem azonos, így információ tartalmuk sem azonos. Az információ tartalom és az előfordulás valószínűsége fordított arányban van egymással.

25. Az egyes szimbólumok pivalószínűséggel jelennek meg, ahol: A független események együttes előfordulásának törvényszerűségét felhasználva, Shannonszerint a következő formulával számolható az átlagos információ tartalom:

26. Mi köze ennek az entrópiához? Miután ez formailag hasonló mint a Maxwell-Boltzmann gázelméletében az ideális gáz entrópiáját leíró egyenlet, ezért Shannonennek az összefüggésnek is az entrópia nevet adta.

27. Definíció: Az entrópia nem más, mint a rendszerben lévő határozatlanság (rendezetlenség) mértéke. Bizonyítható, hogy a maximális értékét akkor veszi fel, ha minden állapot bekövetkezési valószínűsége azonos, vagyis ha:

28. Miért fontos ez? • Azért, mert ez megegyezik a df jelű forrás-ABC kódolásához szükséges kód-ABC jelek számával

29. Az entrópia néhány fontos tulajdonsága: Az entrópia negatív értéket nem vehet fel. Az entrópia invariáns az állapotok sorrendjére nézve. A magára hagyott rendszerben az entrópia csak nőhet. Az entrópia csökkentése csak energia (idő, pénz stb.) befektetés útján lehetséges. Ha a rendezettség nő: Az entrópia csökken A stabilitás csökken A stabil rendszerek teljesen rendezetlenek.

30. A redundancia Ha egy rendszer átlagos entrópiáját (H) elosztjuk a rendszerben elképzel- hető maximális entrópiával (Hmax), akkor a közlemény tömörségi tényezőjéhez jutunk.

31. Relatív redundancia

32. Ha a jelek előfordulási valószínűsége közel azonos

33. Teljesen redundancia mentes rendszer csak hibátlan (,zaj nélküli) csatorna esetén tervezhető. • • A redundancia célszerű felhasználásával védekezni lehet a csatorna zajok káros hatása ellen.

34. Kidolgozott példa

35. Példa 2

36. A tényleges entrópia közelítőleg 2 bit/hang Azaz, minden 10 kimondott hangból 4 hordoz információt. Az angol ABC 26 betűből áll. (Szóközzel 27). Ha minden betű független és egyenlően valószínű volna, akkor a Hmax= log2 26 = 4.64 bit/betű. Az informatikai rendszerekben cél a redundancia minél alacsonyabb szinten tartása. (!!!)

37. Adatátvitel a csatornán • A csatornakapacitás a rendszerben átvihető információ maximuma. • Zajmentes rendszerek esetén ez akkor érhető el, ha minden jel előfordulási valószínűsége azonos.

38. A kódrendszerek elméleti alapjai

39. A kódhozzárendelést kódolási eljárásnak nevezzük. • A kódolás szabályait kódrendszerbe kell foglalni. Egy kódrendszer akkor gazdaságos, ha minél kevesebb jelből álló kódközleménnyel továbbítja az adó által megfogalmazott közleményt a vevő részére. • A kódolásnak-dekódolásnak egyértelműnek kell lennie.

40. A zaj nélküli csatornák kódjai • Az a csatorna zajmentes, melynél a vevő által vett kódjel mindig ugyanaz, mint amit az adó a csatornán elindított

41. A zajnélküli csatornák kódjainak csoportosítása Állandó hosszúságú kódok • Betűnkénti kódolás • Blokkonkénti kódolás Változó hosszúságú kódok • Kódszó vége jellel • Kódszó vége jel nélkül

42. Állandó hosszúságú kódok • Egyszerű kódolás-dekódolás. • Egyetlen feltétel, hogy a forrás-ABC egyes betűinek kódszava legalább egy pozíción különbözzön. • Legalább annyi kódot (kódszót) kell kialakítani, mint ahány betű a forrás-ABC - ben van.

44. Blokkonkénti kódolás • A forrás-ABC betűcsoportjaihoz rendelünk kódokat. • Akkor kapunk jó eredményt (Kis redundanciát): • Ha a forrás-ABC kevés jelből áll • Ha a közlemény hossza az (N) blokkhossz többszöröse

45. A forrás-ABC jelkészlete: A, B, C, D. • A blokkhossz: N = 3. • Akkor a blokkok: AAA, AAB, AAC, ...... • A kombinatorika szerint különböző blokk képezhető. • Ezzel a kódolással a betűnkénti kódolás redundanciája csökkenthető.

46. Változó hosszúságú kódok • Akkor alkalmazzuk, ha a forrás-ABC jelek előfordulási valószínűsége nem azonos. Célszerűen ebben az esetben a gyakrabban előforduló forrás-ABC jelekhez rövidebb kódokat rendelünk, mint a ritkábban előfordulókhoz.

47. A változó hosszúságú kód esetén is a kódrendszernek egyértelműen dekódolhatónak kell lennie. A megoldás: Külön kódvége jel alkalmazása. • Morse-kód. • A gyakorlatban a bináris csatornánál nem alkalmazható. • Olyan kódrendszer, ahol az egyes kódszavak vége, kódszó vége jel nélkül is megállapítható.

48. Irreducibilis kódok • A kódfa egy elfektetett fa-struktúra, ahol az élek iránya meghatározza az egyes kódjelek értékét. • • Felfelé = 1 • • Lefelé = 0