Információ- és Hírközléselmélet

1. Információ- és Hírközléselmélet Vassányi István, vassanyi@irt.vein.hu • Információelmélet • forráskódolás • csatornakódolás • Kriptográfia • ZH (megajánlott jegyek) • Hírközléselmélet • Vizsga (írásbeli) • Tárgykövetelmények Információ- és hírközléselmélet '99

2. I. FORRÁSKÓDOLÁS • 1. Entrópia és kölcsönös információ • 1.1. Alapok és bevezetés • 1.2. Diszkrét források jellemzése • 1.3. A kölcsönös információ • 2. Forráskódolási eljárások • 2.1. Alapfogalmak, célok • 2.2. A Huffman-kód • 2.3. A Lempel-Ziv-kód • 2.4. Az aritmetikai kód • ============================= • 1.1. Entrópia: alapok és bevezetés • új tudomány, Shannon 1948 • adat  információ • a címzett térben/időben el van tolódva Információ- és hírközléselmélet '99

3. Az információs folyamat általános modellje: CSA-TOR-NA Forrás Kódoló Dekó-doló Nyelő • 1.2. Források jellemzése, az entrópia • Források tulajdonságai: • diszkrét: véges forrásABC • stacionárius • szinkron • emlékezet nélküli • Definíciók • Információ, • Forrásentrópia, Információ- és hírközléselmélet '99

4. Tétel Az egyenletes val. eloszlás maximalizálja az entrópiát, a maximum értéke Példák… Definíciók Kölcsönös és feltételes entrópia: magyarázat… A kódoló B Kölcsönös információ Példák… Információ- és hírközléselmélet '99

5. 2. Forráskódolási eljárások cél: veszteség nélküli, tömör kód előállítása, a csatorna jó kihasználása Definíciók Változó hosszúságú kód: Megfejthető kód Prefix kód Egy klasszikus példa: A KIRÁLYNŐT MEGÖLNI NEM KELL FÉLNETEK JÓ LESZ HA MINDNYÁJAN BELEEGYEZTEK ÉN NEM ELLENZEM Shannon 1. tétele Készíthető olyan kód, hogy de nemkészíthető olyan kód, hogy Információ- és hírközléselmélet '99

6. 2.1. A Huffman-kód • Eljárás {.1, .1, .15, .18, . 2, . 27}, {.5, .25, .125, …} • Jellemzők: prefix, statikus, optimális (l. később) • HW megvalósítás (kódolás, dekódolás) • 2.2. Forráskiterjesztés • Tétel • Memória nélküli diszkrét forrást K elemű blokkokban kódolva az elvi korlát tetszőlegesen megközelíthető: • Demonstráció: Huffman-kóddal • A Huffman-kód problémái: • a priori val. eloszlás ismerete szükséges • kvantáló hatás • Egy másik megoldás a szótár-kód: • 2.3. A Lempel-Ziv kód • szintén optimális (hosszú szövegre ) Információ- és hírközléselmélet '99

7. LZ algoritmus: 1: szótár, n, m inicializálása 2: következő szimb (x) BE, amíg van új 3: ha (n,x) van a szótárban akkor n = cím(n,x) ha nincs, akkor KÜLD(n) (n,x) tárolása m-re m = m+1 n = cím(0,x) 4: GOTO 2 Példa: a a c b b a c b a c c b b a bElküldve: 1 1 3 2 2 5 8 3 6 10(az utolsó 10-es a bac sorozatot kódolja) Megjegyzés: egy k hosszú részletnek k- szor kell előfordulnia  hosszú szöveg kell. 2.3. Az aritmetikai kód alapötlet: tetsz. szimb. sorozat  valós szám [0,1) Információ- és hírközléselmélet '99

8. Aritm. algoritmus • Megvalósítás: STOP szimbólummal • A helyiérték-bitek megosztásával megoldja a kvantálási problémát • Probléma: aritmetikai túlcsordulás • Adaptívvá tehető • ÖSSZEHASONLÍTÁS • LZ - Huffman - Aritm. kódok • EGY ALKALMAZÁS: telefax Információ- és hírközléselmélet '99