Kódování

1. Kódování Radim Farana Podklady pro výuku pro akademický rok 2013/2014

2. Obsah • Základy pojmy z diskrétních kódů. • Druhy kódů. • Nejkratší kódy. • Detekce chyb, Hammingova vzdálenost. • Kontrolní a samoopravné kódy. • Lineární kódy. • Hammingovy kódy. • Opakovací kódy.

3. Kód • Popis přiřazení kódových slov jednotlivým zprávám (kódová kniha). • Kódové slovo je posloupnost znaků použité abecedy. • Abeceda je množina znaků (binární abeceda Z2 = {0, 1}) • Minimální délka kódového slova:N*(x) = - log2(P(x)) [bit]

4. Vlastnosti kódu • prosté kódování: různým zprávám odpovídají různá kódová slova, • jednoznačná dekódovatelnost: ze znalosti zakódované zprávy lze jednoznačně určit zprávu zdrojovou, • Kód K : A → B musí být prostým zobrazením.

5. Kód B 0 01 011 111 Kód C 0 10 110 111 Problém dekódování Zpráva Kód A 0 01 001 111 Posloupnost zpráv (kódových slov): 00100101111 nelze jednoznačně dekódovat Posloupnost zpráv (kódových slov): 00101101111 lze jednoznačně dekódovat? Ano, ale jen „odzadu“, po přijetí celé posloupnosti zpráv. Posloupnost zpráv (kódových slov): 01011010111 můžeme dekódovat on-line. Důvod? Žádné kódové slovo není začátkem jiného kódového slova (prefixem).

6. Druhy kódů • Prefixový kód je prosté kódování u kterého žádné kódové slovo není začátkem jiného kódového slova. • Blokový kód je prosté kódování u kterého mají všechna kódová slova stejnou délku (počet znaků). Protože musí být prostým zobrazením, je nutně také prefixovým kódem.

7. Použití kódů • Nejkratší (optimální) kódy R→ 0, L → min, • Bezpečnostní kódy • detekční kódy (odhalují chyby), • samoopravné kódy (opravují chyby), • Speciální kódy • kódy konstantní změny (Grayův kód), • čárové kódy, • alfanumerické kódy, • číselné kódy (datové formáty), …

8. Kraftova nerovnost • Prefixový kód sestrojený nad n-prvkovou kódovou abecedou s délkami kódových slov existuje právě tehdy, když platí Kraftova nerovnost, tj.

9. Mc Millanova věta • Každé jednoznačně dekódovatelné kódování splňuje Kraftovu nerovnost. • Z těchto dvou vět vyplývá, že každé jednoznačně dekódovatelné kódování je prefixové, ale pokud není, existuje jiné kódování nad stejnou kódovou abecedou s danými délkami kódových slov, které již prefixové bude.

10. Příklad • Máme za úkol sestavit binární prefixový kód číslic 0, 1, ..., 9 s délkami kódových slov: Kraftova nerovnost je rovna prefixový kód s těmito délkami slov neexistuje.

11. Příklad • Zvolíme-li potom Kraftova nerovnost je a tedy takový prefixový kód existuje. Může vypadat například takto:

12. Huffman, David A. * 1925, USA + 7. 10. 1999 California, USA http://www.ucsc.edu/currents/99-00/10-11/huffman.html Nejkratší kódy • Pokud má R→ 0, neboli L → min, pak • N(i) → N*(i) pro i = 1, 2, … n. • Hledáme vhodný algoritmus konstrukce takového kódu: • Huffmanův kód (1952), • Shannon-Fanův kód. Algoritmy se liší, stejně tak i dosažené výsledky, Huffmanův kód se snáze algoritmizuje a tedy také realizuje

13. Příklad Triviální případ Zpráva A B C D E Zpráva P(i) kód P(i) 0,3 0,1 0,1 0,1 0,4 1 > 0 1.redukce 0,3 0,2 0,1 2 < 1 0,4 Redukovaná abeceda 2.redukce 0,3 0,3 0,4 Zpráva P(i) redukce kód expanze 1 1 1 0 0 0 3.redukce 0,4 0,6 1 » 1 0 0 znaky 1 0 2 > 2,3 1 10 3 < 11 Huffmanův kód kód 00 011 0100 0101 1 Postup: • seřazení podle pravděpodobnosti, • postupná redukce a oprava pořadí, • přiřazení znaků 0, 1 a zpětná expanze. Problémy: • definice pořadí zpráv pro stejnou P(i), • zařazení skupin se stejnou P(i), • pořadí přiřazení znaků 0, 1.

14. Zpráva A, B C, D, E D, E 1 bit 1 1 1 1 0 0 0 0 1 bit 1 bit D C B A E 1 bit Shannon-Fanova konstrukce kódu Fano, Robert Mario • 1917 Turin, Italyhttp://en.wikipedia.org/wiki/File:Robert_Fano_2012-03-13.jpg Příklad Zpráva A B C D E P(i) 0,3 0,1 0,1 0,1 0,4 Postup: • seřazení podle pořadí pravděpodobnosti, • rozdělení na skupiny s co nejbližší pravděpodobností, • přiřazení znaků 0, 1. kód 10 110 1111 0 1110

15. Detekce chyb • Množinu všech slov rozdělíme na slova kódová a slova nekódová. • t-násobná chyba změní kódové slovo na nekódové, pokud se dvě kódová slova liší ve více než t znacích. • Hammingova vzdálenost je počet znaků ve kterých se dvě kódová slova liší. • Hammingova vzdálenost kódu d je nejmenší z nich.

16. Hamming, Richard Wesley * 11. 2. 1915 Chicago, Il. USA + 7. 1. 1998 Monterey, Cal. USA http://cm.bell-labs.com/cm/cs/alumni/hamming/ 011 000 010 100 001 Hammingova vzdálenost nekódová slova d = 1 d = 1 kódovéslovo kódovéslovo Kód odhaluje t-násobné chyby, pokud je Hammingova vzdálenost kódu d> t. Označení kódů (blokových): (n, k)-kód počet znaků počet informačních znaků (4, 3)-kód má jeden kontrolní znak, je schopen mít d = 2.

17. 111 000 010 100 001 011 110 Opravování chyb nekódová slova d = 1 d = 1 d = 2 kódovéslovo kódovéslovo d = 3 Kód opravuje t-násobné chyby, pokud je Hammingova vzdálenost kódu d> 2.t.

18. Kód dvourozměrné kontroly parity • Informační znaky zapíšeme do matice typu (p, q). • Každému řádku přidáme jeden symbol kontroly parity řádku, podobně každému sloupci kontrolu parity sloupce. • Paritě sloupce parit řádků pak znak „kontrola kontrol“, volený tak, aby i parita výsledné matice byla sudá. • Např. pro p = 7 a q = 3 obdržíme ASCII (32, 21)-kód. Tento kód opravuje jednoduché chyby. Příklad

19. 1 0 0 1 0 1 0 1 G = 0 0 1 1 0 0 0 1 Lineární kódy (maticové kódy) • Kódové slovo chápeme jako řádkový vektor v = [ 0 0 1]. • Lineární kombinací libovolného počtu kódových slov vznikne opět kódové slovo. • Kód je možno popsat pomocí generující matice (kterou tvoří báze kódu). v = z.G

20. G = E B T H = -B E’ T s = H.v Systematické kódy • Informační slovo tvoří začátek kódového slova. • Určení informačního slova (dekódování) je triviální. • Je možno snadno určit kontrolní matici kódu • A syndrom přijatého slova • Nenulový syndrom indikuje chybu.

21. Hammingovy kódy • Opravují jednoduché chyby a • jsou perfektní = při daných vlastnostech mají minimální možnou redundanci. • Kód s m kontrolními znaky (m = 2, 3, …) má délku n = 2m – 1. • Sloupce kontrolní matice tvoří binární rozvoj čísel 1, 2, …, 2m - 1 • Nenulový syndrom je binárním rozvojem pozice chyby.

22. Opakovací kódy • Velmi jednoduše se generují kódová slova i vyhodnocují přijatá slova. • Jsou perfektní. • Opakovací (3, 1)-kód se shoduje s Hammingovým (3, 1)-kódem.

23. Dekódování lineárních kódů • Nechť K je lineární (n, k)-kód. Potom kód K tvoří podgrupu aditivní grupy Zn a odtud můžeme vytvořit faktorovou grupu Zn/ K, která tvoří grupu tříd kódu K tak, že pro každé existuje třída jejímž je reprezentantem

24. Dekódování lineárních kódů • Z algebry víme, že jednotlivé třídy jsou buď disjunktní nebo jsou si rovny. Budeme tedy pracovat se systémem různých tříd, přičemž jako reprezentanty zvolíme vždy slovo dané třídy s nejmenší Hammingovou váhou. Reprezentanty budeme označovat znakem e

25. , kde je reprezentant třídy slova w. Dekódování lineárních kódů • Dekódování pak probíhá podle předpisu • Můžeme použít: • tabulku pro standardní dekódování • syndromy

26. Standardní dekódovací tabulka • budou vypsány všechny třídy a jejich slova. V prvním sloupci bude vždy reprezentant třídy a řádky budou vzestupně uspořádány podle Hammingovy váhy jednotlivých reprezentantů. V prvním řádku bude tedy vždy třída s nulovým reprezentantem, která tvoří kód. na pozici i-tý řádek a j-tý sloupec bude takové slovo dané třídy, jehož rozdíl od kódového slova v j-tém sloupci je roven reprezentantu třídy.

27. Standardní dekódovací tabulka • Dekódovací tabulka pro koktavý (6, 3)- kód

28. Dekódování pomocí syndromů • Standardní tabulku budeme redukovat na sloupec reprezentantů a jejich syndromů a využijeme vlastnost, že všechna slova dané třídy mají shodný syndrom.