Információelmélet

Információelmélet Nagy Szilvia 6. Csatornakódolás 2005.

Információelmélet – Csatornakódolás A csatornák jellemzése A csatornán való áthaladás során a jelek többnyire módosulnak: zaj adódik hozzájuk. A csatorna zajosságának jellemzésére alkalmas a jel-zaj arány (signal to noise ratio): SNR=20 log10( S/N ), ha S a jel, N pedig a zaj átlagos teljesítménye. Egysége decibel. A következőkben olyan csatornákkal foglalkozunk, amelyek diszkrét jeleket visznek át. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás A csatornák jellemzése Ha a csatorna bemenetére adott egyetlen szimbólum hatására a kimeneten is csak egy szimbólum jelenik meg, azaz a csatorna nem nyel el és nem teremt új szimbólumokat, akkor a szinkron csatornáról beszélünk. Ha a csatorna kimenetén megjelenő jel csak az éppen aktuális bemeneti szimbólumtól függ, azaz a szimbólumok csatornán való áthaladása egymástól független esemény, akkor a csatorna memóriamentes. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás A csatornák jellemzése Egy diszkrét, szinkron csatornát úgy adha-tunk meg, hogy • megadjuk a bemeneti szimbólumkész-letét: C={c1, c2, …, c r }-t • megadjuk a kimeneti szimbólumkészle-tét: X={x1, x2, …, x s }-et • és megadjuk a p( x j|c i ) feltételes valószínűségeket. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás A csatornák jellemzése Legyen n db egymást követő bemeneti szimbólum c(1), c(2), …, c(n) ; az általuk generált kimeneti karaktersorozat x(1), x(2), …, x(n) . Ezen az esemény valószínűsége p(x(1),x(2),…,x(n)|c(1),c(2),…,c(n) ) Memóriamentes csatornákra Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Csatornamátrix, csatornagráf A p( x j|c i ) feltételes valószínűségeket mátrixba szokták rendezni: A csatornát gráfjával is meg lehet adni: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Csatornatípusok, mátrixaik és gráfjaik Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Determinisztikus csatorna: egy bemenet mindig ugyanazt a kimeneti szimbólumot hozza létre. A csatornamátrix minden sorában egyetlen nem nulla elem van.

Információelmélet – Csatornakódolás Csatornatípusok, mátrixaik és gráfjaik Zajmentes csatorna: egy kimeneti szimbólum csak egyféle bemeneti jelből áll elő. A csatornamátrix minden oszlopában egyetlen 1-es van, a többi elem 0. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Csatornatípusok, mátrixaik és gráfjaik Bináris szimmetrikus csatorna(BSC): Bináris Z-csatorna: Bináris törléses csatorna Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Entrópia, veszteség • A csatorna használatát (a forrást) jellemző mennyiségek: • A csatornát jellemző mennyiségek: Miután a kimeneten észleltük az X j szimbólumot, maradt bizonytalanság arra nézve, hogy melyik C i válthatta ki: ennek a bizonytalanságnak a várható értéke a csatorna vesztesége: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Entrópia, veszteség A zajmentes csatorna vesztesége 0.kifejezés minden tagjában vagy p(Ci Xj)=0, vagy p(Ci |Xj)=1. A teljesen zajos csatorna vesztesége H(C ).Az adott és a vett jelek függetlenek, így p(Ci Xj)= p(Ci )  p(Xj) Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Átvitt információ A csatornán átvitt információ a rá adott információ és a csatorna veszteségének a különbsége: egy X j vételekor az őt előidéző C i-ről nyert átlagos információ. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Átvitt információ Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Csatornakapacitás A csatornakapacitás a rajta maximálisan átvihető információ: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás A csatornákon áthaladó vektorok Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel A csatorna a rá bocsátott c=c(1), c(2), …, c(n) szimbólumsorozatból – döntés után – egy v=v(1), v(2), …, v(n) szimbólumsorozatot csinál. A cCn , illetvevCn n elemű sorozatokat tartalmazó Cn halmaz vektortér, c és v vektorok.

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Egy V halmaz vektortér, vagy lineáris tér, ha értelmezve van a vV elemein egy számmal való szorzás ( λ∙vV ), a v, wV elemei között egy összeadás ( v+wV ) amelyekre: • 1∙v=v • λ∙(κ∙v)= (λκ)∙v (asszociatív) • (λ+κ)∙v= λ∙v+κ∙v (disztributív) • v+w=w+v (kommutatív) • v+(w+u)=(w+v)+u (asszociatív) •  0, melyre v+0=0+v=v • v-hez  v, melyre v + (v)= (v)+v=0 Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Vektortér például az euklideszi tér (akármennyi dimenziós), vagy a legfeljebb n-edfokú polinomok tere. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen a V halmaz a legfeljebb harmadfokú polinomok halmaza. Egy eleme a következőképpen néz ki: p(x) = p0 + p1x + p2x2 + p3x3. Két polinom egyenlő, ha az együtthatóik megegyeznek. • Egy p(x) és egy q(x) polinom összegén azt az r (x) polinomot értjük, amelynek az együtthatói az ri = pi + qi képlet szerint állnak elő i =0, 1, 2, 3-ra, • a p(x) polinom λszámmal való szorzatán pedig azt az s (x) polinomot értjük, amelynek az együtthatói az si =λ∙pi formulával kaphatók meg i =0, 1, 2, 3-ra. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Ha p(x) és q(x) legfeljebb harmadfokú, akkor r(x) és s(x) is legfeljebb harmadfokú lesz, azaz sem az összeadás, sem pedig a számmal való szorzás nem visz ki V-ből. (Ha p(x) és q(x) pontosan harmadfokú, akkor a fenti műveletekkel csak csökkenhet az eredmény fokszáma, hogyha a p3=q3, akkor például r3=0 lesz, azaz r(x) másodfokú.) A többi axióma is teljesül: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről • 1∙ p(x) = p(x) , hiszen 1∙ pi=pi minden i-re. • λ∙(κ∙ p(x))= (λκ)∙ p(x), mivel λ∙(κ∙ pi)= (λκ)∙ pi teljesül minden i-re. • λ∙ p(x)+κ∙ p(x) = (λ+κ) ∙ p(x)teljesül: (λ∙ p(x)+κ∙ p(x)) i-edfokú együtthatójaλ∙ pi+κ∙ pi = (λ+κ)∙ pi , ami pont ((λ+κ) ∙ p(x)) i-edik együthatója. • p(x)+q(x)= q(x)+p(x), mivel pi+qi= qi+pi • (p(x)+q(x))+r (x) = p(x)+(q(x)+r (x)), teljesül: (pi+qi)+ri= (pi+ qi )+ri Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről •  0, melyre p(x)+0=0+p(x)=p(x), a nullelem a csupa nulla együtthatójú polinom. •  p(x)-hez  p(x), melyre p(x)+ (p(x))= (p(x))+p(x)=0, a p(x) polinom ellentettje az a polinom, melynek minden együttható-ja a p(x) megfelelő együtthatójának ellentettje. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyenek a V halmaz vφ elemei az origó körüli φ szöggel való forgatások. A két elem, vφ és vχ közötti összeadást értel-mezzük φ+χ szöggel való elforgatásként, a vφ elem λ számmal való szorzását pedig λ∙φ szöggel való elforgatásként. Vektortér-e a halmaz a két művelettel? A két művelet nem vezet ki V-ből. • 1∙ vφ = vφ , hiszen az 1∙φ = φ szöggel való elforgatást jelent • λ∙(κ∙vφ)= (λκ)∙vφ teljesül: λ∙(κ∙φ) szöggel való forgatás = (λκ)φ szöggel való forgatás. • (λ+κ)∙vφ = λ∙vφ+κ∙vφ: (λ+κ)∙ φ szöggel való elforgatás = λ∙ φ szöggel való forgatás +κ∙ φ szöggel való forgatás Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről • vφ+vχ =vχ+ vφ: mindegy, hogy előbb forgatok-e φ-vel, aztán χ-vel, vagy előbb χ-vel, aztán φ-vel. • vφ+(vχ+ vψ) = (vφ +vχ)+ vψ: nem számít, hogy egy φ szögű forgatáshoz adok egy χ+ψ szögűt, vagy egy φ+χ szögűhöz egy ψ szögűt, így is úgy is φ+χ+ψ szögűt kapok •  0, melyre vφ+0=0+ vφ= vφ: a nullelem a 0°-kal való elforgatás •  vφ -hez   vφ, melyre vφ+ ( vφ)= ( vφ)+ vφ=0: a vφ ellentett eleme a vφ , a φ szöggel való elforgatás. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről A v1, v2, …, vnV vektorok lineáris kombinációja,egy újabb vektor. A v1, v2, …, vnV vektorok lineárisan összefüggők, ha vannak olyan λ1, λ2, …, λn számok, melyek közül néhány (legalább 2) nem nulla és Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről A v1, v2, …, vnV vektorok lineárisan függetlenek, ha csak akkor teljesül, ha minden λi=0. Egy vektortér n-dimenziós, ha van n darab független vektora, de nincsen n+1 darab független vektora. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Egy n-dimenziós vektortérnek n darab független e1, e2, …, enV vektora alkotja a tér bázisrendszerét, a ei vektorok a bázisvektorok. Minden vV vektor kifejthetőe1, e2, …, enV vektorok lineáris kombinációjaként: A vV vektorok lehetséges reprezentációi: sorvektoros: oszlopvektoros: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen ex az xyz Descartes-koordiná-tarendszer x tengelye irányába mutató egységvektor, ey, az y irányba mutató egységvektor, ezpedig a z irányú egység-vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (vx , vy , vz ), a sorvektoros jelölés egy speciális esete. Legyen e1=(1, 1, 0), e2=(1, 0, 1) és e3=(0, 1, 1). Ez is bázisrendszert alkot: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen ex az xyz Descartes-koordiná-tarendszer x tengelye irányába mutató egységvektor, ey, az y irányba mutató egységvektor, ezpedig a z irányú egység-vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (vx , vy , vz ), a sorvektoros jelölés egy speciális esete. Legyen e1=(1, 1, 1), e2=(1, 0, 1) és e3=(0, 1, 0). Ez nem alkot bázisrendszert: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Példa: Legyen a V hamazunk a legfeljebb hatodfokú polinomok halmaza. Bázisrendszer lehet az {x0, x1, x2, x3, x4, x5, x6} függvényekből álló rendszer, hiszen minden legfeljebb hatodfokú polinom kifejthető ezek lineáris kombinációjaként: A polinomokra is alkalmazható a bázisrendszer rögzítése után a sor- és oszlopvektoros jelölés: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Egy V vektortér U részhalmazát a tér alterének nevezik, ha az összeadás és a számmal való szorzás nem vezet ki belőle (azaz, ha U maga is tér, csak szűkebb, mint V ). • A háromdimenziós euklideszi tér altere például a kétdimenziós euklideszi tér. • A legfeljebb hatodfokú polinomok terében altér a legfeljebb ötödfokú polinomok tere, a legfeljebb harmadfokú polinomok tere,… Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Matematikai kitérő – Vektorterekről Speciális vektorterekben (metrikus terek) lehet két elem közötti távolságot definiálni. A v, uV vektrok d(v,u) távolságára igaz: • d(v,u) ≥0, d(v,v)=0 • d(v,u)= d(u,v) • d(v,u)≤ d(v,w) + d(w,u) háromszög-egyenlőtlenség Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Hamming-távolság A csatorna a rá bocsátott c=c(1), c(2), …, c(n) szimbólumsorozatból – döntés után – egy v=v(1), v(2), …, v(n) szimbólumsorozatot csinál. A c,vCn. Vezessük be c és v eltérésének mérésére egy távolságot:c és vHamming-távolsága azon i pozíciók száma, ahol c(i) ≠ v(i). Jele: d(c,v). A Hamming-távolság teljesíti a távolságfogalom követelményeit: • d(c,v)≥0, d(c,c)=0 • d(c,v)=d(v,c) • d(c,v)≤ d(c,w) + d(w,v) Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Egyszerű és törléses hibázás A csatorna a rá bocsátott c=c(1), c(2), …, c(n) szimbólumsorozatból – döntés után – egy v=v(1), v(2), …, v(n) szimbólumsorozatot csinál. Egyszerű hibázásnak nevezzük azt, ha nem tudjuk, hogy melyik pozíciókban rontott a csatorna, csak azt, hogy hány darab hiba van. Törléses hiba esetén ismerjük a hibázások helyét is, csak azt nem, hogy mennyire romlott el azokon a helyeken a jel. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Kódok halmaza, csatornakódolás Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel A Cn tér azon K részhalmazát, amelyet a kódszavak alkotnak, kódnak nevezik. • Csatornakódolás: • Dekódolás: • döntés: • a kódolás inverze:

Információelmélet – Csatornakódolás Kódtávolság, javítható hibák száma Egy K kód kódtávolsága: a kódszavak közötti Hamming-távolság minimuma. Hibajelzés lehetséges, ha a c kódszavunkból keletkezett v nem egy másik érvényes kódszó: vK. Ha n a hibák száma, akkor n < dmin hibát lehet biztosan jelezni. Hibajelzés után általában megismétlik az üzenetet. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Kódtávolság, javítható hibák száma Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Törléses hiba javítása: ezesetben tudjuk a hibák helyét. A v hibás vett vektort abba a kódszóba javítjuk, amelyik a hibás pozícióktól eltekintve azonos v-vel. Ha több ilyen van, nem tudunk javítani. Ha a két legközelebbi kódszóból dmin komponenst a megfelelő helyről törlünk, akkor azonos maradékot kapunk, ennél kevesebb elem törlésével sehogy sem kaphatunk azonos maradékot.Így n≤ dmin−1 törléses hiba javítható. n=1 hiba javítható: a két vektor különbözik 4 2 5 0 1 3 0 3 1 4 6 5 1 0 4 1 5 0 1 3 0 4 0 4 6 3 1 0 n=4 nem javítható

A javítható egyszerű hibák száma Információelmélet – Csatornakódolás Kódtávolság, javítható hibák száma Egyszerű hiba javítása: nem tudjuk a hibák helyét. A v hibás vett vektort abba a c kódszóba javítjuk, amelyikre d(v,c) a legkisebb. Ha több ilyen van, nem tudunk javítani. A javíthatóság feltétele:A háromszög-egyenlőtlenség szerint: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Singleton-korlát Legyen a kódábécé elemszáma r , a kódsza-vak hossza n , száma M , a kódtávolság pedig dmin. A Singleton-korlát szerint Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k . Legyen r k−1 < M ≤ r k.Több kódszó van (M db) mint ahány k−1 hosszú sorozat, így  ci , cj  K, melyeknek az első k−1 eleme azonos. Ezekre d(ci ,cj )< n−(k−1), így dmin< n−(k−1). Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Singleton-korlát Legyen a kódábécé elemszáma r , a kódsza-vak hossza n , száma M , a kódtávolság pedig dmin. A Singleton-korlát szerint Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k . Legyen r k−1 < M ≤ r k. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Singleton-korlát M egyértelműen megadja k-t, az r k−1 < M ≤ r k -nak egyetlen egész megoldása van: logr M egészrésze. A Singleton-korlát szerint Behelyettesítve k-t: majd r -alapú logaritmust véve: és átrendezve a kódtávolságnak a kódszavak számától függő maximumát kapjuk: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Singleton-korlát Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Az olyan kódok, amelyeknél mindkét helyen egyenlőség áll, maximális távolságú kódok (MDS – Maximum Distance Seprable) A k szám és n, a kódszavak hossza szokott a kód két paramétere lenni.

Információelmélet – Csatornakódolás Hamming-korlát Legyen a kódábécé elemszáma r , a kód paraméterei (n, k ), a javítandó hibák száma n. A Hamming-korlát (gömbpakolási korlát) szerint Bizonyítás: A Cn térben a ciK kódszavak pontok; egymástól minél távolabb vannak, dmin annál nagyobb, így annál több hibát tudunk javítani. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Hamming-korlát Akkor javítunk egy v  Cn hibás vektort a ci kódszóba, ha az a ci körüli n sugarú gömbön belül van. Ezek a gömbök nem fedhetnek át, azaz az összes gömbben levő elemek száma nem lehet nagyobb, mint r n, Cn elemszáma. A c kódszótól pontosan i helyen, a j 1 ,…, j i-edik helyeken eltérő vektorok száma: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Hamming-korlát A j 1 ,…, j i pozíciók megválasztása -féleképpen lehet. A c kódszótól legfeljebbn helyen eltérő vektorok száma: Összesen r k darab kódszó van, mindegyik körül egy-egy sugarú gömb. Egyetlen olyan vektor sincs, amely több gömbben is benne lenne, így a gömbök elemszámainak összege nem lehet több, mint a teljes Cn halmaz elemszáma, r n: Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Perfekt kódok Azokat a K kódokat, amelyekre a Hamming-korlátban egyenlőség teljesül, azaz perfekt kódoknak nevezzük. Az ilyen kódoknál a teljes Cn teret kitöltik a gömbök, szorosan illeszkednek egymás-hoz, a kódszavak egyenletesen helyez-kednek el a téren belül (Hamming-távol-ságot véve), adott n szóhosszra maximális számú kódszót tartalmaznak. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Kódsebesség (jelsebesség) Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel Az információátvitel gyorsasága jellemez-hető akódsebességgel, avagy jelsebességgel.(egy szimbólumra jutó átlagos információ)

Információelmélet – Csatornakódolás Kódsebesség (jelsebesség) Legyen a kódszavak előfordulási valószínűsége azonos, 1/M. Az entrópia ekkora kódsebesség pedig Ha a kódnak csak a legáltalánosabb paraméterei (szóhossz, betűszám) ismertek, ez jó felső becslés a jelsebességre. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Shannon csatornakódolási tétele Ha egy C kapacitású diszkrét, memória-mentes csatornán • R < C, akkor lehet olyan n kódszóhosszt találni, hogy a hibás dekódolás valószínűsége tetszőleges e > 0 számnál kisebb legyen. Az n növelésével csökken e minimuma, azaz csökken a hibás dekódolás valószínűsége. • R > C, akkor nem lehet olyan n kódszóhosszt találni, hogy a hibás dekódolás valószínűsége tetszőlegesen kicsi legyen. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet – Csatornakódolás Shannon csatornakódolási tétele R>C esetén n növelésével a hibás dekódolás valószínűsége, is nő. A tétel nem ad meg módszert jó csatornakódok létrehozására, csak azt mondja ki, hogy jelsebességük kisebb, mint a csatornakapacitás. Csatorna-kódolás Csatornák jellemzése Csatorna-kapacitás Vektorterek Hamming-távolság Hibák típusai Kódtávolság Singleton-korlát Hamming-korlát Csatornakódo-lási tétel

Információelmélet