I. 3 Capacité d’un canal

I. 3 Capacité d’un canal

Sommaire 1. Modèle de transmission 2. Équivoque 3. Transinformation 4. Mesure du bruit 5. Capacité d’un canal 6. Second théorème de Shannon

1. Modèle de transmission • X = {x1, x2, … , xk, … , xn} |X| = n • Alphabet de l’émetteur • Y = {y1, y2, … , yj, … , ym} |Y| = m • Alphabet du récepteur • On mesure p (xk/yj) SOURCE PUITS CANAL xk yj

Point de vue du Récepteur (Puits) • x est un symbole inconnu • y est un symbole connu • x et y sont corrélés non indépendants • Mesure en bits l’incertitude sur x connaissant y

Un exemple X = {a, b} p(a) = p(b) = 1/2 I(a) = I(b) = 1 bit Y = {c, d} p(a/c) = p(b/d) = 3/4 p(b/c) = p(a/d) = 1/4 I(a/c) = I(b/d) = log2(4/3) = 2 - log23 bits I(b/c) = I(a/d) = log2(4) = 2 bits I(a/c) = 2 - log23 < 1 donc I(a/c) < I(a) l’incertitude sur a a diminué en connaissant c la connaissance de c apporte de l’information sur a I(a/d) = 2 > 1 donc I(a/d) > I(a) l’incertitude sur a a augmenté en connaissant d la connaissance de d apporte de la « désinformation » sur a

2. Équivoque Mesure en bits l’information sur x apportée par y

Exemple • I(a;c) = I(a) - I(a/c) = 1 - 2 + log3 = log3 - 1 > 0 c apporte une information positive sur a • I(a;d) = I(a) - I(a/d) 1 - 2 = -1 < 0 d apporte une information négative sur a

Incertitude sur la source pour yj reçu • Mesure en bits l’incertitude moyenne sur la source X connaissant un symbole reçu yj  Y • On montre que H(X/yj) ≤ H(X) • La connaissance d’un symbole reçu diminue toujours l’incertitude sur la source

Incertitude sur la source

Equivoque • H(X/Y) mesure en bits l’incertitude en moyenne sur la source connaissant en moyenne les symboles reçus ou l’entropie de la source connaissant le puits • On montre que H(X/Y) ≤ H(X) • La connaissance moyenne des symboles reçus diminue toujours l’incertitude sur la source • Cette mesure s’appelle aussi EQUIVOCATION ou EQUIVOQUE

3. Transinformation • Mesure en bits l’information sur la source X apportée par la connaissance du puits Y • On montre que I (X;Y) = I (Y;X) ≥ 0 • Cette quantité est appelée TRANSINFORMATION ou INFORMATION MUTUELLE

Propriétés I(X;Y) = H(X) - H(X/Y) = I(Y;X) = H(Y) - H(Y/X) • L’information apportée par le puits sur la source est égale à l’information apportée par la source sur le puits (symétrie source/puits) 0 ≤ I(X;Y) ≤ H(X) 0 ≤ I(X;Y) ≤ H(Y) • L’information apportée par Y sur X est au plus égale à l’incertitude sur X ou Y

Cas extrêmes • H(X/Y) = 0 • l’incertitude sur X est nulle quand on connaît Y • I(X;Y) = H(X) • l’information apportée par Y égale l’incertitude sur X • H(X/Y) = H(X) • X et Y sont indépendants • L’incertitude sur X reste la même quand on connaît Y • I(X;Y) = 0 • Y n’ « apprend » rien sur X

4. Mesure du bruit Matrice de bruit du canal p(yj/xk) Probabilité que xk se « transforme » en yj xk yj SOURCE PUITS CANAL

Bruit & Incertitude • On connaît • la distribution de la source p(xk) • le bruit du canal p(yj/xk) distribution de chaque sortie (yj) pour chaque entrée (xk) propriété • On en déduit • la distribution du puits p(yj) • La distribution de la source p(xk/yj) connaissant le puits

Calculs • Théorèmes de Bayes • Distribution du puits • Incertitudes sur la source

Dégradation de l’information • Les distributions • source et puits p (xk) et p (yj) • source connaissant le puits p (xk/yj) • permettent de mesurer • l’entropie de la source H (X) • l’équivoque de la transmission H (X/Y) Mesure globale et synthétique du bruit • l’information transmise I (X;Y) • L’équivoque est une mesure en bits de la dégradation de l’information transmise avec du bruit

Propriétés d’un canal • stationnaire j,k p(yj/xk) indépendant du temps • sans mémoire j,k p(yj/xk) indépendant de la suite des xk transmis • symétrique |X|=|Y| et j,k p(yj/xk) = p(yk/xj) • binaire |X|=|Y|=2 • déterministe k (i p(yi/xk) = 1,j≠i p(yj/xk) = 0)  on montre que I(X ; Y) = H(Y)

Caractéristiques du bruit d’un canal • sans brouillage |X|=|Y| , déterministe et j (i p(yj/xi)=1, k k≠i p(yj/xk)=0)  on montre que H(X/Y) = 0 et I(X ; Y) = H(X)  aucune équivoque • totalement brouillé H(X/Y) = H(X) I(X;Y) = 0  aucune information transmise

5. Capacité d’un canal • Adaptation de la source au bruit du canal • I(X;Y) représente l’information transmise par le canal • I(X;Y) dépend de la distribution de la source X • Il existe donc (au moins) une distribution de X telle que I(X;Y) soit maximum • On peut modifier la distribution de X en codant la source pour l’adapter au bruit du canal

Définition • Mesure en bits la quantité maximum d’information qu’un canal peut transmettre, en faisant varier la distribution de la source • C’est une limite infranchissable due au bruit qui est une caractéristique du canal

Propriétés • Toute variation de H(X)  variation de H(X/Y) variation de I(X;Y)   valeur max de I(X;Y)

6. Second théorème de Shannon SOURCE Codeur Décodeur PUITS y v CANAL u x bruit

Erreur de transmission • Erreur : x ≠ y donc u ≠v • Probabilité p (x≠y) • Exemple x = x0 x1 … xn-1 xi {0, 1} y = y0 y1 …yn-1 yi {0, 1} p = p (yi≠ xi) probabilité d’un bit « faux » -- cas d’un canal binaire symétrique -- p (x ≠ y) = 1 - (1-p)n ≈ np si p « petit » ex : p = 10-3 n=8 p(x≠y) = 0,007972

Débit et Capacité • Débit d’information bits/s • RT = H(U) / Ts Ts période de la source s • Capacité de transmission bits/s • CT = C / Tc Tc période du canal s SOURCE Codeur CANAL u x

Codage par blocs • T période de stockage et de codage d’un mot u  U* composé d’une suite de symboles ui • Le « bloc » à coder contient TxRT symboles • Si U = {0, 1} 2TxRTsymboles possibles • A chaque séquence de symboles u correspond une séquence de N symboles du code x  X • On peut choisir • i T • ii le code : C  X • iii le codage f : U  X

Théorème de Shannon • Si il est possible de choisir ii et iii tels que Où f(RT) est une fonction décroissante indépendante de T telle que f(RT) = 0 pour RT = CT

Si • il n’est pas possible de borner p (x≠y) Claude Shannon montrant la fonction f (RT)

Conclusion • Pour diminuer p (x≠y) on peut  Augmenter f (RT) donc diminuer RT ce qui diminue RT/CT donc diminue le débit RT • Banal  on ajoute de la redondance • Augmenter T pour une valeur de RT donnée • Génial  pas de diminution du débit • Mais  on allonge la longueur du code • Et  on complexifie le codage ! • Enfin on ne connaît aucune méthode constructiviste

Énoncé du théorème « Pour un débit d’information d’une source inférieur d’une valeur aussi petite que l’on veut à la capacité de transmission du canal, il est toujours possible de trouver un code qui rend la probabilité d’erreur aussi petite que l’on veut »

Interprétation • CT - RT < 1  f (RT) < 2 • e-T f(RT) < 3  T . f (RT) > ln (1/3)  • T > ln (1/3) / f(RT) > ln (1/3) / 2 •  cette valeur de T peut être considérable !

Redondance • Exemple U = X = {0, 1} • u = u0 u1 … um le bloc à coder • x = x1 x2 …… xn le code de u x = g(u) • X contient de la redondance  n > m • Mesure de la redondance r = (n-m) / m • Le second théorème de Shannon nous apprend qu’on peut trouver des codes redondants tels que r  0 (on ne diminue pas le débit) quand n   (on augmente la longueur du code)

Signaux continus • Si X et Y sont des ensembles infinis continus, on peut aussi calculer CT • Exemple • W bande passante du signal • S énergie du signal • N énergie du bruit gaussien, de moyenne nulle, additif et blanc (uniforme en fréquence)

I. 3 Capacité d’un canal