Teoria da Informação: o legado de Shannon

1. Teoria da Informação: o legado de Shannon Carlos Salema Academia das Ciências

2. Índice • Introdução • Definição e medida da informação • Informação do sinal analógico • O sistema de comunicação • Capacidade do canal binário • Transmissão digital • Capacidade do canal analógico • Codificação • Conclusões Academia das Ciências

3. Introdução Claude Shannon • A mathematical theory of communication, Bell System Technical Journal, Vol. 27, 1948, pp.379—423 e pp. 623—656 • Probability of error for optimal codes in a gaussian channel, Bell System Technical Journal, Vol 38 (1959), pp. 611—656. Academia das Ciências

4. Introdução Harry Nyquist Certain Topics in telegraph transmission theory, Transactions of the AIEE, Vol. 47, Abril 1928, pp. 617-644 Ralph Hartley Transmission of Information, Bell System Technical Journal, Julho 1928, pp. 535—564 Academia das Ciências

5. Introdução Dolinar, S., Divsalar, D. e Pollara, F. Code Performance as a Function of Block Size, TMO Progress Report, Maio 1998. Academia das Ciências

6. Definição e medida da informação Informação é qualquer mensagem enviada pela fonte ao destinatário e que este só pode conhecer recebendo-a ou “adivinhando-a”. Academia das Ciências

7. Definição e medida da informação Se for p a probabilidade do destinatário “adivinhar” a mensagem a informação I é: bit A informação mede-se em dígitos binários, ou bits (do inglês binary digits, proposto por J. W. Tukey) Academia das Ciências

8. Definição e medida da informação Sejam i = 1, 2, …, n mensagens independentes, com probabilidades associadas pi . A informação I do conjunto de mensagens é: Academia das Ciências

9. Definição e medida da informação Exemplo1: Qual a informação associada a uma carta retirada aleatoriamente de um baralho ? Academia das Ciências

10. Definição e medida da informação Exemplo 2: Qual a informação num texto de 2000 caracteres, em língua desconhecida para o receptor ? Academia das Ciências

11. Definição e medida da informação Se os caracteres não forem equiprováveis, a quantidade de informação da mensagem é dada por: Academia das Ciências

12. Informação do sinal analógico Qual a informação de um sinal analógico ? s(t) t Academia das Ciências

13. Informação do sinal analógico Se o sinal analógico tiver uma frequência limite superior b pode ser reconstituído a partir de 2b amostras por segundo. Se cada amostra for quantificada em n níveis (equiprováveis) a informação, por amostra, vale: Academia das Ciências

14. Informação do sinal analógico A informação do sinal analógico por unidade de tempo vale: Academia das Ciências

15. Informação do sinal analógico Exemplo 3: Qual a informação do sinal de voz ? Se o sinal de voz for limitado a 3400 Hz, a amostragem for feita a 2x4 kHz e as amostras quantificadas com 256 níveis, a informação é: Academia das Ciências

16. Informação do sinal analógico A voz não é um sinal contínuo, há pausas entre palavras e entre-sílabas e nem todos os níveis de discretização são equiprováveis. A informação do sinal de voz tal qual foi descrito, tem irrelevâncias e redundâncias. Com um código apropriado consegue-se transmitir o sinal de voz com qualidade praticamente igual à conseguida com o processo descrito com apenas 8 a 11 kbit/s Academia das Ciências

17. O sistema de comunicação Fonte Emissor Canal Destina-tário Receptor Ruído Academia das Ciências

18. O sistema de comunicação A fonte Se a fonte usar um alfabeto com n símbolos cada um com probabilidade pi , a informação (ou entropia) por símbolo é: bit/símbolo Academia das Ciências

19. O sistema de comunicação A fonte binária Seja uma fonte binária e sejam p e q as probabi-lidades dos símbolos (0 e 1). A informação por símbolo da fonte é: Academia das Ciências

20. O sistema de comunicação • Ifonte p Academia das Ciências

21. O sistema de comunicação O canal binário Um canal transmite à velocidade de v (bit/s) mas alguns bits são recebidos com erro (taxa de erros ber). Qual a velocidade máxima c de transmissão sem erros (capacidade do canal) ? Academia das Ciências

22. A capacidade do canal binário A informação que chega ao receptor não é: Se fosse, para ber = 0.5 Mas a informação que chega ao receptor é nula, uma vez que a probabilidade de errar é igual à probabilidade de acertar ! Academia das Ciências

23. A capacidade do canal binário A informação, por símbolo transmitido, que chega ao receptor, é dada por: em que com q = 1—p Academia das Ciências

24. A capacidade do canal binário Admitindo que ambos os símbolos são afec-tados de igual modo a informação perdida devido aos erros, em bit/símbolo, é: Academia das Ciências

25. A capacidade do canal binário A capacidade do canal (em bit/s) é Agora para ber = 0.01 vem C ≈ 0.919v e para ber = 0.5 vem, correctamente, C = 0. Academia das Ciências

26. A capacidade do canal binário c/v ber Academia das Ciências

27. A capacidade do canal binário Qual a relação entre a largura de banda b e a capacidade do canal ? Se o canal tiver uma largura de banda b (em Hz)pode transmitir 2b sinais binários, logo a capacidade C, em bit/s, é: Academia das Ciências

28. A capacidade do canal binário Como é que um canal com uma taxa de erros ber pode transmitir sem erros ? Recorda-se que a capacidade do canal é a velocidade máxima de transmissão sem erros Academia das Ciências

29. A capacidade do canal binário Codificação O emissor transforma o sinal da fonte noutro sinal adicionando-lhe bits suplementares que permitem detectar e corrigir os erros da transmissão. O receptor recebe o sinal do canal, corrige-o, usando os bits suplementares, e entrega-o ao destinatário Academia das Ciências

30. Transmissão digital Considere-se um canal analógico, com ruído aditivo branco e gaussiano, no qual se pretende transmitir um sinal em código polar, isto é um sinal que toma os valores s = + a e s = – a. Academia das Ciências

31. Transmissão digital • À saída do canal, o ruído de amplitude x, sobrepõe-se ao sinal. A reconstituição do sinal, é feita com o seguinte algoritmo: • Se s + x ≥ 0 admite-se que o sinal transmitido foi +a • Se s + x < 0 admite-se que o sinal transmitido foi –a Academia das Ciências

32. Transmissão digital • Existe erro quando: • se transmite s = + a e se recebe s + x < 0 • se transmite s = – a e se recebe s + x ≥ 0 Academia das Ciências

33. Transmissão digital Como x tem uma distribuição de amplitudes gaussiana com média nula e desvio s em que p é a probabilidade de transmitir s = +a e q = 1– p a probabilidade de transmitir s = – a. Academia das Ciências

34. Transmissão digital Tomando p = q = 1/2 vem: em que Erfc é a função complementar de erro. Academia das Ciências

35. Transmissão digital É habitual representar a probabilidade de erro em termos da energia média de bit ebe da densidade de ruído por unidade de largura de banda n0. Se o sinal tiver a forma de um pulso rectan-gular, a energia média de bit é: Academia das Ciências

36. Transmissão digital Como a potência associada ao ruído é: a densidade de ruído por unidade de largura de bandaé: Academia das Ciências

37. Transmissão digital pelo que a probabilidade de erro vem: Recordando que Academia das Ciências

38. Transmissão digital perro Eb/N0 [dB] Academia das Ciências

39. A capacidade do canal analógico Para determinar a capacidade do canal analó-gico, começa-se por calcular a entropia cor-respondente à tensão de ruído, admitindo que o seu espectro de potência é branco e limitado superiormente a b, e que a estatística de amplitudes é gaussiana, com média nula e desvio padrão s. Academia das Ciências

40. A capacidade do canal analógico O ruído pode ser descrito por 2b amostras, cada uma das quais tem uma distribuição de amplitude gaussiana. Como a informação associada a uma fonte contínua é: Academia das Ciências

41. A capacidade do canal analógico Uma vez que o ruído é gaussiano: a entropia por amostra de ruído vem: Academia das Ciências

42. A capacidade do canal analógico Atendendo a que a potência associada ao ruído é: Obtém-se a entropia associada às 2b amostras de ruído: Academia das Ciências

43. A capacidade do canal analógico A entropia de um sinal (analógico) com potência s a que se adiciona ruído com potência n, tem uma entropia dada por: Academia das Ciências

44. A capacidade do canal analógico A capacidade do canal analógico é a diferença entre a entropia do sinal mais ruído e a entropia do ruído: Academia das Ciências

45. A capacidade do canal analógico A capacidade do canal telefónico, com 3.4 kHz com uma relação sinal-ruído de S/N = 40 dB (boa qualidade), ou seja, s/n= 104 é C = 45.2 kbit/s Academia das Ciências

46. A capacidade do canal analógico Retomando a capacidade do canal analógico Como s = eb fb (em que fb é a frequência de bit) e n = n0 b a capacidade c vem: Academia das Ciências

47. A capacidade do canal analógico ou Academia das Ciências

48. A capacidade do canal analógico perro ? Eb/N0 (dB) Academia das Ciências

49. Codificação A solução é a codificação: introdução de bits adicionais na mensagem que permitem detectar e corrigir erros. Para manter a potência do sinal há que reduzir a energia média por bit o que, por si só aumenta a probabilidade de erro de bit. A troca compensa como se irá demonstrar. Academia das Ciências

50. Codificação Os códigos caracterizam-se por dois inteiros, (n,k). Para cada k símbolos de entrada o código produz n símbolos de saída. Designa-se por razão do código Na prática 1/2 ≤ rc ≤ 1 Academia das Ciências