Teoria da Informação - Um Enfoque Para Telecomunicações

1. Teoria da Informação- Um Enfoque Para Telecomunicações

2. SHANNON : O grande mestre da Teoria da Informação • Claude Elwood Shannon é considerado o pai da Teoria da Informação ou Teoria das Comunicações. Trabalhou na empresa Bell Laboratories (USA) como Matemático e Engenheiro. • Shannon nasceu na cidade de Gaylord, Michigan, USA , aos 30 de Abril de 1916 e morreu em 2001 aos 84 anos.

3. S H A N N O N

4. Tópicos Gerais : • Informação • Quantidade de Informação • Entropia • Banda de Transmissão • Ruído • Capacidade de Canal ( Shannon )

5. Introdução Conceituando o sistema de comunicação: A Fonte A Informação A Mensagem

6. Conceitos Importantes • Elementos de um Sistema de Comunicação sinal transmitido fonte transmissor Canal receptor destino Ruído, interferência sinal de entrada

7. Introdução à Teoria da Informação FONTE É o ente que produz a informação. Dispõe de elementos simples e símbolos. destinatário fonte

8. Introdução à Teoria da Informação Fontes de informação podem ser classificadas em duas categorias: a - fontes de informação analógica: emissão de sinais de amplitude contínua - Ex: microfone captando a voz, câmara TV.. b- fontes de informação discretas: emissão de símbolos discretos . Ex: saída de modem digital, saída de computador, saída de conversor A/D, etc...

9. Introdução à Teoria da Informação A fonte de informação discreta apresenta em sua constituição: O ELEMENTO BÁSICO : • que é o componente mais simples que entra na composição representativa da informação. Por exemplo: 0 e 1

10. Introdução à Teoria da Informação • O SÍMBOLO : que é formado por um conjunto ordenado de elementos. Os símbolos que compõem uma fonte também são fixos e definidos. Ex.: com os elementos 0 e 1 podemos compor os simbolos: 10,101..1100...

11. Introdução à Teoria da Informação • O alfabeto da fonte pode ser o alfabeto de elementos ou alfabeto de símbolos. • MENSAGEM:consiste de um conjunto ordenado de símbolos que a fonte seleciona de seu alfabeto, ... 10011 10001 01110 elemento Símbolo

12. Introdução à Teoria da Informação A mensagem é uma realização que se caracteriza por apresentar configurações variáveis ao longo do tempo e, também, para um observador externo à fonte, por apresentar símbolos de um modo aleatório.

13. Introdução à Teoria da Informação A cada símbolo corresponde uma certa quantidade de informação, que é função de suas probabilidades de ocorrência. A cada mensagem se associa uma certa quantidade de informação, dada pela soma das quantidades de informação de cada símbolo.

14. Introdução à Teoria da Informação • A produção de uma seqüência de símbolos, que podem ser letras , notas musicais, dados, imagens, etc, operando de acordo com certas probabilidades, é chamado um “processo estocástico”, “aleatório” ou “randômico” . • Um caso especial, quando as probabilidades dependem de eventos antecedentes, é denominado processo Markov ou cadeia de Markov.

15. Introdução à Teoria da Informação O processo de comunicação consiste em estabelecer o fluxo de informações entre fonte e destinatário, o que é feito através da transmissão dos símbolos que compõem a mensagem. MENSAGEM  DESTINO FONTE CANAL

16. “ Só conhecemos realmente um fenômeno quandopodemos medí-lo e compará-lo” ( Darwin ) Quantidade de Informação É possível medir??

17. Introdução à Teoria da Informação Do ponto de vista técnico a informação é analisada no que diz respeito às características de diversidade e de aleatoriedade dos símbolos que a fonte seleciona.

18. Introdução à Teoria da Informação fonte JOGO: Quem adivinhar a carta Recebe US$ 50,00 ? Número distinto de símbolos Os símbolos recebidos são imprevisíveis

19. Introdução à Teoria da Informação O nível de incerteza a respeito da ocorrência de um símbolo pode ser expresso pela probabilidade de ocorrência deste símbolo. Esta probabilidade é fundamental para a medida da quantidade de informação que cada símbolo carrega para o destinatário.

20. Introdução à Teoria da Informação A probabilidade de sair a face 5 é de 1 em 6 (total de eventos possíveis). P = 1/6

21. Incerteza do Jogador P= 1 => certeza total 0,7 – grau de incerteza antes que o evento ocorra Informação é a “quantidade de incerteza” Sobre a ocorrência de um símbolo, Que é anulada quando este símbolo ocorre. 0,3 grau de certeza (probabilidade que aconteça um evento) antes que o evento ocorra P = 0 => incerteza total Se a probabilidade é p=0,3, o grau de incerteza é 0,7. Quando o evento ocorre, passa p=0,3 para p=1

22. Introdução à Teoria da Informação • Quanto maior o número de símbolos disponíveis na fonte ( isto é, sua variedade), maior será o grau de incerteza sobre qual símbolo será selecionado para envio. destinatário ? P( verde ) = 0,5

23. Introdução à Teoria da Informação • Grau de liberdade: • se todos os símbolos têm igual probabilidade de serem selecionados, a fonte possui o maior grau de liberdade possível na seleção.

24. Introdução à Teoria da Informação • Informação e sua Medida. FONTE COM SÍMBOLOS MENSAGEM: conjunto de símbolos Fonte “X” , com um conjunto de símbolos ( x1, x2 ..xi )

25. Introdução à Teoria da Informação Variedade de Símbolos: a- alfabeto com “n” elementos. b - símbolo composto por uma combinação de “m” elementos dentre os “n”. Configurações possíveis => N = nm

26. Princípios de telecomunicações • A fonte seleciona os símbolos ao produzir a mensagem. • Para o observador externo, que desconhece a lógica da fonte, a escolha é aleatória. • Pode-se associar a cada símbolo selecionado uma certa probabilidade de ocorrência.

27. Introdução à Teoria da Informação • Quantidade de Informação inerente a um símbolo xi : I(xi) = f [ P (xi)] P(xi) = probabilidade de ocorrência.

28. Introdução à Teoria da Informação Esta função deve ter as seguintes propriedades: • 1. Se P(xi) = 1 ENTÃO I (xI) = 0 • 2. Se P (xi) = 0 ENTÃO I ( xi ) =  • 3. I (xi ) é monotônica decrescente com P( xi) A função será: I (xi ) = - log 2 P (xi ) (bits)

29. Introdução à Teoria da Informação • Dada uma fonte X, sabemos: Símbolo x1, x2, .... xn Probabilidade de Ocorrência: ..... P (xn ) Informação Própria do Símbolo... I (xn) A quantidade de informação de um evento (associado a uma mensagem) é definida como o logaritmo do inverso da probabilidade deste evento. I (xi ) = log 2 1 / P (xi )

30. Comunicação e Informação • A informação é recebida pelo destinatário quando este identifica o símbolo recebido com um dos de seu alfabeto. • A informação se transforma em comunicação quando os símbolos identificados pelo destinatário possuem um sentido interpretável por ele.

31. Comunicação e Informaçãoem resumo! A equação de Shannon para relacionar a quantidade de informação (I) • Com a probabilidade (p) é a seguinte: • I = log2 (1 /p) • I = quantidade de informação de um símbolo • p = probabilidade da mensagem que se transmite • log2 = logaritmo na base 2

32. Um conceito fundamental : ENTROPIA : é a medida da quantidade de informação presente num experimento (não em um símbolo apenas) randômico ou aleatório. Quanto maior a quantidade de informação de um experimento, maior será sua entropia.

33. Introdução à Teoria da Informação Para telecomunicações o que nos interessa é a quantidade de informação média ao longo do tempo para dimensionar os sistemas de telecomunicações.

34. Introdução à Teoria da Informação X FONTE M=[a,b,c...s] • Ou seja : Dada uma fonte “X” atuando... Com M símbolos, com mj ocorrências, cada símbolo ocorrendo xj vezes; teremos assim uma quantidade “Q” total de informação. A a a a b b s s s s s s a a a s

35. Introdução à Teoria da Informação Problema: • Quando a fonte era conhecida ( nosso dado com 6 faces) conhecíamos as probabilidades, como p(2) = 1/6. • Mas numa fonte desconhecida como saber a probabilidade de um evento isolado?

36. Seja a experiência “lançamento de um dado 1000 vezes” E determinar a freqüência relativa do aparecimento da face 6. P(6) = 1/6 0,167 Freqüência relativa do aparecimento de 6. Número total de ocorrência da face 6 = 169

37. Lei de Bernouilli lei fraca dos grandes números. O valor mais provável da freqüência relativa a ser encontrado, quando a experiência é realizada um grande número de vezes, é numericamente igual a probabilidade do evento isolado

38. QUANTIDADE de Informação gerada Q =  mi I (xi ) = n i =1 Q = quantidade de informação mi = número total de ocorrências de cada símbolo xi n = todos os diferentes símbolos da fonte.

39. Introdução à Teoria da Informação Q=  mi I (xi ) i =1 n M = número total de símbolos utilizados Lembrando a lei fraca dos grandes números, se M for suficientemente grande podemos tomar mi / M por P (xi) Então vamos dividir a expressão por M

40. Introdução à Teoria da Informação Lembrando que: I(xi) = - Log2 P ( xi ) Conteúdo total de informação n  Q P (xi ) I ( xi ) = HX) = M I = 1 H (X) Entropia Número total de símbolos

41. ENTROPIA n  H(x) = P (xi ) I ( xi ) I = 1 OU MELHOR: n  H(x) = - P (xi ) log2 P ( xi ) I = 1

42. ATENÇÃO • Não confudir o parâmetro I com o parâmetro H

43. Introdução à Teoria da Informação Um exemplo prático: a, b, c, d, e, f, g, h, i, j, l, m, n, o, p, q, r, s, t, u, v, x, z Observação: Você deve estar se perguntando pelas letras W, Y e K.Elas não pertencem mais ao nosso alfabeto.São usadas apenas em casos especiais

44. Introdução à Teoria da Informação • As mensagens a serem transmitidas são compostas pelas 23 letras do alfabeto, (N =23) formando combinações aleatórias. • Como as mensagens têm a mesma probabilidade, a ENTROPIA do sistema será: • H = log2 N ou • H = log2 23 • H = 5 significa que necessitamos de 5 bits para codificar cada uma das letras do alfabeto.

45. Introdução à Teoria da Informação B Ex.: alfabeto com elementos 0 e 1 e m = 5 25 = 32 • Código telegráfico • : Baudot E L O

46. Introdução à Teoria da Informação • A informação média ou entropia em uma fonte com m símbolos xi é máxima quando as probabilidades de seus símbolos forem equiprováveis.

47. Introdução à Teoria da Informação Em telecomunicações encontramos fontes que emitem símbolos binários ou bits. • Cada bit assume dois estados: 0 ou 1 • Logo temos P(0) e P(1) H(X) = -[P(1) log2 P(1) + P(0) log2 P(0)] shanonn/símbolo

48. Introdução à Teoria da Informação Se as ocorrências de (0) e (1) forem equiprováveis temos P(1) = P(0) =1/2 H(X) = 1 shannon/símbolo Ou 1 bit / símbolo

49. Introdução à Teoria da Informação • Quanto todos os símbolos são equiprováveis a quantidade de informação média por símbolo é numericamente igual à quantidade de informação própria de cada símbolo e igual a variedade. H(X) = I(xi ) = v

50. Entropia • Tendo calculado a Entropia de uma fonte e obtido: H(X) = 0,8 • Isto significará que esta fonte em sua escolha de símbolos, com a finalidade de formar uma mensagem, estará com aproximadamente 80% de grau de liberdade.