1 / 14

Za začetek

Za začetek. Podatek ≠ informacija Podatek je zapis – nosilec informacije Podatek je informacija, ko nam kaj pove Informacija je vedno povezana z zmanjšanjem nedoločenosti Bit: množina informacije, ki jo dobimi kot odgovor na vprašanje, na katerega sta možna dva enakoverjetna odgovora

olin
Download Presentation

Za začetek

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Za začetek • Podatek ≠ informacija • Podatek je zapis – nosilec informacije • Podatek je informacija, ko nam kaj pove • Informacija je vedno povezana z zmanjšanjem nedoločenosti • Bit: množina informacije, ki jo dobimi kot odgovor na vprašanje, na katerega sta možna dva enakoverjetna odgovora • Bit: včasih enota za množino informacije, včasih binarni simbol

  2. Množina informacije • Hartley (1927): objektivno merjenje informacijske vsebine S: signal N: ševilo možnih različnih enakoverjetnih stanj (vrednosti) signala Več ko ima signal stanj, več informacije lahko vsebuje (nosi) signal. Na primer: N=2 (binarni signal); log 2 = 1 bit informacije (iz enega opazovanja). N=256 (večvrednosti oz. večnivojski signal); log 256 = 8 bitov informacije.

  3. Množina informacije • Iz G zaporednih opazovanj – elementov signala dobimo G-krat toliko informacije kot iz enega opazovanja

  4. Množina informacije • N = 2; G = 10; I = 10 x 1 = 10 • Element signala – signalni element – zavzame dano število možnih stanj: • (napetostnih) nivojev • frekvenc • faz • kombinacij le-teh • N = 4; G = 5; I = 5 x 2 = 10

  5. × Množina informacije, entropija • E. C. Shannon (1948): tvorec sodobne teorije informacij • Signal S = { s1, s2, ... , si, ... , sN } • Verjetnosti stanj P = { p1, p2, ... , pi, ... , pN } • H(S) : entropija signala

  6. Nedoločenost Informacija H(S) I(S) = 0 H(S) = 0 I(S) = H(S) “opazovanje” – prenos signala Množina informacije, entropija • Entropija je merilo za nedoločenost signala (dvom v njegovo stanje) • Entropija je povprečna nedoločenost na stanje • Informacija nastane kot posledica zmanjšanja nedoločenosti • Predno sprejmemo signal, ne vemo v kakšnem stanju je • Njegova nedoločenost je zato H(S) • Ko sprejmemo signal, se njegova nedoločenost zmanjša • Če ga popolnoma spoznamo, dobimo I(S) = H(S) informacije • Seveda se med prenosom nekaj informacije lahko tudi izgubi, I(S) < H(S)

  7. Prevajana informacija I(X,Y) = H(Y) – H(Y/X) = H(X) – H(X/Y) Nedoločenost Informacija H(X) I(X,Y) = 0 H(X/Y) I(X,Y) = H(X) – H(X/Y) “opazovanje Y”

  8. 8 Prevajana informacija H(Y)=H(7/16,9/16) H(X) = H(1/2, 1/2) H(Y/X=x1) = H(p(y1/x1), p(y2/x1) = H(1/2, 1/2) H(Y/X=x2) = H(p(y1/x1), p(y2/x1) = H(3/8, 5/8) H(Y/X) = p(x1) H(Y/X=x1) + p(x2) H(Y/X=x2) = = ½ H( ½, ½) + ½ H(3/8, 5/8) = ½ • 1 + ½ • 0,954 = 0,977 b I(X,Y) = H(Y) – H(Y/X) = H(7/16,9/16) – H(Y/X) = 0,989 – 0,977 =0,012 b

  9. Prevajana informacija H(Y)=H(p(y1),p(y2)) H(X) = H(p(x1),p(x2))

  10. Nedoločenost signala, še to • Entropija signalaje največja, kadar so vsa stanja signala enako verjetna. • Razumljivo, tedaj je dejansko stanje signala najtežje napovedati.

  11. Informacijski pretok • C: maksimalni možni informacijski pretok – kapaciteta kanala • F: frekvenčna širina kanala • V: število enakoverjetnih stanj signala • S: moč signala; N: moč šuma

  12. Baud (Bd) in Bit na sekundo (b/s) • Z Baudi podajamo število signalnih elementov na časovno enoto • Z b/s (bps) podajamo informacijski pretok – hitrost prenosa • Za binarne signala je hitrost prenašanja v Bd številčno enaka b/s • Hitrosti v Bd večkrat rečemo tudi modulacijska hitrost

  13. Za konec • Podatek ≠ informacija • Podatek je zapis – nosilec informacije • Podatek je informacija, ko nam nekaj pove • Informacija je vedno povezana z zmanjšanjem nedoločenosti • Bit: včasih enota za množino informacije, včasih binarni simbol • Bit: množina informacije, ki jo dobimi kot odgovor na vprašanje, na katerega sta možna dva enakoverjetna odgovora. • Bit: binarni simbol (0 ali 1) • En binarni simbol vedno ne vsebuje tudi en bit informacije. • En binarni simbol nosi največ en bit informacije • Razmerje med dejansko in maksimalno možno množino informacije, je redundanca – odvečnost. • Na primer: 1MB (megabajt) podatkov nujno ne vsebuje 8 Mb informacije • Na primer: podatkovni pretok 1MB/s ni nujno enak informacijskemu pretoku 8 Mb/s.

More Related