Föreläsning 2: Grundläggande informationsteori

1. TSBK02 Bild- och ljudkodning Föreläsning 2:Grundläggande informationsteori Författare: Jörgen AhlbergÖversättning och modifiering:Robert Forchheimer

2. The Informationsteori Claude Shannon: A Mathematical Theory of Communication Bell System Technical Journal, 1948 Två versioner av Shannons ursprungliga publikation.

3. Från Scientific American-artikel • ”What is information? Sidestepping questions about meaning, Shannon showed that it is a measurable commodity”. • ”Today, Shannon’s insight help shape virtually all systems that store, process, or transmit information in digital form, from compact discs to computers, from facsimile machines to deep space probes”. • ”Information theory has also infiltrated fields outside communications, including linguistics, psychology, economics, biology, even the arts”.

4. Kanal Källa Kanal Kanal- kodare Käll- kodare Käll- avkodare mottagare Kanal- avkodare Shannons Kommunikationsmodell

5. kanal Källa kanal Kanal- kodare Käll- kodare Käll-avkodare mottagare Kanal- avkodare Grundläggande storheter H R C C H: Källans informationstakt. R: Datatakten från källkodaren. C: Kanalkapaciteten

6. kanal Källa kanal Kanal-kodare Käll-kodare Käll-avkodare mottagare Kanal-avkodare Grundläggande teorem H R C C Shannon 1: Felfri transmission möjlig om R>H and C>R. Shannon 2: Källkodning och kanalkodning kan optimeras oberoende, och binära symboler kan användas som mellanformat. Förutsättning: godtyckligt lång fördröjning.

7. Källa X1, X2, … Stokastiska källor • En källa genererar symbolerX1, X2, ... • Symbolerna tar sina värden från ett alfabetA= (a1, a2, …). • Modell:P(X1,…,XN) anses vara känd för alla kombinationer.

8. Exempel 1: En text är en följd av symboler som vardera tar sitt värde från alfabetetA= (a, …, ö, A, …, Ö, 1, 2, …9, !, ?, …). Exempel 2: En (digital) gråskalebild är en sekvens av symboler som vardera tar sitt värde från alfabetet A= (0,1) eller A= (0, …, 255).

9. Två speciella fall • Den minnesfria källan • Varje symbol är oberoende av tidigare symboler • P(X1, X2, …, Xn) = P(X1) *P(X2) * … *P(Xn) • Markovkällan • Varje symbol beror endast av föregående symbol. • P(X1, X2, …, Xn)= P(X1) *P(X2|X1) *P(X3|X2) * … *P(Xn|Xn-1)

10. b 0.7 a 0.5 1.0 0.3 c 0.2 0.3 Markovkällan • En symbol beror endast av den tidigare symbolen, så källan kan modelleras med ett tillståndsdiagram. En ternär källa medalfabet A= (a, b, c).

11. Markovkällan • Antag vi är i tillstånd a, dvs., Xk = a. • Sannolikheterna för nästa symbol är: b 0.7 P(Xk+1 = a | Xk = a) = 0.3P(Xk+1 =b | Xk = a) = 0.7P(Xk+1 = c | Xk = a) = 0 a 0.5 1.0 0.3 c 0.2 0.3

12. b 0.7 P(Xk+2 = a | Xk+1 = b) = 0P(Xk+2 =b | Xk+1 = b) = 0P(Xk+2 = c | Xk+1 = b) = 1 a 0.5 1.0 0.3 c 0.2 0.3 Markovkällan • På motsvarande sätt, om Xk+1 = b, vet vi att Xk+2 blir lika med c.

13. Markovkällan • Om alla tillstånden kan nås så kan de stationära sannolikheternai= P(Xk = ai)för tillstånden beräknas från de givna övergångssannolikheterna. • Markovmodeller kan användas för att representera källor som har mer än ett stegs minne. • Använd tillståndsdiagram med flera symboler i varje tillstånd.

14. Analys och syntes • Stokastiska modeller kan användas för att analysera en källa. • Finn en modell som väl överensstämmer med en verklig källa. Analysera modellen istället för verkligheten. • Stokastiska modeller kan användas för att syntetisera en källa. • använd en slumpgenerator i varje steg i Markovmodellen för att skapa en signal som simulerar källan.

15. Information och Entropi • Antag vi har en binär minnesfri källa t.ex. slantsingling. Hur mycket information får vi då vi får reda på att krona kommit upp? • Om myntet är korrekt, dvs, P(krona) = P (klave) = 0.5, säger vi att mängden information är 1 bit. • Om vi redan visste att krona kommit upp, dvs P(krona) = 1, så är mängen information lika med noll! • Om myntet är osymmetriskt, t.ex., P(krona) = 0.9, så är mängden information mer än noll men mindre än en bit! • Intuitivt, mängden information som tas emot är densamma om P(krona) = 0.9 or P (klave) = 0.9.

16. Självinformation • Låt oss se detta på Shannons sätt. • Antag vi har en minnesfri källa med • alfabet A= (a1, …, an) • symbolsannolikheter (p1, …, pn). • Hur mycket information får vi när vi får reda på att nästa symbol är ai? • Enligt Shannon är självinformationen för ai lika med

17. Varför det? Antag två oberoende händelserA and B, medsannolikheterna P(A) = pA and P(B) = pB. Sannolikheten att båda händelserna skall inträffa är pA*pB. Däremot bör mängden informationadderas, ej multipliceras. Logaritmering löser detta! Dessutom vill vi att informationen skall öka med minskande sannolikhet så låt oss byta tecken:

18. Exempel 2: Självinformation Exempel 1: Vilken logaritm? Välj själv! Om du väljer naturliga logaritmen blir sorten nats, om du väljer 10-log, får du Hartleys, om du väljer 2-log (som är vanligast), så får du bitar.

19. I medel över alla symbolerna, så får vi: Självinformation H(X) kallas för första ordningens entropi för källan. Detta kan också betraktas som graden av osäkerhet om vad nästa symbol kommer att ha för värde.

20. kallas ofta Låt BMK 0 1 1 0 1 0 0 0 … Då är 1 Osäkerheten (informationen) är störst när 0 0.5 1 Entropi Exempel l:Binär minnesfri källa

21. Entropi: Tre egenskaper • Man kan visa att 0 <H<log N. • Maximal entropi (H = log N) fås när alla symboler är lika sannolika, dvs,pi = 1/N. • Skillnaden log N – H kallas redundansen hos källan.

22. Entropi för minneskällor • Antag ett block av källsymboler (X1, …, Xn) och definiera blockentropin: • Entropin för en minneskälla definieras som: Dvs, summationen görs över alla möjliga kombinationer av n symboler. Dvs, låt blocklängden gå mot oändligheten.Dividera med n för att få antal bitar / symbol.

23. Entropin för en Markovkälla Entropin för ett tillstånd Sk kan uttryckas som Pkl är övergångssannolikheten från tillstånd k till tillstånd l. Medelvärdesbildning över alla tillstånd gerentropin för Markovkällan

24.  A B 1- 1-  Skurlängdskällan • Vissa källor genererar långa skurar(”runs”) av samma symboler. • Exempel: • Sannolikheten för en skur av längd r: P(r) = (1-)r-1 • Entropi: HR = - r=1¥P(r) logP(r) • Om den genomsnittliga skurländgen är , så är HR/ = HM.

25. Källkodningsteoremet Entropin ger det minsta antalet bitarsom möjliggör felfri representation av källan.

26. Källkodningsteoremet • Säger • att vi kan representera utsignalen från en källa X med H(X) bitar/symbol. • att vi inte kan göra bättre än så. • Säger oss inte • Hur man gör.