Grundbegriffe der Wahrscheinlichkeitstheorie

1. Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

2. Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

3. Wahrscheinlichkeitsraum Bauer, 2001, 4 • Modell zur Beschreibung von Zufallsexperimenten • Ein Wahrscheinlichkeitsraum ist ein normierter Maßraum • Es gilt: Ein Wahrscheinlichkeitsraum ist ein Maßraum (Ω, 𝓐, P) • Dabei ist • Ω eine Menge • 𝓐 eine σ-Algebra in Ω, und • P ein Maß 𝓐 auf mit der Normierungsbedingung P(Ω) = 1.

4. σ-Algebra • eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist • Mengensystem 𝓐 über Ω mit folgenden Eigenschaften • ø ∊ 𝓐 • A∊ 𝓐 ⇒ ∊ 𝓐 • A1, A2, … ∊ 𝓐 ⇒ ∊ 𝓐 • Die Elemente A der σ-Algebra 𝓐 eines Wahrscheinlichkeitsraumes (Ω, 𝓐, P) heißen Ereignisse • Die Elemente ω von Ω heißen Elementarereignisse

5. Wahrscheinlichkeitsmaß • P(A) ist die Wahrscheinlichkeit von A oder für das Eintreten des Ereignisses A. • eine Abbildung P : A → [1,0] mit den Eigenschaften • P(A) ≥ 0 für jedes A∊ 𝓐 • Gilt • A1, A2, … ∊ 𝓐 mit • so gilt • P(Ω) = 1

6. Komponenten des Wahrscheinlichkeitsraumes

7. Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1

8. Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel)

9. Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

10. Gesamtmenge Gesamtmenge A A B B AB AB Bedingte Wahrscheinlichkeit P(A) Wahrscheinlichkeit (a priori Wahrscheinlichkeit) - Wahrscheinlichkeit, dass Ereignis A eintritt - betrachtet eine Teilmenge aus der Gesamtmenge - P(A) / P(Gesamtmenge) = P(A) / 1 = P(A) P(A|B) Bedingte Wahrscheinlichkeit (a posteriori Wahrscheinlichkeit) - Wahrscheinlichkeit - dass Ereignis A eintritt, - wenn Ereignis B eingetreten ist - betrachtet eine Teilmenge aus einer Teilmenge - P(A|B) = P(AB) / P(B)

11. 5 15 65 15 Einfache Wahrscheinlichkeit P(A) betrachtet Teilmengen aus der Gesamtmenge, Beispiele Bedingte Wahrscheinlichkeit P(A|B) betrachtet Teilmengen aus einer Teilmenge, Beispiel Das Pferd „Harry“ und das Wetter

12. P(A|B)  P(B|A) 5 15 65 15 Bedingte Wahrscheinlichkeit Definition Schreib-varianten

13. Theorem von Bayes ermöglicht Berechnung von P(B|A) aus P(A|B) Regel von Bayes Theorem von Bayes Herleitung durch Umformung

14. A:win 5 15 B:rain 15 65 Theorem von Bayes ermöglicht Berechnung von P(B|A) aus P(A|B Regel von Bayes Theorem von Bayes Herleitung durch Umformung ,

15. Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

16. Unabhängige Ereignisse Zwei Ereignisse sind voneinander unabhängig, wenn gilt: Typisches Beispiel: Es werden zwei Würfel geworfen. Sei A das Ereignis: der 1. Wurf ist eine 1: P(A) = 1/6 Sei B das Ereignis: der 2. Wurf ist eine 6: P(B) = 1/6 Wahrscheinlichkeit A und B: P(A∩B) = 1/6 · 1/6 = 1/36

17. 10 10 40 40 5 15 65 15 Test zweier Ereignisse auf Unabhängigkeit 17

18. Abhängige und unabhängige Ereignisse diese Formeln gelten in beiden Fällen, da die rechte und die linke Seite äquivalent sind

19. Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

20. Stochastischer Prozess Brants, 1999: 30 • Definition 1 • Sei Ω eine Menge elementarer Zufallsereignisse (Ergebnismenge eines Wahrscheinlichkeitsraumes).Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren ZufallsereignissenX1,X2,…Xi Ω • Definition 2 • Die möglichen Zufallswerte in einem stochastischen Prozess heißen Zustände des Prozesses.Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand Xt befindet

21. Stochastischer Prozess Brants, 1999: 30 • Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man • die Anfangswahrscheinlichkeit:die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X1 beobachtet werden kann (d.h. den Startzustand bildet)πi = P(X1=si) • die Übergangswahrscheinlichkeit:die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt:P(Xt+1 = xt+1 | X1 = x1, X2 = x2, …,Xt= xt)

22. Stochastischer Prozess: Beispiel • Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : • Ω = {geschickt, werden, wir} • wir beobachten an jeder Position, welches Wort generiert wurde • Sei • X1 das Wort zum ersten Beobachtungszeitpunkt • X2 das Wort zum zweiten Beobachtungszeitpunkt, usw. • Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter • Für diese Folge kann man eine Wahrscheinlichkeit angeben

23. Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

24. Markow-Kette Brants,Crocker,Lieblang, 2000:22 Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand Xt+1 bei bekanntem gegenwärtigem Zustand Xtunabhängig von den vergangenen Zuständen Xt-1, Xt-2,…,X0 ist. Es giltP(Xt+1 = j | Xt = it, Xt-1 = it-1, …,X1 = i1, X0=i0) = P(Xt+1 = j | Xt = it) daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern

25. Endliche Markow-Kette Brants, 1999: 31 • Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden • Prozess • „ohne Gedächtnis“ • mit endlich vielen Zuständen • entspricht den Eigenschaften eines endlichen Automaten

26. Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel Markow-Modell 1. Ordnung Markow-Modell 2. Ordnung … Kunze, 2001 • nach einem q folgt oft ein u, • Vorhersage über 2. Buchstaben hinter q? • abhängig von q? • nach einem s folgt ein c, dann folgt ein h • Vorhersage über 3. Buchstaben hinter s? • abhängig von s?

27. Markow-Kette: Matrix-Darstellung Manning/Schütze, 2000: 318 kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A Anfangswahrscheinlichkeiten Π

28. Markow Model: Definition

29. Markow-Kette: Graph-Darstellung .5 .3 wir .4 .3 .2 .4 werden .3 .3 .4 .4 geschickt .2 .3 kann beschrieben werden durch Zustandsübergangsgraphen

30. Markow-Kette: Berechnung einer Sequenz-Wahrscheinlichkeit Manning/Schütze, 2000: 320 Wahrscheinlichkeit der Sequenz der Zustände X1 … XT für eine Markow-Kette gilt:

31. Markow-Kette: Berechnungsbeispiel Wahrscheinlichkeit der Sequenz der Zustände X1 … XT

32. Literatur • Bauer, Heinz (2001). Wahrscheinlichkeitstheorie. de Gruyter. 5. verbesserte Auflage. • Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript 15. Juni 1999 • Brants, Thorsten; Matthew Crocker und Enrico Lieblang(2000). Statistische Methoden in der Sprachverarbeitung. Seminarskript. http://www.coli.uni-saarland.de/~thorsten/stat00/skript.ps.gz • Manning, Christopher D.; Schütze, Hinrich (1999): Foundationsof Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: http://www.sultry.arts.usyd.edu.au/fsnlp) • Versionen 11.1.2013, 26.5.2009, 31.10.2005, 4.5.2002