230 likes | 523 Views
Geoinformationssysteme. Prof. Dr. Stefan Hawlitschka. Themen. Bayes‘sche Entscheidungstheorie Maximum Likelihood Schätzer Maximum a Posteriori Schätzer. Bayes‘sche Entscheidungstheorie. Kontinuierliche Variablen
E N D
Geoinformationssysteme Geoinformationssysteme - Vorlesung 7 - FH Koblenz Prof. Dr. Stefan Hawlitschka
Themen • Bayes‘sche Entscheidungstheorie • Maximum LikelihoodSchätzer • Maximum a Posteriori Schätzer Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie Kontinuierliche Variablen • Wir betrachten mehrere Merkmale mit Merkmalsvektor x im euklidischen Raum Rd. • Wir lassen mehr als zwei Klassen zu • Die Einführung einer Kostenfunktion ermöglicht, bestimmte Fehlklassifizierungen als schwerwiegender zu bewerten als andere • Wir hatten die a posteriori Wahrscheinlichkeit durch die Regel von Bayes definiert: Likelihood A priori Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie Wie konstruieren wir die Wahrscheinlichkeitsfunktionen? • Beispiel für a priori Wahrscheinlichkeit: wie oft kommt jede Klasse in einer Stichprobe vor (empirische Häufigkeit)? • Beispiel für Likelihood: empirische Helligkeitsverteilung p(x|) Daten (Beobachtungen) Empirische Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie • Das Auszählen der Klassenhäufigkeiten liefert meist eine gute Approximation des wahren Priors. • Problem: Die empirische Verteilung ist meist eine schlechte Approximation der Likelihood. Es existieren zu wenige Beobachtungen, um insbesondere hochdimensionale Verteilungen zu schätzen Ansatz: Modellannahmen geben zusätzliche Information zur Struktur des Problems, bzw. der Form der Likelihood. Beispiel: Daten D={x1,…,xk} Helligkeit des Seeteufels. Wir suchen die Verteilung der Zufallsvariablen X. Geoinformationssysteme - Vorlesung 7 - FH Koblenz
„gelernte“ Dichtefunktion Parameterschätzung (ML):Mittelwert = 179 Standardabw. = 9.5 Bayes‘sche Entscheidungstheorie tatsächliche Dichte von X empirische Dichtefunktion Modellannahme: X ist eine normalverteilte Zufallsvariable N(μ,σ2) Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Die Gauß (Normal-) Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Die Gauß-Verteilung T Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Die Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie Loss Funktion und Risk • Seien {1,…,c} die c wahren Zustände und {1,…,a} a mögliche Aktionen (Entscheidungen) • Loss: Die lossfunction (kurz: loss) (i|j) gibt die mit der Entscheidung i(x) verbundenen Kosten (cost) an, wenn die wahre Klassenzugehörigkeit durch wj gegeben ist • Risk: Der Erwartungswert einer loss-Funktion wird risk R genannt. Da P(j|x) die Wahrscheinlichkeit für das Auftreten der Klasse i ist, definieren wir für c Klassen i: • Wenn wir die Daten x messen, können wir die Kosten minimieren, indem wir die Aktion i wählen, welche die riskfunktion minimiert. Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie • Bei kontinuierlichen Variablen x wird die lossfunction zu einer Entscheidungsfunktion (x) für die Werte 1,…,a. Das Gesamtrisiko R ergibt sich zu • Wenn (x) so gewählt ist, dass jedes einzelne R(i(x)) minimal für jedes x ist, ist sicherlich R minimal. • Die Bayes Entscheidungsregel lautet also: Berechne die bedingten riskfunktionenund wähle die Aktion, bei welcher R(i(x)) minimal ist. Das resultierende Gesamtrisiko R* heißt Bayesrisk und die beste erreichbare Lösung Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie Beispiel: Zwei Kategorien Klassifikation • 1 ist die Entscheidung für Klasse 12 die Entscheidung für Klasse 2 • ij sind die Kosten für die Entscheidung für Klasse i, wenn j vorliegt. Wir schreiben die bedingten Risikofunktionen aus: • Üblicherweise würde man sich für 1 entscheiden, wenn R(1|x)< R(2|x). Wenn man dies in den a posteriori Wahrscheinlichkeiten ausdrückt, ergibt sich: • Wenn die richtig definiert worden sind, sind 21-11 und 12-22 positiv. In Praxis ist unsere Entscheidung den wahrscheinlicheren Zustand definiert, und wir können nach obiger Ungleichung die Wahrscheinlichkeiten mit den Differenzen der Loss-Funktionen skalieren. Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie • Nach Anwendung der Regel von Bayes können wir die Entscheidungsregel schreiben als:Wir entscheiden uns für 1, fallsund für 2 andernfalls. Alternative Schreibweise: • Dies ist die Likelihood Ratio und ist eine Entscheidungsregel, welche auf den Likelihood Funktionen der gemessenen Daten x basiert. Wir entscheiden uns für \omega_1, falls die Likelihoodratio eine vorgegebene Schwelle übersteigt. Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie • Loss functions können unterschiedlich definiert werden. Bei der Regression sind es die quadratischen Abstände von der Ausgleichsgeraden. Hier werden die Abweichungen quadratisch gewertet. Wenn bei einer Klassifikation alle Fehlklassifikationen gleich gewichtet werden sollen, wird die so genannte symmetrische oder null-eins loss Funktion angewendet: Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Bayes‘sche Entscheidungstheorie • Bei der 0-1 loss Funktion werden alle Fehler gleich gewichtet und die riskfunction ist gleich der mittleren Fehlerwahrscheinlichkeit Geoinformationssysteme - Vorlesung 7 - FH Koblenz
ML Schätzer für Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz
ML Schätzer für Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz
P(μ|D) MAP Schätzer für Gauß-Verteilung Wir wollen P(μ|D) ∝P(D| μ) P(μ) maximieren. Spezifikation des Priors: P(μ) ~N(μ0,σ02) , μ0 und σ02 sind festgelegt Geoinformationssysteme - Vorlesung 7 - FH Koblenz
MAP Schätzer für Gauß-Verteilung Somit hat p(μ|D) die Gestalt Koeffizientenvergleich ergibt: und , wobei
1 für n∞ 0 für n∞ p(μ|D) nimmt bei μn sein Maximum an, somit ist μn der MAP-Schätzer. Für n∞ geht dieser in den ML-Schätzer μ = über. 0 für n∞ MAP Schätzer für Gauß-Verteilung Auflösen nach μn, σn ergibt (mit ) : Der Posterior versammelt seine Masse mit n∞ immer enger um μn. Mit zunehmendem n wird der Einfluss des Priors (μ0,σ0) auf den Posterior bzw. den MAP-Schätzer immer geringer.
MAP Schätzer für Gauß-Verteilung Geoinformationssysteme - Vorlesung 7 - FH Koblenz
Vielen Dank für Ihre Aufmerksamkeit! Geoinformationssysteme - Vorlesung 7 - FH Koblenz