Robuste Schätzung

1. Robuste Schätzung • Einführung • Schätztheorie • Ansätze für robuste Schätzer • Herleitung einer Schätzfunktion • Klassen von Schätzfunktionen Ausgleichungsrechnung II Gerhard Navratil

2. Methode der kleinsten Quadrate Eigenschaften • Größte Wahrscheinlichkeit für ausgeglichene Werte • Erwartungstreue Beliebt weil Schätzer linear  einfach zu handhaben Nachteil: Anfällig für grobe Fehler Ausgleichungsrechnung II Gerhard Navratil

3. Annahme bei der Methode der kleinsten Quadrate Fehler der Beobachtungen normalverteilt Annahme getroffen aufgrund des zentralen Grenzwertsatzes Gilt nur wenn (idealerweise) • Frei von groben Fehlern • Keine systematischen Einflüsse Meist nicht in vollem Umfang gegeben! Ausgleichungsrechnung II Gerhard Navratil

4. X 2 3 4 5 1 Beispiel (1) 5 Festpunkte, jeweils Strecke zu Neupunkt gemessen 200m 100m Ausgleichungsrechnung II Gerhard Navratil

5. Beispiel (2) Einführen eines groben Fehlers Strecke 1 – X statt 282,844m neu 292,844m (10m-Fehler) Vorher: Ausgleichungsrechnung II Gerhard Navratil

6. Beispiel: Was fällt auf? Grober Fehler (10m) verursacht Fehler in ausgeglichenen Koordinaten von 5m (y) und 2m (x) Generell große Verbesserungen (nicht nur bei Seite 1-X) Dieses Beispiel: Nur ein grober Fehler – Elimination der Beobachtung aufgrund Verbesserungen möglich Ausgleichungsrechnung II Gerhard Navratil

7. Ursache für Versagen? Voraussetzung für Funktionieren von Methode der kleinsten Quadrate war Normalverteilung der Beobachtungen Grobe Fehler  nicht normalverteilt Ausgleichungsrechnung II Gerhard Navratil

8. Wünschenswert wäre Klare Abtrennung grober Fehler Notwendig: Verbesserung bei groben Fehlern korrigiert diesen Fehler ganz/fast Also: Ergebnis nur von ‚korrekten‘ Beobachtungen beeinflusst! Methoden, bei denen das passiert: Robuste Schätzer z.B. Median Ausgleichungsrechnung II Gerhard Navratil

9. Eigenschaften für robuste Schätzer • Verteilungsrobust: Fehler im stochastischen Modell sollen wenig stören • Datenrobust: Gute Ergebnisse bei groben Fehlern in Datenmaterial • Modellrobust: Ergebnis hauptsächlich von ‚guten‘ Daten beeinflusst • Hohe Trennfähigkeit: Grobe Fehler sollen an Verbesserungen erkennbar sein • Optimale Ergebnisse: Ergebnisse sollen der Methode der kleinsten Quadrate entsprechen Ausgleichungsrechnung II Gerhard Navratil

10. Fortsetzung Beispiel (1) Lösung des Beispiels mit Least Median Square (LMS): Alle eindeutigen Lösungen bestimmt, Median der Verbesserungs-quadrate, Minimum gibt Lösung 10 Lösungen, Lösung mit minimalem Median ist Vorher: Ausgleichungsrechnung II Gerhard Navratil

11. Fortsetzung Beispiel (2) Ergebnis unterscheidet sich kaum von Lösung ohne groben Fehler Falsche Beobachtung (1 von 5 = 20%) hat keinen Einfluss Verbesserungen: Fehler leicht zufinden! Ausgleichungsrechnung II Gerhard Navratil

12. Fortsetzung Beispiel (3) Weitere Methode (siehe Kraus Photo-grammetrie Bd. 2): Iterative Ausgleichung mit Kehrwerten der Verbesserungen als Gewichten 1. 2. Ausgleichungsrechnung II Gerhard Navratil

13. Fortsetzung Beispiel (4) Einfluss der grob falschen Beobachtung wird immer geringer  Verbesserung wird größer Nach der 17. Iteration: Lösung ändert sich nicht mehr Ausgleichungsrechnung II Gerhard Navratil

14. Schätztheorie Schätzfunktion + Eigenschaften Einflussfunktion: Misst Einfluss einer Änderung im Parametervektor auf die Schätzfunktion Verlustfunktion: Abweichung der Schätz-funktion vom optimalen Ergebnis Ausgleichungsrechnung II Gerhard Navratil

15. Schätzfunktion Funktion, die den gesuchten Parameter aus den Beobachtungen ableitet  Beobachtungsgleichungen Schätzwert für unbekannten Parameter Tn Anhand dieses Schätzwertes Untersuchung der Eigenschaften der Schätzfunktion Ausgleichungsrechnung II Gerhard Navratil

16. Einflussfunktion (1) Überlegung: Gegeben (n-1) Zufalls-variablen Xi mit empirischer Verteilung Fn-1 und Schätzfunktion Hinzufügen einer weiteren Zufallsvariable: Ausgleichungsrechnung II Gerhard Navratil

17. Einflussfunktion (2) Differenz der Schätzfunktionen Tn-1 und Tn multipliziert mit Anzahl der Zufallsvariablen Sensibilitätskurve SC Beschreibt den Effekt des Hinzufügens einer Beobachtung auf die Schätzfunktion n ∞, also 1/n=e: Einflussfunktion IF Ausgleichungsrechnung II Gerhard Navratil

18. Einflussfunktion (3) Misst Effekt einer infinitesimalen Änderung in den Daten auf den Schätzer Theoretisch strenges aber abstraktes Maß Grobe Fehler: Nur Schätzfunktion mit beschränktem Einfluss kann robust sein Typen von Schätzfunktionen: • Monoton, unbeschränkt: arithmetisches Mittel • Monoton, beschränkt: Median • Beschränkt mit Sprung auf 0: Arithmetisches Mittel mit Verwerfungsregel • Beschränkt mit stetigem Übergang auf 0: Hampel-Schätzer Ausgleichungsrechnung II Gerhard Navratil

19. Einflussfunktion (4) Aus: Wicki (1999) Robuste Schätzverfahren für die Parameterschätzung in geodätischen Netzen, S. 36 Ausgleichungsrechnung II Gerhard Navratil

20. Verlustfunktion r Verbesserungen: erfüllen funktionales Modell Schätzfunktion für Verbesserungen notwendig Verlustfunktionr(v): Abweichung der Schätzfunktion vom optimalen Ergebnis Gauß‘sche VerlustfunktionMethode der kleinsten Quadrate Ls-Norm-Schätzer: Ausgleichungsrechnung II Gerhard Navratil

21. Konsistenz Schätzfunktion Tn für Parameter t ist konsistent, wenn Tn bei wachsendem n gegen t konvergiert Also: Je größer die Stichprobe desto sicherer die Schätzung Ausgleichungsrechnung II Gerhard Navratil

22. Erwartungstreue Erwartungstreu: Erwartungswert ist gleich dem zu schätzenden Parameter, also Muss unabhängig von der Anzahl der Realisierungen gelten Bias: Bias bei erwartungstreuen Schätzern gleich Null Ausgleichungsrechnung II Gerhard Navratil

23. Bruchpunkt Grenzwert für den Prozentsatz grob falscher Beobachtungen vor Verlust der Erwartungstreue Bruchpunkt 10%: bis zu 10% der Beobachtungen dürfen falsch sein und das Ergebnis ist noch korrekt Arithmetisches Mittel, Methode der kleinsten Quadrate: Bruchpunkt 0% Maximal möglicher Wert: 50% (Median, LMS) Voraussetzung: Keine Hebelbeobachtungen Angabe in Geodäsie nicht möglich (außer 0%) Ausgleichungsrechnung II Gerhard Navratil

24. Effizienz (1) Schätzvarianz Maß für die Streuung der Schätzfunktion um den Erwartungswert  möglichst klein! Effizienz: Verhältnis zwischen kleinst-möglicher Schätzvarianz und Schätz-varianz der verwendeten Schätzfunktion Ausgleichungsrechnung II Gerhard Navratil

25. Effizienz (2) Praktische Anwendungen: Möglichst hohe asymptotische Effizienz, also Oft nur relative Effizienz erreichbar – relativ effizient, wenn Schätzvarianz kleiner als die anderer Schätzfunktionen Ausgleichungsrechnung II Gerhard Navratil

26. Suffizienz Suffizient, wenn alle relevanten Informatio-nen der Stichprobe verwendet werden Nicht gegeben, wenn bestimmte Informa-tionen nicht einfließen z.B. Punkt durch 3 Strecken bestimmt, Lösung nur aus 2 Strecken berechnet Ausgleichungsrechnung II Gerhard Navratil

27. Hebelbeobachtung (1) Daten, die geometrisch weit entfernt von der Masse der übrigen Daten liegen Bsp: Ausgleichende Gerade Ausgleichungsrechnung II Gerhard Navratil

28. Hebelbeobachtung (2) Beobachtungsgleichungen bei Qll=I: v=Ax-l L2-Norm liefert Projektionsmatrix (Hatmatrix) H Kofaktoren der Verbesserungen: Qvv=I-H Ausgleichungsrechnung II Gerhard Navratil

29. Hebelbeobachtung (3) Für die Spur von Qvv gilt: Spur gleich Rang  idempotente Matrix Für die Redundanzanteile gilt Also Bezug Redundanzanteil – Geometrie Ausgleichungsrechnung II Gerhard Navratil

30. Hebelbeobachtung (4) Wert von hii groß (nahe bei 1)  Hebelbeobachtung Beobachtung mit kleiner Redundanz (nur schwach kontrolliert)  Hebelbeobachtung „Gute“ Hebelbeobachtungen haben einen starken positiven Einfluss auf das Ergebnis der Schätzung Aber: Fehler nur schwer lokalisierbar Ausgleichungsrechnung II Gerhard Navratil

31. Behandlung von Hebelbeobachtungen • Optimierung der Beobachtungspläne • „Entgeometrisierung“ des Modells • Hampel-Krasker-Schätzer (nach Caspary (1996), Anmerkungen zum robusten Schätzen) Ausgleichungsrechnung II Gerhard Navratil

32. Problem bei Hebelbeobachtungen Maskierung bei Gruppe von Beobachtungen Beispiel: nicht unabhängige Wieder-holung einer Messung Ausgleichungsrechnung II Gerhard Navratil

33. Maskierte Hebelbeobachtung Distanz c istunvollständigkontrolliert! rc = 0%, grober Fehler fällt nicht auf Strecke c 2x gemessen  rc1 = 50%, rc2 = 50%grober Fehler in einer Messung fällt auf Grober Fehler in beiden Beobachtungen (nicht unabhängig)  fällt nicht auf! Ausgleichungsrechnung II Gerhard Navratil

34. Ansätze für robuste Schätzer (1) Messfehler x: Wahrscheinlichkeit P, dass x Werte aus einem Bereich X beschrieben über Verteilungsfunktion Geodäsie: Annahme Normalverteilung, also Systematische Einflüsse meist vorhanden  Störung! Ausgleichungsrechnung II Gerhard Navratil

35. Ansätze für robuste Schätzer (2) Robuste Schätzer: Messfehler gehören Stammverteilung oder Störverteilung an Wahrscheinlichkeit e, dass Messfehler auftreten Für Stammverteilung G meist Normalverteilung Schätzer robust, wenn gute Schätzwerte auch bei nicht streng normalverteilten Daten Ausgleichungsrechnung II Gerhard Navratil

36. Herleitung der Schätzfunktion (1) Beispiel: Methode der kleinsten Quadrate Eindimensionale Schätzfunktion Gauß‘sche Verlustfunktion Extremwertaufgabe ist Ausgleichungsrechnung II Gerhard Navratil

37. Herleitung der Schätzfunktion (2) Lösung: 1. Ableitung gleich Null setzen Eindimensionaler Fall: Arithmetisches Mittel Mehrdimensionaler Fall: Annahme unkorrelierte, gleichgenaue Messungen, also Qll=P=I: Ausgleichungsrechnung II Gerhard Navratil

38. Herleitung der Schätzfunktion (3) Verlustfunktion soll minimal werden Erste Ableitung Y der Verlustfunktion Da variable Größen in x und nicht in v: Kettenregel Ausgleichungsrechnung II Gerhard Navratil

39. Herleitung der Schätzfunktion (4) Wegen v=Ax-lmuss gelten Einführung von(Zeilenvektor der A-Matrix) führt zu Matrizenschreibweise Liefert das Normalgleichungssystem Ausgleichungsrechnung II Gerhard Navratil

40. Herleitung der Schätzfunktion (5) Modifizierte Gauß‘sche Verlustfunktion, Erste Ableitung: Und somit Einsetzen von v=Ax-lgibt Ergibt keine robuste Schätzfunktion ! Ausgleichungsrechnung II Gerhard Navratil

41. M-Schätzer (1) Verallgemeinerung der Maximum Likelihood-Schätzer: M- oder Huber-Schätzer Eng verwandt mit Methode der kleinsten Quadrate Verlustfunktion so gewählt, dass Schätzer robust, dann bekannte Bedingung Ausgleichungsrechnung II Gerhard Navratil

42. M-Schätzer (2) Eindimensionaler Fall:Verlustfunktionliefert arithmetisches Mittel Nicht robust! Beurteilung der Eigenschaften: Einfluss-funktion bestimmen, nach Hampel und Borutta: Ausgleichungsrechnung II Gerhard Navratil

43. M-Schätzer (3) Zeile ai: Einfluss der i-ten Beobachtung auf den Unbekanntenvektor Funktion Y(vi) ist bei M-Schätzern proportional zur Einflussfunktion Wenn Einflussfunktion beschränkt: robust  Für Diskussion der Eigenschaften der Verlustfunktion reicht Diskussion von Y  Oft Einflussfunktion nicht explizit bestimmt Ausgleichungsrechnung II Gerhard Navratil

44. M-Schätzer (4) Annahme: Stammverteilung G, Störver-teilung S, geringe Anzahl von Ausreißern Stetige, konvexe Verlustfunktion mit robusten Eigenschaften: Ausgleichungsrechnung II Gerhard Navratil

45. M-Schätzer (5) Ausgleichungsrechnung II Gerhard Navratil

46. L-Schätzer (1) Linearkombination von Ordnungsstatistiken Einfachster Fall: Direkt beobachtete Größen, n Beobachtungen, nach Größe sortiert L(i) …i-te Ordnungsstatistik der Stichprobe Schätzfunktion Ausgleichungsrechnung II Gerhard Navratil

47. L-Schätzer (2) • Gleiche Gewichte (1/n): arithmetisches Mittel • a1=an=1/2, sonst 0: Schätzung nach Tschebyscheff Beide Lösungen nicht robust! Ausgleichungsrechnung II Gerhard Navratil

48. L-Schätzer (3) • Abschneiden des größten und kleinsten Wertes • Alle Werte außer mittlerem Wert abschneiden: Median Beide Lösungen robust! Ausgleichungsrechnung II Gerhard Navratil

49. Ls-Norm-Schätzer (1) Verlustfunktion als Potenz der Verbes-serungsabsolutbeträge Erste Ableitung wird Normalgleichungen: Ausgleichungsrechnung II Gerhard Navratil

50. Ls-Norm-Schätzer (2) Es zeigt sich, dass Y-Funktion beschränkt für  in diesem Bereich robust Ausgleichungsrechnung II Gerhard Navratil