2.7 Validierung durch Backtesting

1. 2.7 Validierung durch Backtesting • Problem aller bisheriger Methoden: Ergebnis ist nur so gut wie das Modell selbst. • Modell besteht im Wesentlichen aus zwei Faktoren: • Einflussgrößen • Modellierungsalgorithmus • Einflussgrößen sind oft real beobachtbare Marktdaten, z.B. Aktienpreise -> Keine Genauigkeitsprobleme bei börsengehandelten Produkten • Genauigkeit des VaR beim Marktrisiko liegt also in der tatsächlichen VaR-Berechnung Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

2. Backtesting = Vergleich der prognostizierten VaRs mit den tatsächlich eingetretenen Wertänderungen • Vergleich dazu Stresstesting = Analyse möglicher zukünftiger Wertänderungen mittels Szenarien und Expertenschätzungen. • Wesentlich für die Auswahl des Backtestingverfahrens sind • Beobachtungszeitraum • Genauigkeit der Analyse / interner vs. offizieller Backtest • Automatisierbarkeit • Konfidenzniveau • Art der VaR-Berechnung Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

3. Regulatorische Vorgaben • Seit 1996 können Banken eigene Verfahren zur VaR-Berechnung ihres Marktrisikos verwenden • Wie ist der Zusammenhang zwischen VaR und tatsächlich benötigtem Eigenkapital? • Banken: „VaR = Eigenkapital“ • Problem: Modellrisiko nicht mit eingerechnet Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

4. Value-at-Risk vs. Eigenkapital • Problem: Modellfehler kann zu VaR-Unterschätzungen führen • Regulatoren: „Eigenkapital = Tatsächliches Risiko inklusive Modellfehler“ • Annahme: Sensitivität des VaR gegenüber dem Modell ist nach oben durch eine Konstante beschränkt Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

5. Modellfehler bei Normalverteilungsannahme: • Tschebyscheff-Ungleichung • Ergebnis für das 99%-Quantil: k=10, d.h. 10σ ist Obergrenze des 99%-Quantils einer beliebigen Verteilung F mit beschränkter Varianz. • Vergleich zur Normalverteilung: Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

6. Resultat: Tatsächlicher VaR beim 99%-Quantil ist maximal das 4.29-fache des „Normal“-VaR. • Modellfehler bei anderen Schätzmethoden (Hist. Simulation, MC-Methode) bewegt sich in ähnlichen Rahmen (siehe Stahl, G. „Three Cheers“, Risk Vol.10, No.5) • Gesetzliche Umsetzung: Je nach festgestellter Güte des Modells wird als Eigenkapital das 3-4 fache des berechneten VaR zum Konfidenzniveau 0,99 veranschlagt. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

7. Eigenkapital = VaR * (3 + s), 0 ≤ s ≤ 1 • Wahl von s abhängig vom einfachsten Backtest, der Basler Ampel • Basler Ampel zählt VaR-Überschreitungen innerhalb eines Jahres • Grundannahme: 250Tage/Jahr entspricht ca. 2-3 Überschreitungen des 99% VaR. 10 Überschreitungen entsprechen in etwa 96% Konfidenz Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

8. Analytische Methoden • Annahme: Das Ereignis „VaR-Überschreitung tritt ein“ wird beschrieben durch eine B(1;0,01)-Zufallsvariable • Die Wahrscheinlichkeit des Eintretens am Tag n ist unabhängig von einem Eintreten am Vortag • Die VaR-Überschreitungen in einem festgelegten Zeitraum N sind daher B(N;0,01) verteilt • Beispiel: „Basler Ampel“ benutzt eine B(250;0,01)-ZV als Grundlage Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

9. Basler Ampel überprüft (stark vereinfacht) die Hypothese, dass das beobachtete Konfidenzniveau mit dem vorgegebenen Konfidenzniveau übereinstimmt. x = Anzahl der Überschreitungen N = Anzahl der Messstellen (Backtestingpunkte) q = 1-Konfidenzniveau = x/N = 1-(empirisches Konfidenzniveau) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

10. Proportion of Failures (POF) Testüberprüft die Nullhypothese dass das beobachtete Quantil mit dem vorgegebenen übereinstimmt • POF-Test benutzt Likelihood-Ratio-Statistik • LR-Statistik ist asymptotisch χ²-verteilt mit einem Freiheitsgrad. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

11. Überschreitet der Wert der LR-Statistik einen kritischen Wert wie z.B. das 95%-Quantil der Chi-Quadrat(1)-Verteilung wird die Nullhypothese abgelehnt, andernfalls wird sie angenommen • Beispiel: In einem Zeitraum von 2 Jahren hat die Bewegung eines Portfolios 8 mal den 99%-VaR überschritten. Ist das VaR-Modell aufgrund dieser Beobachtung zu verwerfen? q=0,01; N=500; x=8; (kritischer Wert) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

12. Time until First Failure (TUFF) Testgeht davon aus dass „im Mittel“ alle q-1 Tage eine Überschreitung auftritt (bei q=0,01 also alle 100 Tage) Die Nullhypothese dazu lautet • ν ist die Zahl der Tage bis zur ersten VaR-Überschreitung • Überprüfung erneut mittels Likelihood-Ratio-Statistik, die asymptotisch χ²-verteilt ist mit einem Freiheitsgrad. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

13. Vergleich zwischen POF und TUFF Test: • POF-Test untersucht Tragfähigkeit des VaR-Modells über den gesamten Beobachtungszeitraum • TUFF-Test untersucht eher zeitlich bedingte Richtigkeit des VaR • Nachteil des TUFF-Tests: Sehr geringe Güte, stark abhängig von der Wahl des Zeithorizontes -> Für die Praxis in dieser Form nicht relevant • Nachteil des POF-Tests: Keine Aussage über Ausmaß der VaR-Überschreitung -> Gut bewertetes Modell kann VaR dennoch stark unterschätzen Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

14. Lösung des Überschreitungsproblems: Ausmaß der Überschreitung muss in den Backtest miteinfließen • Magnitude Loss Function misst sowohl Anzahl der Überschreitungen als auch Abstand zum tatsächlichen VaR • Richtwert für C wird mittels Monte-Carlo-Simulation ermittelt • Ist der gemessene Wert größer als der Richtwert, wird das VaR-Modell verworfen. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

15. Magnitude Loss Function verhindert, dass wenige extreme Ausreißer zu einer Akzeptanz des Modells führen (eventuell auch Nachteil) • MLF ist allerdings für sich betrachtet wenig aussagekräftig • Beispiel: Die maximalen Verluste eines Portfolios im Laufe eines Jahres werden mit zwei VaR-Schätzern zum Konfidenzniveau 99% berechnet. Schätzer A führt an 249 Tagen zu keiner Überschreitung und an einem Tag zu einer Überschreitung von 2237 EUR. Schätzer B führt an 230 Tagen zu keiner Überschreitung und an 20 Tagen zu einer Überschreitung von 500 EUR. C(A)=1+2237²=5.004.170 C(B)=20(1+500²)=5.000.020 Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

16. CD-Test berücksichtigt nicht nur Überschreitungen sondern bewertet die Güte der gesamten Verteilung. • Nachteil: Kann bei Schätzern ohne geschlossene Verteilungsannahme (z.B. EVT) nicht verwendet werden • CD-Test nimmt an, dass die Renditen gleichverteilte Ziehungen aus dem VaR-Modell sind, d.h. die empirischen Perzentile sollten einer R(0,1)-Verteilung genügen. • Überprüfung der Hypothese mittels Q-Test (vergleicht maximale Abstände zur Gleichverteilung mit einem Benchmark) • Durch eine „Worry-Funktion“ wie f(t)=0,5ln(t(1-t)) kann der Fokus des Tests auf die Tails gelegt werden. Der kritische Wert des Q-Tests wird dann mit einer MC-Simulation ermittelt. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

17. Graphische Methoden • Neben den analytischen Methoden benutzen insbesondere die Regulatoren auch graphische Methoden zur Überprüfung des VaR-Modells • Einfachste graphische Methode: Plot des VaR im Vergleich zur Zeitreihe, bzw. Plot der Überschreitungen • Gibt Auskunft darüber wie stark der VaR überschritten wurde. • Zeigt eventuelle Abhängigkeiten zwischen den Überschreitungen auf Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

18. 99% und 95% VaR im Vergleich zur Zeitreihe des NASDAQ (long) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

19. Überschreitungen des 99% VaR Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

20. Überschreitungen des 95% VaR Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

21. Einfache graphische Methode zur Überprüfung der Modellannahmen: QQ-Plot, der die Quantile der empirischen Verteilung mit den Quantilen der Modell-Verteilung vergleicht. • Oftmals Verwendung findet der QQ-Normal-Plot, der die empirischen Quantile mit den Quantilen der Standardnormalverteilung vergleicht. • Stimmen die empirische Verteilung und die Test-Verteilung überein, so liefert der QQ-Plot eine Gerade. • Stimmen zusätzlich die Parameter der Verteilung überein, so entsteht eine Gerade mit Steigung 1. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

22. QQ-Normal-Plot des NASDAQ Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

23. QQ-Plot der empirischen Quantile des NASDAQ gegen eine Pareto-Normal-Pareto-Verteilung Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

24. Ebenfalls Auskünfte über die Eignung des VaR-Modells kann eine graphische Analyse des CD-Tests geben • Perzentile werden sortiert und geplottet. Ist das Ergebnis eine Gerade, so ist die Gleichverteilungsannahme gerechtfertigt • Nachteil: Geringe Abweichungen zur Gleichverteilung in den Tails können zu gravierenden Fehlern führen • Mögliche Lösung: Histogramm der geordneten Perzentile. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

25. Geordnete Perzentile des CD-Tests einer historischen VaR-Simulation der EXXON-Aktie (long) Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

26. Histogramm des CD-Tests Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

27. Zusammenfassung • Analytische Backtests sind oft „blind“ gegenüber Problemen des VaR-Modells, wie Abhängigkeit der Überschreitungen, Höhe der Überschreitungen, Anzahl der Überschreitungen • Graphische Analysen geben oft mehr Aufschluss, können jedoch nicht automatisiert werden • Zuverlässiges Backtesting erfordert eine Reihe verschiedener Backtests um die Schwächen der einzelnen Test-Verfahren zu eliminieren • Zusätzlich sind oftmals graphische Tests erforderlich um die tatsächlichen Schwächen des Modells aufzudecken Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

28. Angewandtes Backtesting Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004

29. Mathematisch-Statistische Verfahren des Risikomanagements - SS 2004