Ottimizzazione multi obiettivo e vincolata applicata ad un modello di regressione lineare multipla

1. Ottimizzazione multi obiettivo e vincolata applicata ad un modello di regressione lineare multipla Studio dell’effetto congiunto che variabili macro e microeconomiche esercitano sui rendimenti azionari ing. Mattia Ciprian (DipEne) dott. Giulia Nogherotto (DETA) dott. Massimiliano Kaucic (DETA)

2. Lo studio prende l’avvio dalla volontà di costruire un modello di regressione lineare multifattoriale per lo studio dell’indice MSCI Europe in relazione all’andamento di alcune variabili di tipo macroeconomico e microeconomico nel tempoL’indagine si concentra in un primo momento sullo studio dell’indice settoriale Energy del MSCI EuropeIl lavoro che presentiamo si pone l’obiettivo di ottimizzare il procedimento di determinazione del modello più che di valutare le singole variabili considerate nella regressioneQuesto costituirà lo step successivo dell’analisi

3. Il metodo econometrico, usato per la costruzione di modellieconometrici, può essere classificato in tre fasi: specificazione del modello, stima dei parametri e test nella prima fase di specificazione del modello un ruolo importante lo svolgono le ipotesi che si fanno su come è fatto il processo statistico che ha generato i dati. La teoria economica suggerisce l’elenco delle variabili di interesse del problema che si intende affrontare e la direzione di causalità un metodo largamente utilizzato per la stima del modello parametrico è quello dei minimi quadrati ordinari (OLS ordinary least squares) le ipotesi di specificazione formano l’oggetto dei test

4. Il modello Il modello di regressione lineare multipla utilizzato assume la seguente forma generale: Insieme delle osservazioni della variabile dipendente Insieme delle osservazioni delle variabili (macro e micro) considerate moltiplicate i coefficienti di regressione Componente di disturbo Complex Systems in Economics

5. Definizione del problema • Una volta effettuata la stima dei coefficienti, utilizzando un metodo dei minimi quadrati, è necessario verificare la misura in cui le variabili macroeconomiche e microeconomiche risultano statisticamente significative nello spiegare i rendimenti dell’indice azionario. A questo scopo sono state calcolate due serie di test: • test di significatività dei parametri della regressione • test di scorretta specificazione del modello Complex Systems in Economics

6. Nel primo gruppo di test si distinguono- test che interessano l’intera regressione (Es: R2, test F)- test legati alle singole variabili esplicative (Es: t-test)I secondi sono test che hanno a che vedere con le scelte di specificazione del modello e si concentrano sull’analisi dei residui della regressione Complex Systems in Economics

7. Test di significatività dei parametri SQE = somma quadrati errore SQR = somma quadrati regressione n = numero di osservazioni p = numero variabili indipendenti R quadro corretto Fornisce una misura sintetica della bontà della regressione ovvero della misura in cui la variabile dipendente è spiegata dalle variabili esplicative piuttosto che dai termini di errore

8. Test F F = statistica test F avente una distribuzione F con p e n – p – 1 gradi di libertà Sotto l’ipotesi nulla di assenza di relazione lineare tra la variabile dipendente e le variabili esplicative tale statistica assume valore inferiore al valore critico individuato sulle tavole Se p-value < α (solitamente 0,05) allora l’apporto del modello di regressione alla spiegazione della variabilità della variabile dipendente è significativo. Complex Systems in Economics

9. Criterio di Schwartz l = funzione di logverosimiglianza Questa statistica (Information criterion) permette di indirizzarsi verso una regressione con il numero migliore di ritardi (scostamenti temporali tra le serie storiche) Si sceglie la regressione con il valore più basso del test Complex Systems in Economics

10. T-test sulle singole variabili p = numero di variabili esplicative bk= inclinazione di Y rispetto alla variabile k tenendo costanti le altre variabili Sbk = errore standard del coefficiente di regressione bk t = statistica test con distribuzione t con n – p – 1 gradi di libertà. Sotto l’ipotesi nulla di assenza di relazione lineare tra la singola variabile indipendente e la variabile dipendente tale statistica assume valore inferiore al valore critico delle tavole (p-value < livello di significatività scelto) Complex Systems in Economics

11. Test sulle assunzioni di base del modello di regressione lineare Test di scorretta specificazione Ipotesi sui residui • Il valore atteso dell’errore è nullo • La varianza degli errori è costante (omoschedasticità) • Gli errori non sono correlati tra di loro nel tempo (incorrelazione seriale dei disturbi) • Gli errori assumono una distribuzione normale Complex Systems in Economics

12. Ipotesi nulla: assenza di eteroschedasticità Test LM ARCH Il test mira a verificare se i residui della regressione seguono o meno un modello ARCH il quale per definizione è caratterizzato da eteroschedasticità condizionale Test di White Si basa su una regressione ausiliaria dove i quadrati dei residui sono la variabile dipendente mentre tra le variabili esplicative sono incluse le variabili della regressione originaria, i residui standardizzati e i loro rispettivi quadrati Complex Systems in Economics

13. Test Durbin Watson Ipotesi nulla: assenza di correlazione seriale dei residui = valore dei residui in ciascun periodo In caso di assenza di correlazione seriale dei residui di primo ordine la statistica assume un valore prossimo a 2 Complex Systems in Economics

14. Ipotesi nulla: normalità dei residui Test di Jarque Bera S = indice di asimmetria K = indice di Kurtosi S deve essere prossimo a 0 K deve essere prossimo a 3 Sotto l’ipotesi di normalità la statistica JB si distribuisce come una Chi quadro con 2 gradi di libertà Il test JB deve avere probabilità alta per accettare l’ipotesi nulla Complex Systems in Economics

15. Approccio • Classico: • Tuning dei dati con correzioni successive di un operatore esperto; • 1 settimana di lavoro “a mano” continuato • rischio di non raggiungere la soluzione ottima • Proposto: • Metodo autonomo ed automatico di ricerca operativa; • Realizzazione algoritmi statistici (MatLab®) e ottimizzazione vincolata (modeFRONTIER®) Complex Systems in Economics

16. Complessità del problema • Alta variabilità del modello; • Alto numero di variabili (L & P); • Alto numero di combinazioni possibili (34 variabili = 2.7345e+037 combinazioni); • Soluzioni inattese. Complex Systems in Economics

17. Objectives: • |Durbin-Watson| 2.0; • R2 1.0; • Max “F-statistic”; • Min “Schwartz criterion”; Obiettivi e Vincoli • Constraints: • P-value < 0.05 (equivalente a T-test >2-3); • Omoschedasticità (Arch LM test su residui); • Nessuna correlazione seriale (Ljung-Box Q-statistic su residui); • Normalità dei disturbi (Jarque-Bera test su residui); Complex Systems in Economics

18. Elaborazione con MATLAB VARIABLE = -89.39330035283315 29.28174450645721 -3.05286798514071 0.00296344763259 7.15362111261956 2.62051774852393 2.72985028117021 0.00759294072889 0.88752314222490 1.12088889969602 0.79180295430314 0.43051240108602 1.29767688899965 1.84901533701817 0.70182051117670 0.48456280119687 -3.45283082863135 1.68512599764740 -2.04900454532886 0.04330971021216 3.29910540012864 0.40909669820450 8.06436574679821 0.00000000000265 0.12896559962647 1.11016733375858 0.11616771247434 0.90777282593419 0.17903257073845 0.18939333279196 0.94529500114509 0.34698438184647 0.74223279975027 0.25427124298342 2.91905915526065 0.00441370564728 Adj_R_squared = 0.93457117572405 SE_of_regression = 5.02793003404184 sum_squared_resid = 2.325767399304235e+003 LogLikelihood = -3.017153748060340e+002 Durbin_Watson_stat = 2.10077128035871 Mean_dependent_var = 1.004370297029703e+002 SD_dependent_var = 19.65643105828494 AIC = 6.15277969912939 SC = 6.38581024023405 F_statistic = 1.795472966361125e+002 Prob_F_statistic = 0 C'è eteroschedasticità! Non c'è correlazione seriale! C'è la normalità dei disturbi! Constraint p-value = 4 Complex Systems in Economics

19. Main Diagram (mF) Lags Objectives Constraints Statistics Presences DOE (+MOGA) Complex Systems in Economics

20. Pre-processing(Reduced Factorial 2048) Complex Systems in Economics

21. Correlazione degli Obiettivi Complex Systems in Economics

22. Scatter Chart: F-Statistic vs. Schwartz Criterion Complex Systems in Economics

23. Rottura dei Vincoli Complex Systems in Economics

24. P-value vs. Num. Serie Storiche Complex Systems in Economics

25. Constraints: • P-value < 0.05; • Omoschedasticità (Arch LM test su residui); • Nessuna correlazione seriale (Ljung-Box Q-statistic su residui); • Normalità dei disturbi (Jarque-Bera test su residui); • Objectives: • |Durbin-Watson| 2.0; • R2 1.0; • Max “F-statistic”; • Min “Schwartz criterion”; Revisione Obiettivi e Vincoli Serie Storiche utilizzate  10 |2-DurbinWatson| < 0.1 R2 > 0.92 F-statistic > 200 Complex Systems in Economics

26. Ricerca del DOE iniziale Complex Systems in Economics

27. Ottimizzazione Dopo circa 15.000 calcoli complessivi equivalenti a 4 ore effettive di lavoro (0,92 s / calcolo AMD 2200+ 512 Mb RAM) si è ritenuta conclusa l’ottimizzazione. Complex Systems in Economics

28. Storia degli obiettivi (feasible) Complex Systems in Economics

29. Durbin-Watson History Chart Complex Systems in Economics

30. F-Statistic History Chart Complex Systems in Economics

31. R2 Adjusted History Chart Complex Systems in Economics

32. Schwarz Criterion History Chart Complex Systems in Economics

33. Diameter: R2 Adj Color: Design ID F-Stat |DW-2| 4D Bubble Chart Complex Systems in Economics

34. Scatter Chart: F-Statistic vs. Schwartz Criterion Complex Systems in Economics

35. Vincoli rotti nel corso dell’ottimizzazione Complex Systems in Economics

36. Parallel Chart |DW-2| Schwarz n. Serie R2 F-stat Complex Systems in Economics

37. Un esempio di regressione:elaborazione manuale Riportiamo i risultati parziali ottenuti da un operatore intenzionato a costruire “a mano” con l’uso del programma E-views un modello di regressione Il tempo impiegato è stato di parecchie giornate La finestra che segue è quella di output di E-views e contiene le determinazioni per i coefficienti di regressione e i risultati di alcuni test Complex Systems in Economics

38. Complex Systems in Economics

39. Residui Series: residuals Observations: 105 Mean: 1,58E -15 Median: -0,005875 Maximum: 1,477394 Minimum: -1,286199 Skewness: 0,095080 Kurtosis: 2,698769 Jarque-Bera: 0,555191 Probability: 0,757603 Complex Systems in Economics

40. I valori evidenziati ci interessano per valutare la bontà della regressione Mentre la prima finestra di output ci mostra risultati abbastanza buoni, i test sui residui (Test LM ARCH, Test di White) determinano il rifiuto dell’ipotesi nulla e dunque dimostrano la non bontà del modello Anche il test di normalità non restituisce un esito positivo Complex Systems in Economics

41. Un esempio di regressione:elaborazione automatizzata Ecco invece quanto ottenuto inserendo in E-views le variabili e i lags suggeriti dal meccanismo di ottimizzazione Abbiamo selezionato, come esempio, un modello con 5 variabili e scostamenti temporali sia positivi che negativi Complex Systems in Economics

42. Finestra di output di E-views Complex Systems in Economics

43. Residui Complex Systems in Economics

44. Complex Systems in Economics

45. I risultati ottenuti dall’elaborazione con il programma E-views dimostrano come la scelta delle variabili e dei lags suggerita dal processo di ottimizzazione conduca alla determinazione di un ottimo modello di regressione secondo i vincoli imposti dall’operatore Complex Systems in Economics

46. Thanks to: • Esteco http://www.esteco.com/ • Eu-Ra http://www.eu-ra.com/ • Università degli Studi di Trieste http://www.units.it/ Complex Systems in Economics

47. Ottimizzazione multi obiettivo e vincolata applicata ad un modello di regressione lineare multipla Studio dell’effetto congiunto che variabili macro e microeconomiche esercitano sui rendimenti azionari ing. Mattia Ciprian (DipEne) dott. Giulia Nogherotto (DETA) dott. Massimiliano Kaucic (DETA)