Chapitre V

1. Chapitre V Methodes de Simulation Bootstrap, Jacknife

2. Introduction • Econometrie: Un seul echantillon historique • Impossible de repeter des donnees en construisant des experiences (physique) • Efron (1979): considerer l’echantillon observe comme population • Re-echantilloner l’echantillon

3. The Central Limit Theorem

4. Illustration CLT • Choisir une distribution de probabilite • Choisir nombre de groupes N • Choisir R echantillons • Histogramme des moyennes et ecarts type

5. Exemple Matlab n=[3,10,100]; mea=[]; for ni=1:1:3; si=n(ni); rn=[]; for z=1:1:500; rn=[rn,chi2rnd(2,si,1)]; end mea=[mea;mean(rn)]; end for z=1:1:3; subplot(3,1,z); hist(mea(z,:),40); axis( [min(mea(1,:)) max(mea(1,:)) 0 50] ) end Boucle sur N Boucle sur R

6. Application • Distribution: chi-deux[2] • Somme au carre de deux variables N(0,1) • Z=X12+X22 Vraie moyenne = 2, Varie variance = 4 • Groupes: 3, 10, 100 • Echantillons: R = 500

7. Moyenne N=3 N=10 N=100

8. Variance N=3 N=10 N=100

9. N=3 N=10 N=100

10. Bootstrap – Efron (1979) • Baron de Munchhausen: “Pulling oneself up by one’s bootstraps” • Approche non-parametrique d’inference statistique • Utiliser simulations plutot que des hypotheses sur la distribution sous-jacente • Objctifs: Estimer les ecarts type, intervalle de confiance et formuler tests sur une distribution

11. Avantages • Large applicabilite • Gain de precision • Cout informatique reduit

12. Objectifs

13. Procedure Standard • 1. Population=echantillon • 2. Tirer des echantillons aleatoires avec remplacement: taille m<n Pseudo echantillons  bootstrap 1 bootstrap 2 etc…

14. Suite • 3. Pour chaque pseudo-echantillon, calculer la statistique d’interet • 4. Utiliser la distribution empirique de la statistique T pour examiner les caracteristiques de la distribution

15. Exemple • Taux de rendement CAN/USD dpuis 1986 • Quel est l’ecart type? • Std(Returns)*sqrt(48)=4.43% • Obtenir intervalle de confiance?

16. Matlab retu=diff(log(cana)); stat_boot=[]; boot=5000; nb=size(retu,1); Lo=5/100; Up=95/100; for b=1:1:boot; R = UNIDRND(nb,nb,1); boot_sample=retu(R,1); stat_boot=[stat_boot; std(boot_sample)*sqrt(48)]; end hist(stat_boot,40); sam_sort=sort(stat_boot); ind_conf=ceil([Lo; Up]*boot); Conf_int=sam_sort(ind_conf);

17. Histogramme Ecart Type des Rendements Annualises Intervalle de Confiance std(5%)=4.22% std(95%)=4.64%

18. Block Bootstrap • Si dependence dans le temps entre observations • Tirer des echantillons individuels avec remplacement detruit la structure temporelle • Solution: Block Bootstrap de Kunsch • Tirer des echantillons de taille k • {1,2,3}, {6,7,8}, {3,4,5}

19. Sieve Bootstrap • Si le modele statistique sous-jacent est connu: X=ARMA(p,q) • Estimer le modele pour obtenir residus • Re-echantilloner les residus • Generer pseudo-donnees X* recursivement • Re-estimer le modele

20. Simulation AR(1) %-------------------------------------------------------- % Generer une serie AR(1) n=500; y(1,1)=0; for i=2:1:n; y(i,1)=-0.2+0.6*y(i-1,1)+normrnd(0,1); end plot(y); %-------------------------------------------------------- % Premiere etape: Estimation du coefficient xx=[ones(500,1), lag(y)]; y_reg=ols(y,xx); prt(y_reg); Reg_prem=y_reg.beta; % Coefficient Reg_resid=y_reg.resid; % Residus Simulation de la serie Estimation sur l’echantillon entier

21. Simulation AR(1) % Simulations nboot=1000; ar_coff=[]; for nb=1:1:nboot; nb new_samp=y(1,1); R=unidrnd(n,n,1); resid_resamp=Reg_resid(R,1); for ii=2:1:n; new_samp(ii)=Reg_prem(1)+Reg_prem(2)*new_samp(ii-1)+resid_resamp(ii,1); end; new_samp1=new_samp'; xx1=[ones(500,1), lag(new_samp1)]; boot_reg=ols(new_samp1,xx1); Boot_coeff=boot_reg.beta; % Coefficient ar_coff=[ar_coff; Boot_coeff(2)]; end Boucle Bootstrap Pseudo-echantillon

22. Resultats Coefficient AR(1) Coefficient Observe 0.66 Moyenne=0.655 Ecart Type=+-0.0322

23. Stationary Bootstrap • Les donnees re-echantillonnees ne sont pas stationaires • Solution: Politis et Romano (1994): Stationary bootstrap • Block bootstrap avec des blocs de taille aleatoire • Donnees resultantes sont stationaires

24. Probleme 4 • Quelle taille? • La taille de l’echantillon doit augmenter avec n pour rendre l’estimation fiable • Hall (1995)

25. Cas Pratique • Modelisation ECM de AUD/EUR • 200 observations seulement

26. Exemple - Suite • Objectifs: Comparer performance du modele ECM avec modele monetaires • Meese et Rogoff (1983): Les modeles monetaires n’arrivent pas a battre le modele Random Walk • Statistique d’interetMesure de predictabilite relative

27. Application

28. Application • Predictabilite des Taux de Change

29. Intervalles de Confiance • Distribution Normale • Deciles Exemple • Intervalle a 95% : trier les donnees par ordre croissant • Bas = 0.025 x statistiques bootstrapees • Haut = 0.975 x statistiques bootstrapees

30. Variations • Modele de Regression Lineaire: • Statistique d’interet beta1 • 1) Premiere Regression pour obtenir residus • 2A) BOOTSTRAP NON-PARAMETRIQUE • Re-Echantilloner les residus • Fixer les X, Y*=Y+U** est la nouvelle variable dependente • Regresser Y* et X • Sauver le coefficient • 2B) BOOTSTRAP PARAMETRIQUE • Tirage de U** a partir de la distribution Normale • Meme procedure

31. Autres Methodes • Jackknife (take one out) • S={X1,X2,...Xn} • Tirer un echantillon de taille n-1 • S(i)=S-{Xi} • Estimer • Calculer