„Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski

1. „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski Promotor: Dr hab. Inż. Jacek Mańdziuk

2. Spis treści • Zastosowane rodzaje sieci • Szeregi czasowe, a predykcja • Sieci neuronowe rozszerzeniem popularnych modeli • Omówienie zastosowanych algorytmów • Przykładowe rezultaty • EMH (Hipoteza Rynku Efektywnego) • Podsumowanie Sieci neuronowe w zagadnieniach predykcji finansowych

3. Zastosowane sieci Sieć Elmana Sieć Jordana w. wyjściowa w. wyjściowa w. ukryta w. ukryta w. wejściowa w. kontekstowa w. wejściowa w. kontekstowa w. wyjściowa w. ukryta w. wejściowa Sieć jednokierunkowa Sieci neuronowe w zagadnieniach predykcji finansowych

4. Defnicja problemu • Szeregi czasowe w predykcji • uporządkowane w czasie ciągi , gdzie • Predykcja • aproksymacja funkcji Sieci neuronowe w zagadnieniach predykcji finansowych

5. Predykcja, a sieci neuronowe • Sieci neuronowe jednokierunkowe • Uniwersalny aproksymator. Funkcję można aproksymować siecią opisaną przez: • Rozszerzenie modelu autoregresji o nieliniowość Sieci neuronowe w zagadnieniach predykcji finansowych

6. Sieci Jordana – rozszerzenie ARMA • ARMA • Kolejne elementy szeregu mogą być modelowane siecią neuronową równoważną do Jordana: Sieci neuronowe w zagadnieniach predykcji finansowych

7. Sieć Jordana - mechanizm • Sieć Jordana opisuje • Równoważność • „Ulepszenie” – pamięć Sieci neuronowe w zagadnieniach predykcji finansowych

8. Liniowy model przestrzeni stanów • Założenie • Szeregi czasowe mogą być opisane przez liniową transformację stanów zależnych od czasu: • Wektor stanu opisany jest przez model ARMA[1,1]: Sieci neuronowe w zagadnieniach predykcji finansowych

9. Powiązanie z siecią Elmana • Zakładamy, że wektor stanów jest zależny od przeszłego wektora w sekwencji i otrzymujemy równanie opisujące stan warstwy kontekstowej w sieci Elmana: • Aktywacja warstwy ukrytej: Sieci neuronowe w zagadnieniach predykcji finansowych

10. Algorytmy - Backprop • Klasyczna metoda propagacji wstecznej (Backprop) • Iteracyjne poszukiwanie minimum funkcji błędu w kierunku przeciwnym do gradientu funkcji względem wagi • Cechy • Metoda lokalna • Łatwo wpada w płytkie minima • „Wolna” zbieżność • Backprop z momentem • Do poprawki wagi dodano tzw. czynnik momentu • Cechy • Zwiększenie szybkości zbieżności na płaskich obszarach funkcji błędu Sieci neuronowe w zagadnieniach predykcji finansowych

11. Algorytmy - Quickprop • Quickprop • Metoda lokalna, drugiego rzędu • Zakłada się, że funkcja błędu ma kształt paraboli • Poprawki wag są ustalane tak żeby funkcja osiągała minimum paraboli • Cechy: • Znacznie szybsza zbieżność niż w metodach backprop • Znacznie mniejsze prawdopodobieństwo utknięcia w płytkim minimum lokalnym Sieci neuronowe w zagadnieniach predykcji finansowych

12. Algorytmy - Rprop • Rprop • Metoda lokalna, drugiego rzędu • Nie korzysta z wielkości pochodnej cząstkowej f. błędu względem wagi, a tylko z jej znaku • Jeżeli dwie kolejne pochodne mają ten sam znak to następuje zwiększenie poprawki • Cechy: • Bardzo szybka (nawet od Quickprop) • Także znacznie mniejsze prawdopodobieństwo wpadnięcia w minimum lokalne niż w Backprop Sieci neuronowe w zagadnieniach predykcji finansowych

13. Algorytmy - TBPTT • Truncated Backpropagation Throught Time • Wyliczanie gradientu analogiczne do klasycznego Backpropagation, ale korzysta się z historii aktywacji (ustalonej głębokości) • Jeżeli przechowywane są wszystkie aktywacje to obliczony gradient jest dokładny • Cechy: • Bardzo kosztowne jest przechowywanie historii aktywacji • Nie ma gwarancji zbieżności do minimum lokalnego • Trudno jest uzyskać dobre wyniki Sieci neuronowe w zagadnieniach predykcji finansowych

14. Predykcja - rezultaty • Jednodniowa predykcja zmiany względnej microsoftu: Sieć: Elman Korelacja: 0.0136 MAPE: 140.34% Theil: 1.0132 MPpT: 0.46 Sieci neuronowe w zagadnieniach predykcji finansowych

15. Predykcja - rezultaty • Jednodniowa predykcja normalizacji średnią kroczącą 7 okresową Sieć: Elman Korelacja: 0.7386 MAPE: 23.59% Theil: 1.0646 MPpT: 0.485 Sieci neuronowe w zagadnieniach predykcji finansowych

16. Predykcja - rezultaty • Jednodniowa predykcja normalizacji trendem wielomianowym Sieć: Elman Korelacja: 0.9604 MAPE: 15.67% Theil: 1.1532 MPpT: 0.5 Po przesunięciu: Korelacja: 0.9932 MAPE: 1.159396 Theil: 0.662319 MPpT: 0.935 Sieci neuronowe w zagadnieniach predykcji finansowych

17. Hipoteza efektywności rynku • Hipoteza: • Rynek jest efektywny gdy wartości walorów na rynku odzwierciedlają wszystkie informacje na ich temat • Trzy formy: słaba (predykcja na podstawie analizy technicznej jest niemożliwa), średnia (predykcja na podstawie analizy technicznej i fundamentalnej jest niemożliwa, mocna (predykcja niemożliwa) • Jeżeli rynek jest efektywny to ceny generowane są przez proces błądzenia losowego Sieci neuronowe w zagadnieniach predykcji finansowych

18. Interpretacja • Średnia zmian względnych bliska zeru • Próba predykcji podjęta na podstawie danych z analizy technicznej (słaba forma efektywności ?) • Zmiany cen nie są skorelowane z przedmiotem predykcji • „Echo” – jeżeli zmiany cen są losowe więc niezależne, najlepszą predykcją jest cena z dnia poprzedniego (błądzenie) Sieci neuronowe w zagadnieniach predykcji finansowych

19. Zakończenie • Predykcja za pomocą sieci jest możliwa (liczne publikacje) • Do cen Microsoftu może stosować się słaba forma efektywności rynku Sieci neuronowe w zagadnieniach predykcji finansowych