ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &

1. ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ Αναδρομικά Νευρωνικά Δίκτυα Με Διαγώνιο Πίνακα Βαρών Και Μελέτη Ευσταθών Αλγορίθμων Εκπαίδευσης ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Βακφάρης Γεώργιος Α.Ε.Μ. 3666 Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης Θεσσαλονίκη 2003

2. Block DiagonalRecurrent Neural Network (χωρίς τους βρόχους ανάδρασης) Full Recurrent Neural Network (χωρίς τους βρόχους ανάδρασης) W ƒα ƒα W C Περιγραφή του Νευρωνικού Δικτύου

3. BDRNN C u Σ FF Περιγραφή του Νευρωνικού Δικτύου FeedForward – Block Diagonal Recurrent Neural Network (FF-BDRNN)

4. SFNN es rs W Neural Networks ( FF-BDRNN ) u en rn Περιγραφή του Νευρωνικού Δικτύου Stabilizing Feedforward Neural Network (SFNN)

5. Περιγραφή του Νευρωνικού Δικτύου Επαναπροσδιορισμός του Πίνακα Κατάστασης (Shadows) • Υπολογισμός του πίνακα καταστάσεων δυο φορές • Forward pass • Backward Pass • Έλεγχος του σφάλματος( Shadow Error Function )

6. x1(k) W s1 ƒα x1(k+1) x2(k) s2 ƒα x2(k+1) z-1 z-1 Υλοποίηση του Διαγώνιου BDRNN Αρχιτεκτονική της BDRNN Δομής

7. Forward Propagation Backward Propagation – Τελεστές Lagrange Υλοποίηση του Διαγώνιου BDRNN

8. Υπολογισμός της παραγώγου του σφάλματος Υλοποίηση του Διαγώνιου BDRNN • Update του πίνακα βαρών

9. Υλοποίηση του Διαγώνιου BDRNN • Συνάρτηση Σφάλματος →Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation

10. Ανάλυση της Διαδικασίας των Shadows • Στάδια Υπολογισμού • Forward Pass • Backward Pass • Shadow Error Function

11. Ανάλυση της Διαδικασίας των Shadows • Στάδια Υπολογισμού • Forward Pass • Αν τότε και • Backward Pass • Shadow Error Function

12. Ανάλυση της Διαδικασίας των Shadows • Στάδια Υπολογισμού • Forward Pass • Backward Pass • Αν τότε • Αλλιώς • Shadow Error Function

13. Ανάλυση της Διαδικασίας των Shadows • Στάδια Υπολογισμού • Forward Pass • Backward Pass • Shadow Error Function

14. Ανάλυση της Διαδικασίας των Shadows • Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών

15. Αλγόριθμοι και Δίκτυα Ευστάθειας • Συνθήκες Ευστάθειας Τοπική Ευστάθεια Γενική Ευστάθεια

16. Αλγόριθμοι και Δίκτυα Ευστάθειας

17. Αλγόριθμοι και Δίκτυα Ευστάθειας • Συναρτήσεις Ευστάθειας • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες (Scaled Orthogonal Stability) • BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική Ευστάθεια (Free Form Global Stability) • BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική Ευστάθεια (Free Form Local stability)

18. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

19. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

20. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

21. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

22. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

23. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

24. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

25. Αλγόριθμοι και Δίκτυα Ευστάθειας • BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

26. -α1 1 wn-1,n-1 ysn/2 1 wn-1,n Σιγμοειδής Είσοδος Αλγόριθμοι και Δίκτυα Ευστάθειας • Συνάρτηση ευστάθειας ως Feedforward Δίκτυο

27. Αλγόριθμοι και Δίκτυα Ευστάθειας • Παρατηρήσεις • Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης, • Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch ,όπου τα βάρη W παραμένουν σταθερά • Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs. • Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN • Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών .

28. Παραδείγματα Προσομοίωσης • Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction) • Παράδειγμα 2 :BDRNN με full recurrent πίνακα βαρών • Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass

29. Παραδείγματα Προσομοίωσης Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction) • 4Block Diagonals • Single input – single output (SISO) • Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal Stabilizer) • Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες

30. Παραδείγματα Προσομοίωσης • Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας Παράμετροι Εκπαίδευσης lrBDRNN=0.0016 lrSFNN= - Αριθμός Block Diagonals=4 Epochsize=50 Epochs to Converge=40000

31. Παραδείγματα Προσομοίωσης • Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας • Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα 0.5-1.0

32. Παραδείγματα Προσομοίωσης • Προσθήκη Σταθεροποιητικού SFNN Παράμετροι Εκπαίδευσης lrBDRNN=0.0016 lrSFNN=0.00001 Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

33. Παραδείγματα Προσομοίωσης • Προσθήκη Σταθεροποιητικού SFNN

34. Παραδείγματα Προσομοίωσης • Προσθήκη Σταθεροποιητικού SFNN

35. Παραδείγματα Προσομοίωσης • Προσθήκη Σταθεροποιητικού SFNN • Παρατηρήσεις – Επιλογή των Learning Rates Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι • Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα βάρη • Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα να ταλαντώνει σε μια περιοχή τιμών

36. Παραδείγματα Προσομοίωσης • Επίδραση των παραμέτρων εκπαίδευσης Παράμετροι Εκπαίδευσης lrBDRNN=0.0016 lrSFNN=0.001 Αριθμός Block Diagonals=4 Epochsize=50 Epochs to Converge=40000

37. Παραδείγματα Προσομοίωσης • Επίδραση των παραμέτρων εκπαίδευσης

38. Παραδείγματα Προσομοίωσης • Επίδραση των παραμέτρων εκπαίδευσης • Είναι εμφανής η απόκλιση από την ευσταθή περιοχή

39. Παραδείγματα Προσομοίωσης • Τροποποίηση της συνάρτησης ευστάθειας

40. Παραδείγματα Προσομοίωσης • Τροποποίηση της συνάρτησης ευστάθειας Παράμετροι Εκπαίδευσης lrBDRNN=0.0016 lrSFNN=0.0001 Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

41. Παραδείγματα Προσομοίωσης • Τροποποίηση της συνάρτησης ευστάθειας

42. Παραδείγματα Προσομοίωσης • Τροποποίηση της συνάρτησης ευστάθειας • Σχόλια • Ομαλή κίνηση των ιδιοτιμών , • χωρίς spikes • Καλύτερη τοποθέτηση , • ψηλότερα από τη μηδενική • περιοχή

43. Παραδείγματα Προσομοίωσης • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows) Παράμετροι Εκπαίδευσης lrBDRNN=0.0016 lrSFNN=0.0001 Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

44. Παραδείγματα Προσομοίωσης • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

45. Παραδείγματα Προσομοίωσης • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

46. Παραδείγματα Προσομοίωσης Παράδειγμα 2 :BDRNN με full recurrent πίνακα βαρών

47. Παραδείγματα Προσομοίωσης • Ορθογώνιος Stabilizer Παράμετροι Εκπαίδευσης lrBDRNN=0.032 lrSFNN=0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

48. Παραδείγματα Προσομοίωσης • Ορθογώνιος Stabilizer

49. Παραδείγματα Προσομοίωσης • Ορθογώνιος Stabilizer • Παρατήρηση • Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.

50. Παραδείγματα Προσομοίωσης • Ελεύθερη Μορφή και Γενική Ευστάθεια Παράμετροι Εκπαίδευσης lrBDRNN=0.032 lrSFNN=0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000