Wykorzystanie sieci neuronowych do optymalizacji liniowej i liniowo-kwadratowej Piotr Górecki

1. Wykorzystanie sieci neuronowych do optymalizacji liniowej i liniowo-kwadratowej Piotr Górecki Opiekun: dr inż. Maciej Ławryńczuk Instytut Automatyki i Inżynierii Oprogramowania

2. Plan prezentacji • Teoria • sformułowanie zadania optymalizacji • wprowadzenie do sieci neuronowych • Praca inżynierska • kształt pracy • elementy innowacyjności i możliwości rozwoju • dotychczasowe osiągnięcia • Podsumowanie Piotr Górecki - Sieci neuronowe w problemach optymalizacji

3. Zadanie optymalizacji kwadratowej minimalizuj: przy ograniczeniach: Q – macierz dodatnio półokreślona (warunek wypukłości) Piotr Górecki - Sieci neuronowe w problemach optymalizacji

4. Sieci neuronowe - teoria • sieć neuronowa – struktura potrafiącą odbierać docierające sygnały i przetwarzać je na użyteczną informację • neuron – element sieci, wykonujący pewne przekształcenie na swoich sygnałach wejściowych • funkcja energetyczna sieci – malejąca w czasie funkcja związana ze stanami neuronów (ich wartościami na wyjściach) Piotr Górecki - Sieci neuronowe w problemach optymalizacji

5. Sieci neuronowe - teoria • Zastosowania sieci neuronowych • rozpoznawanie wzorców (znaków, sygnałów mowy...) • klasyfikowanie obiektów • aproksymowanie wartości funkcji • synteza mowy • diagnostyka medyczna • optymalizacja Sieci neuronowe do optymalizacji NIE są sieciami uczącymi się! Piotr Górecki - Sieci neuronowe w problemach optymalizacji

6. Sieci neuronowe - teoria Opis sieci neuronowej • stan pojedynczego neuronu – rozwiązanie pewnego równania różniczkowego • opis sieci – wektorowo-macierzowe równanie różniczkowe • możliwość realizacji analogowej (obwód elektryczny) Piotr Górecki - Sieci neuronowe w problemach optymalizacji

7. Sieci neuronowe - optymalizacja • Wykorzystanie zadania dualnego • Warunki KKT (zbieżność) • Sformułowanie równania stanu i wyjścia (przykład) • równanie stanu: • równanie wyjścia: gdzie: g(.) – funkcja nasycenia min p. o. Piotr Górecki - Sieci neuronowe w problemach optymalizacji

8. Sieci neuronowe - optymalizacja • równanie stanu: • równanie wyjścia: Piotr Górecki - Sieci neuronowe w problemach optymalizacji

9. Kształt pracy • Omówienie struktury wybranych sieci • analiza zbieżności, wyprowadzenie wzorów • badanie złożoności • Zadanie teoretyczne • symulacja Simulink • Praktyczne zadanie wielowymiarowe (namiot) • symulacja Matlab (solverode45) • Zadanie sterowania predykcyjnego • sieć jako moduł minimalizujący algorytmu DMC • Idea realizacji analogowej Piotr Górecki - Sieci neuronowe w problemach optymalizacji

10. Innowacyjność • Synteza i porównanie wybranych sieci • złożoność • dokładność • szybkość działania • Propozycja realizacji sieci, jako elementów obwodu elektrycznego Piotr Górecki - Sieci neuronowe w problemach optymalizacji

11. Dotychczasowe dokonania • Porównanie wybranych trzech sieci neuronowych • analiza liczby elementów, w zależności od wyboru sieci • Realizacja wybranych sieci w Simulinku • proste zadanie akademickie • Realizacja wybranych sieci w Matlabie • praktyczne zadanie wielowymiarowe (large-scale) • Zastosowanie SN w algorytmie DMC Piotr Górecki - Sieci neuronowe w problemach optymalizacji

12. Wstępna analiza wybranych sieci • Liczba elementów realizacji analogowej n - liczba zmiennych decyzyjnych m - liczbę ograniczeń równościowych p - liczba ograniczeń nierównościowych Piotr Górecki - Sieci neuronowe w problemach optymalizacji

13. Przykład akademicki min p. o. Piotr Górecki - Sieci neuronowe w problemach optymalizacji

14. Przykład akademicki Piotr Górecki - Sieci neuronowe w problemach optymalizacji

15. Wielowymiarowe zadanie praktyczne • Podstawa w kształcie kwadratu (30x30) • 5 pali (centralny najwyższy) • Elastyczne płótno • Ograniczenia (wysokość pali) • Funkcja jakości (kształt) Piotr Górecki - Sieci neuronowe w problemach optymalizacji

16. Wielowymiarowe zadanie praktyczne Sposób rozwiązania • rozwiązanie równania różniczkowego du=@(t, u)(-E*MET*u+satur(((E*MET-eye(900))*u+E*s), low)... - E*s)*10^7; [t,u] = ode45(du, tspan, u0); • wybór zmiennych stanu, dla końcowego przedziału czasowego • wyliczenie zmiennych decyzyjnych x = MET * uk' +s; Piotr Górecki - Sieci neuronowe w problemach optymalizacji

17. Zadanie sterowania predykcyjnego • Wybór algorytmu – DMC • algorytm w wersji numerycznej z ograniczeniami p. o. Piotr Górecki - Sieci neuronowe w problemach optymalizacji

18. Zadanie sterowania predykcyjnego • Najważniejsze parametry dobranego regulatora predykcyjnego D = 160 – horyzont dynamiki Np = 20 – horyzont predykcji Ns = 5 – horyzont sterowania T = 0.5 – okres próbkowania • Transmitancja modelu • Optymalizacja przy użyciu SN w każdej iteracji pętli głównej algorytmu DMC Piotr Górecki - Sieci neuronowe w problemach optymalizacji

19. Zadanie sterowania predykcyjnego • Wyniki symulacji • obiekt bez zakłócenia niemierzalnego (dla QP oraz SN) • obiekt z mierzalnym zakłóceniem w chwili k = 60 (dla QP oraz SN) Piotr Górecki - Sieci neuronowe w problemach optymalizacji

20. Realizacja analogowa (w planach) • Realizacja sieci neuronowej, jako połączenia elementów obwodu elektrycznego • wzmacniacze operacyjne • rezystory • kondensatory • diody Piotr Górecki - Sieci neuronowe w problemach optymalizacji

21. Podsumowanie • Wprowadzenie teoretyczne • zagadnienie optymalizacji kwadratowej • sieci neuronowe w optymalizacji • Kształt pracy dyplomowej • cele • innowacyjność • Osiągnięcia • synteza i porównanie wybranych sieci • realizacja zadania akademickiego – Simulink • zasymulowanie zadania praktycznego • sprzężenie SN z algorytmem DMC Piotr Górecki - Sieci neuronowe w problemach optymalizacji

22. dziękuję za uwagę Piotr Górecki - Sieci neuronowe w problemach optymalizacji

23. dziękuję za uwagę Piotr Górecki - Sieci neuronowe w problemach optymalizacji