Programowanie matematyczne

1. Programowanie matematyczne • Programowanie Liniowe funkcja celu i funkcje ograniczeń są liniowe • Programowanie Nieliniowefunkcja celu i/lub funkcje ograniczeń są nieliniowe

2. Każde zadanie minimalizacji funkcji celu można zapisać w równoważnej formie Ograniczenie nierównościowe typu można wyrazić w postaci Ograniczenie nierównościowe można zamienić na ograniczenie równościowe poprzez dodanie tzw. zmiennej osłabiającej

3. Zadanie optymalizacji • zbiór zmiennych decyzyjnych zadania optymalizacji • n=1,...,N ilość zmiennych zadania • funkcja celu • ograniczenia równościowe • ograniczenia nierównościowe

4. Sformułowanie zadania optymalizacji Znajdź x takie, że przy ograniczeniach

5. Podstawy matematyczne macierz jest tablicą prostokątną o wymiarze nxm Macierz diagonalna Macierz jednostkowa Macierz trójkątna górna • Macierz A jest symetryczna gdy A=AT tzn. aij=aij • Macierz A jest skośnosymetryczna gdy aij=-aij

6. Działania na macierzach Mnożenie macierzy przez skalar Dodawanie macierzy Iloczyn macierzy

7. Dodawanie macierzy - własności Prawo łączności Prawo przemienności Prawo rozdzielności Mnożenie macierzy - własności Prawo łączności Uwaga ! Prawa rozdzielności

8. wyznacznik macierzy • Jeśli macierz posiada kolumnę lub wiersz złożony z samych zer to • Wartość wyznacznika nie zmienia się jeśli zmienimy ze sobą kolumny lub wiersze • Jeśli B powstaje przez zamianę dwóch kolumn lub wierszy to • Jeśli dwie kolumny lub wiersze macierzy B są równe to • Pomnożenie elementów wiersza lub kolumny przez k jest równoznaczne z pomnożeniem wyznacznika przez k • Wartość wyznacznika nie podlega zmianie gdy do elementów wiersza dodamy lub odejmiemy elementy innego wiersza pomnożone przez k

9. Rzędem macierzy A nazywamy stopień największej podmacierzy kwadratowej której wyznacznik jest różny od zera Gdy macierz jest osobliwa Gdy macierz jest nieosobliwa MinorDijelementu aij jest wyznacznikiem otrzymanym z macierzy kwadratowej przez wykreślenie i-tego wiersza i j-tej kolumny Dopełnienie algebraiczneAij elementu aij jest równe (-1)i+jDij. Macierzą dołączoną macierzy A o wymiarach nxn jest macierz J=[Aij] o wymiarach nxn, w której element i-tego wiersza i j-tej kolumny jest dopełnieniem algebraicznym elementu w i-tym wierszu i j-tej kolumnie macierzy A

10. Macierz B nazywamy macierzą odwrotną macierzy kwadratowej A jeśli AB=I. Macierz odwrotną oznaczamy A-1 Dla każdej nieosobliwej macierzy A istnieje jedna i tylko jedna macierz odwrotna A-1 taka, że Gdy to Tylko nieosobliwe macierze kwadratowe mają macierze odwrotne

11. Własności wektorów w dwuwymiarowej przestrzeni euklidesowej E2 (u1 ,u2) u2 u (0,0) u1 Mnożenie wektorów przez skalar - własności u au u -au Prawo łączności Prawo rozdzielności

12. u+v u u-v v -v Dodawanie wektorów-własności Prawo przemienności Prawo łączności W przestrzeni E2 istnieje tylko jeden wektor zerowy0 zwany punktem odniesienia taki, że dla każdego u w E2 Dla każdego u w E2 istnieje tylko jeden wektor przeciwny -u taki, że dla każdego u w E2

13. Iloczyn skalarny wektorów-własności Każdej parze wektorów u i v w E2 odpowiada liczba rzeczywista uv=u1v1+u2v2 zwana iloczynem skalarnym u i v. Prawo przemienności Dla dowolnych skalarów a, b i wektorów u, v i w w E2 Wtedy i tylko wtedy gdy u=0 Długość wektora Każdemu wektorowi u w E2 odpowiada liczba rzeczywista zwana długością wektora u wtedy i tylko wtedy gdy u=0 u2 Nierówność trójkąta u1 dla każdego u, v w E2

14. Zbiór wektorów U1,U2, U3,...,Un nazywamy liniowo niezależnym, gdy dla wszystkich liczba1, a2,...,an równość pociąga np. W przeciwnym razie zbiór jest liniowo zależny a2U2=[0 a2]T a1U1+ a2U2 =[a1a2]T U2=[0 1]T a1U1=[a1 0]T U1=[1 0]T

15. n – wymiarowa przestrzeń euklidesowaEn, jest zbiorem obiektów zwanych wektorami, które posiadają własności opisane poprzednio; w przestrzeni En istnieje układ n niezależnych wektorów, ale każde n+1 wektorów w jest układem liniowo zależnym. Bazą w En jest zbiór liniowo niezależnych wektorów. Każdy wektor może być jednoznacznie wyznaczony jako kombinacja liniowa wektorów danej bazy. Zbiory wypukłe Wypukłą kombinacją punktów U1,U2, U3,...,Un nazywamy punkt U=a1U1+a2U2+... anUn gdzie ai są skalarami spełniającymi warunki i . Podzbiór C w En jest wypukły wtedy i tylko wtedy, gdy dla każdej pary U1,U2 w C każda kombinacja wypukła U=a1U1+a2U2 lub gdya1=1- a2 U= (1- a2)U1+a2U2 , również należy do C.

16. Twierdzenie 1 Dowolny punkt leżący na odcinku łączącym dwa punkty w Enmoże być wyrażony jako kombinacja wypukła tych dwóch punktów. Dowód Oznaczmy dwa punkty przez U i V oraz punkt W leżący na odcinku łączącym U i V. U U U-V W U-V W (W-V) V V a2(U-V) -V -V Ponieważ kombinacja liniowa jest wypukła gdy spełnia warunek W= (1- a2)V+a2Udla każdego przy Więc dlamamy W =V+a2(U-V) Zatem wektor W jest kombinacją wypukłą V i U.

17. Twierdzenie 2 (odwrotne) Dowolny punkt, który może być wyrażony jako kombinacja wypukła dwóch punktów w En , leżący na odcinku łączącym te dwa punkty. Zbiory wypukłeZbiory nie wypukłe Punkt U zbioru wypukłego C nazywamy wierzchołkiem, jeśli nie może być on wyrażony jako kombinacja wypukła dwóch różnych punktów należących do C. W U V C Punkt U nie leży na prostej łączącej punkty W i V.

18. S S Zbiór wektorów S nazywamy stożkiem, jeśli dla każdego wektora U Należącego doS, a2 U także należy doS, gdzie a2 jest liczbą nieujemną. Przykładem stożków są całe przestrzenie, początek układu oraz zbiór S. Uwaga! Stożek zawiera początek układu ponieważ a2 może być równe zeru. Sympleks jest n-wymiarowym wielościanem wypukłym mającym dokładnie n+1 wierzchołków. W przestrzeni E0 sympleksem jest punkt, w E1 prosta, zaś w E2 trójkąt.

19. Nierówności liniowe a) e) d) (2,1) (1,0) b) (0,1) c) a) b) c) d) e) Obszar dopuszczalnych rozwiązań C lub gdzie

20. Układ nierówności można zamienić na układ równości poprzez odjęcie (dodanie) zmiennej osłabiającej takiej, że wówczas x2 Obszar dopuszczalnych rozwiązań s2 x1>0 x1 x1 -s2=0 x1 =0

21. Twierdzenie Kroneckera-Capelli Układ równań liniowych (*) ma rozwiązanie wtedy i tylko wtedy, gdy rząd macierzy rozszerzonej jest równy macierzy A, tj. • Jeśli dla układu (*) równań liniowych spełniony jest warunek • to mogą zaistnieć trzy następujące przypadki: • rz(A)=n=m, istnieje tylko jedno rozwiązanie (*) • rz(A)=n<m,istnieje jedno rozwiązanie (*), lecz (m-n) równań jest zbędnych (redukcja) • rz(A)=m<n,istnieje nieskończenie wiele rozwiązań układu (*), układ jest nieoznaczony Przykład. Obliczyć rząd macierzy

22. Metody rozwiązywania układów równań (*) ponieważ Powyższy układ (*) można zapisać w postaci kombinacji liniowej wektorów (**)

23. Metoda Eliminacji Gaussa (*) Definiujemy n-1 czynników Mnożymy pierwsze równanie przez m21 a następnie odejmujemy je od równania drugiego. Następnie mnożymy pierwsze równanie przez m31 a następnie odejmujemy je od równania trzeciego. Postępowanie to kontynuujemy aż do ostatniego równania. W ten sposób otrzymujemy Opisaną procedurę można zastosować do końcowych n-1 równań. W tym celu definiujemy (**)

24. Mnożymy drugie równanie układu (**) przez mi2 a następnie wynik odejmujemy od trzeciego równania, czwartego równania,....., n-1 równania. W k-tym kroku procedury posługujemy się Czynnikami i obliczamy nowe współczynniki Po wykonaniu n-1 kroków otrzymujemy trójkątny układ równań Ostatnie równanie zawiera jedynie zmienną xn. Podstawienie jej do równania otrzymanego wcześniej prowadzi do wyrażenia na zmienną xn-1, tzn. w ogólnym przypadku

25. Metoda Eliminacji Gaussa - przykład (*) Definiujemy n-1 czynników Mnożymy pierwsze równanie przez m21 a następnie odejmujemy je od równania drugiego. Następnie mnożymy pierwsze równanie przez m31 a następnie odejmujemy je od równania trzeciego. W ten sposób otrzymujemy

26. Metoda Eliminacji Gaussa - przykład Ostatnie równanie zawiera jedynie zmienną xn. Podstawienie jej do równania otrzymanego wcześniej prowadzi do wyrażenia na zmienną xn-1, tzn. w ogólnym przypadku

27. Określenie macierzy odwrotnej Krok 2: Krok 1: Krok 3:

28. Policzmy wyznacznik macierzy A Ponieważ macierz A jest nieosobliwa , układ wektorów P1, P2 i P3 jest linowo niezależny i wobec tego tworzy bazę w przestrzeni E3 Dowód nie wprost Dla dowodu, że wektory P1, P2 ... Pn macierzy nieosobliwej A tworzą układ liniowo niezależny załóżmy najpierw, że układ ten jest liniowo zależny, wówczas dla pewnej aj musi być spełniona równość Przy czym przynajmniej jedno aj musi być różne od zera.

29. Możemy wówczas jeden z wektorów przedstawić jako kombinację liniową pozostałych. W rozważanym przykładzie mamy Dodając do pierwszej kolumny Podstawmy wartości wektora P1 do macierzy A otrzymujemy . Przeczy to założeniu, że macierz A jest macierzą nieosobliwą. W ten sposób założenie liniowej zależności prowadzi do sprzeczności, więc wektory P1, P2i P3 są linowo niezależne.

30. Kombinacja liniowa (**) wektorów P1, P2i P3 równa P0 przyjmuje postać Ponieważ wektory P1, P2i P3 tworzą bazę każdy inny wektor może być wyznaczony jako kombinacja liniowa tych wektorów Dla otrzymujemy Zatem P4 został wyrażony jako kombinacja liniowa P1, P2i P3 . Wektor P4 jest wektorem osobliwym gdyż jest wyznaczony przez mniej niż n wektorów bazy

31. Postać standardowa Zadania Programowania liniowego Znajdź wektor (x1,...,xn) który minimalizuje kombinację liniową (funkcję celu) (1.1) Przy ograniczeniach (1.2) (1.3) Alternatywne zapisy Zminimalizować funkcję przy ograniczeniach

32. Zminimalizować funkcję przy ograniczeniach Zminimalizować funkcję przy ograniczeniach gdzie Pj dla j=1,...,n jest j-tą kolumną macierzy A, P0=b

33. Sprowadzenie ogólnych zadań programowania liniowego do postaci standardowej • Pełne ograniczenie nierównościowe typuograniczenie sprowadzamy do postaci równościowej przez dodanie zmiennejdopełniającej s>0 • Pełne ograniczenie nierównościowe typuograniczenie sprowadzamy do postaci równościowej przez odjęcie zmiennejdopełniającej s>0Każde zadanie minimalizacji funkcji celumożna zapisać w równoważnej formie

34. Podstawowe definicje Def.1.Rozwiązaniem dopuszczalnym zagadnienia PL jest wektor X= (x1,...,xn) spełniający warunki (1.2) i (1.3). a) d) Obszar dopuszczalnych rozwiązań a) b) c) d) (2,1) C (1,0) b) (0,1) c) Def.2a.Macierzą bazowąB układu równań AX=b , rz(A)=m, n>m, nazywamy nieosobliwą macierz kwadratową o wymiarach mxm utworzoną z liniowo niezależnych kolumn aj macierzy A.

35. Def.2a.Rozwiązaniem bazowym układu równań AX=b , rz(A)=m, n>m, nazywamy wektor XB=B-1b utworzony ze zmiennych odpowiadających kolumnom aj macierzy bazowej B. Składowe wektora XB noszą nazwę zmiennych bazowych. Uwaga! Maksymalna ilość rozwiązań bazowych wynosi Def.2b.Rozwiązaniem bazowym dopuszczalnym nazywamy rozwiązanie bazowe, które spełnia warunek (1.2), czyli wszystkie zmienne bazowe są nieujemne. Def.3.Niezdegenerowanym rozwiązaniem bazowym dopuszczalnym nazywamy bazowe rozwiązanie dopuszczalne, w którym wszystkie zmienne bazowe są dodatnie. Def.4.Minimalnym rozwiązaniem dopuszczalnym nazywamy rozwiązanie dopuszczalne, które minimalizuje funkcję (1.1)

36. Przykład. Znaleźć rozwiązanie bazowe układu równań Maksymalna liczba rozwiązań bazowych Rząd macierzy A jest równy 2, zatem macierze Bi, i=1,2,3, odpowiadające kolejnym rozwiązaniom złożone będą z dwóch kolumn macierzy A . Jeśli to stąd

37. Jeśli to stąd Jeśli to stąd

38. Przykład x2 -x1+2x2=8 B (0,6) A C (0,4) Zbiór rozwiązań dopuszczalnych x1+x2=10 D (6,0) 2x1+x2=16 x1 Wykażemy, że rozwiązania bazowe odpowiadają wierzchołkom wielościanu. Sprowadzamy układ nierówności do postaci kanonicznej dodając zmienne dopełniające.

39. Rząd macierzy A jest równy 4, zatem macierze bazowe Bi utworzone będą z 4 kolumn • macierzy A, a każde niezdegenerowane dopuszczalne rozwiązanie bazowe • powinno zawierać 4 zmienne bazowe niezerowe. • Rozwiązanie bazowe związane z przecięciem się ograniczeń • Punkt wierzchołkowy B wynosi • 2) Rozwiązanie bazowe związane z przecięciem się ograniczeń • Punkt wierzchołkowy D wynosi lub

40. 3) Rozwiązanie bazowe związane z przecięciem się ograniczeń • Punkt wierzchołkowy C wynosi Rozwiązanie i ma cztery zmienne niezerowe jest więc rozwiązaniem niezdegenerowanym. Rozwiązanie ma tylko trzy zmienne dodatnie jest więc rozwiązaniem zdegenerowanym.

41. Właściwości rozwiązań zadania PL Twierdzenie.1.Zbiór wszystkich rozwiązań dopuszczalnych zagadnienia PL jest zbiorem wypukłym. Dowód. Należy wykazać, że każda wypukła kombinacja dwóch rozwiązań dopuszczalnych jest również rozwiązaniem dopuszczalnym. Załóżmy, że istnieją dwa rozwiązania X1 i X2. Mamy zatem A X1=b dla i A X2=b dla Dla niech będzie wypukłą kombinacja liniową wektorów X1 i X2. Zauważmy, że wszystkie elementy wektora X są nieujemne, tj. . Zatem X jest rozwiązaniem dopuszczalnym ponieważ X1 C X2 Jeśli zbiór jest wypukły to prosta łącząca dwa dowolne punkty zbioru należy także do zbioru.

42. Twierdzenie.2.Funkcja celu przyjmuje wartość minimalną w punkcie wierzchołkowym zbioru wypukłego K, utworzonego na zbiorze rozwiązań dopuszczalnych zagadnienia PL. Jeśli przyjmuje wartość minimalną w więcej niż jednym punkcie wierzchołkowym to tę samą wartość przyjmuje dla każdej kombinacji liniowej tych punktów. Dowód. Ponieważ K, jest zbiorem wypukłym ma skończoną ilość punktów wierzchołkowych np. x2 X3 X2 X1 X4 Xo K X5 X6 x1 Xo minimalne rozwiązanie dopuszczalne Xp punkty wierzchołkowe, p=1,..,6 f(X)funkcja celu warunek minimalizacji dla każdego K Załóżmy, że Xo nie jest punktem wierzchołkowym (patrz rys.) wtedy Xo możemy zapisać jako kombinację wypukłą wierzchołków zbioru K

43. Ponieważ funkcja celu f(X) jest funkcjonałem liniowym, mamy Zauważmy, że nie zwiększamy minimum jeśli za każde podstawimy najmniejszą spośród wszystkich wartości . W związku z tym niech Podstawiając do powyższej równości otrzymujemy Z założenia mamy dla wszystkich X należących do K, zatem musi być spełniona równość Istnieje zatem punkt wierzchołkowy w którym funkcja celu przyjmuje wartość Minimalną.

44. Twierdzenie.3.Jeśli można znaleźć wektorów P1, P2,..., Pk liniowo niezależnych takich, że oraz wszystkie , to punkt jest punktem wierzchołkowym zbioru wypukłego rozwiązań dopuszczalnych. X jest wektorem n-wymiarowym, którego n-k ostatnich elementów jest równych zeru. Dowód Załóżmy, że X nie jest punktem wierzchołkowym. Ponieważ jest rozwiązaniem dopuszczalnym może być wyrażony jako kombinacja wypukła dwóch dowolnych punktów X1 i X2 ze zbioru K co zapisujemy Ponieważ wszystkie elementy wektora X są nieujemne i wektory X1 i X2 przyjmują postać Ponieważ X1 i X2 są rozwiązaniami dopuszczalnymi zatem A X1=b i A X2=b. W postaci wektorowej równania te przyjmują postać Aby oba równania były zgodne musi być spełniony warunek Wobec tego punkt X nie może być wyrażony jako kombinacja wypukła X1 i X2 i musi być punktem wierzchołkowym

45. Twierdzenie.4.Jeśli jest punktem wierzchołkowym zbioru K, to wektory odpowiadające dodatnim xi tworzą zbiór liniowo niezależny. Dodatnich xi jest co najwyżej m. • Wniosek 1.Każdemu punktowi wierzchołkowemu zbioru K odpowiada zbiór m wektorów liniowo niezależnych z danego zbioru P1, P2,..., Pn . • Twierdzenie.5.Punkt jest punktem wierzchołkowym zbioru K, wtedy i tylko wtedy, gdy w kombinacji linowej wektorów niezależnych Pj • Współczynniki xj są dodatnie • Wnioski • Istnieje punkt wierzchołkowy zbioru K, w którym funkcja celu przyjmuje minimum • Każde bazowe rozwiązanie dopuszczalne jest punktem wierzchołkowym zbioru K • Każdemu punktowi wierzchołkowemu zbioru K odpowiada m wektorów liniowo niezależnych z danego zbioru n wektorów związanych z tym punktem.

46. Interpretacja geometryczna zadania PL Zagadnienie PL można przedstawić w postaci kanonicznej gdzie przestrzeń rozwiązań jest przestrzenia działania Znaleźć takie, że gdzie lub w przestrzeni wektorów , zwanej przestrzenią wymagań (ograniczeń) w postaci Znaleźć takie, że gdzie Hiperpłaszczyzną nazywamy obiekt określony jednym warunkiem liniowym w En

47. Interpretacja geometryczna zadania PL W przestrzeni działań jeśli zbiór rozwiązań dopuszczalnych jest ograniczony, to tworzy on wielościan wypukły S. Wyrażenie z=cX określa w przestrzeni Rn rodzinę równoległych hiperpłaszczyzn, prz czym wektor –c prostopadły do tych hiperpłaszczyzn wskazuje kierunek malenia funkcji z. Wychodząc z pewnej hiperpłaszczyzny należącej do tej rodziny i mającej wspólne punkty z wieloscianem S, przy przesuwaniu jej rónolegle w kierunku malenia z, można dojść do takiego jej położenia, że staje się ona hiperpłaszczyzną podpierającą. Jeśli ta hiperpłaszczyzna ma tylko jeden punkt wspólny ze zbiorem X0 to punkt ten będzie punktem wierzchołkowym i zadanie PL ma jedyne rozwiązanie optymalne. x2 -c minimum -c -c -c Zbiór rozwiązań dopuszczalnych x1 x2 -c minimum -c Zbiór rozwiązań dopuszczalnych x1

48. Interpretacja geometryczna zadania PL W przestrzeni wymagań Rm zbiór wektorach Pi, i=1,...,n generuje wypukły stożek wielościenny C. Jeśli wektor b (P0) zawarty jest w tym stożku, to istnieje rozwiązanie dopuszczalne zadania PL. Przy założeniu, że rząd macierzy A jest równy m więc liniowo niezależnych wektorów Pi jest tylko m, przy czym wektory te tworzą bazę w Rm. Jeśli wektor b (P0) należy do stożka rozpiętego na wektorach Pi, i=1,...,m to rozwiązanie dopuszczalne jest rozwiązaniem bazowym jest ograniczony, P3 P2 b2 P0 P1 b1

49. Metoda sympleksów • Rozwiązanie zadania PL metodą sympleksów polega na tym, że poczynając od określonego wierzchołka wielościanu wypukłego, będącego zbiorem rozwiązań dopuszczalnych, w kolejnych krokach wybieramy wierzchołki położone coraz bliżej wierzchołka optymalnego, tzn. odpowiadającemu optymalnemu bazowemu rozwiązaniu dopuszczalnemu. • W metodzie sympleksów należy określić • Sposób przechodzenia z bazy do bazy • Kryterium zbieżności, kryterium zatrzymania procedury • Metodę wyznaczania początkowego bazowego rozwiązania dopuszczalnego • Sposób postępowania przy pojawieniu się zdegenerowanych rozwiązań bazowych

50. Metoda sympleks do rozwiązywania zadania PL W programowaniu liniowym szukamy optimum poruszając się po punktach ekstremalnych zbioru punktów dopuszczalnych Xo. W każdym punkcie ekstremalnym przynajmniej n-m zmiennych przyjmuje wartość zero. Reszta jest określona równaniem AX=b. Za pomocą metody sympleks przeszukujemy wierzchołki zbioru punktów dopuszczalnych w uporządkowany sposób, generując kolejne punkty x1, x2, ... ,xk. W każdym punkcie xkn-m zmiennych, które w punkcie xk mają wartości zerowe nazy- wamy zmiennymi niebazowymi (zbiór indeksów tych zmiennych oznaczymy Nk). Na- tomiast pozostałe m zmiennych nazywamy zmiennymi bazowym (zbór indeksówBk). Wektor zmiennych oznaczamy X=[XBXN] Odpowiednio macierz ograniczeń przyjmuje postać A=[ABAN]