Algorytmy

1. Algorytmy Wioletta Karpińska Wydział Matematyki i Informatyki Uniwersytet Łódzki Wykład na ZUM I w 2010

2. Informacje wstępne

3. Literatura: • Banachowski L., Kreczmar A.: Elementy analizy algorytmów. • Banachowski L., Diks K., Rytter W.: Algorytmy i struktury danych. • Cormen T.H., LeisersonCh.E., Rivest R.L.: Wprowadzenie do algorytmów . http://math.uni.lodz.pl/~karpinw/zadania/Talgorytmiczne/Cormen.pdf • Ross K.A., Wright Ch.R.B.: Matematyka dyskretna. • Sedgewick R.: Algorytmy w C++. • Sedgewick R., Flajolet P.: An Introduction to theAnalysis of Algorithms.

4. Plan zajęć

5. Co to jest algorytm? Algorytm – w matematyce oraz informatyce skończony, uporządkowany ciąg jasno zdefiniowanych czynności, koniecznych do wykonania pewnego rodzaju zadań. Słowo "algorytm" pochodzi od starego angielskiego słowa algorism, oznaczającego wykonywanie działań przy pomocy liczb arabskich (w odróżnieniu od abacism - przy pomocy abakusa), które z kolei wzięło się od nazwiska Muhammed ibn Musa Alchwarizmi (أبو عبد الله محمد بن موسى الخوارزمي) matematyka perskiego z IX wieku[1]. Źródło: Wikipedia

6. Co to jest algorytm? Algorytm -opis czynności składających się na proces przetwarzania zadanych obiektów początkowych (wejściowych) w celu otrzymania obiektów wynikowych (wyjściowych). Algorytm możemy również traktować jako sposób rozwiązywania konkretnego problemu. Postawienie problemu polega na sprecyzowaniu wymagań dotyczących relacji między danymi wejściowymi i wyjściowymi, a algorytm opisuje właściwą procedurę, która zapewnia, że ta relacja zostanie osiągnięta.

7. Co to jest algorytm?

8. Co to jest algorytm?

9. Przykład 1. Przepis kulinarny. Język opisu naturalny

10. Przykład 2. Przepis kulinarny. Język opisu naturalny

11. Przykład 1 i 2. Przepis kulinarny Podstawowe koncepcje algorytmiczne: • sekwencje czynności • warunkowe wykonanie • powtarzanie, aż zajdzie warunek • zestawy czynności zdefiniowane wcześniej – poziom szczegółowości CZAS!

12. Przykład 3. NWD (algorytm szkolny). Język opisu: lista kroków z pojęciami abstrakcyjnymi.

13. Przykład 3. NWD (algorytm szkolny). Język opisu: lista kroków z pojęciami abstrakcyjnymi. Widać, jak algorytm działa dla małych liczb. Dla dużych: • Jak znajdować dzielniki? • Jak obliczać część wspólną list? Rozwiązanie problemu: Algorytm Euklidesa – ćw.

14. Przykład 4. Sumowanie listy płac. Język opisu: lista kroków w języku naturalnym

15. Przykład 4. Sumowanie listy płac. Język opisu: lista kroków w języku naturalnym Ważna cecha przykładu: • Wielkość programu taka sama dla dowolnie długich list

16. Halting problem – bez rozwiązania algorytmicznego Problem zatrzymania – algorytm ma orzekać, czy dany program komputerowy kiedykolwiek wykona wszystkie procedury i zatrzyma się

17. Krótka historia algorytmiki • IV w. p.n.e. Euklides: znajdowanie największego wspólnego dzielnika • VIII/IX w. n.e.: Muhammed Alchwarizmi: dodawanie, odejmowanie, mnożenie, dzielenie liczb dziesiętnych (Algorismus –nazwisko po łacinie) • 1822 Charles Babbage: projekt “maszyny różnicowej”, mechaniczny kalkulator (budowa niedokończona)

18. Krótka historia algorytmiki • 1849 Babbage: maszyna analityczna - projekt mechanicznego komputera, sterowanego kartami Jacquarda (zrealizowany ostatecznie w 1991 w Science Museum, Londyn), czyli maszyny wykonującej dowolne programy • 1850 Ada Augusta hrabina Lovelace: programy dla maszyny analitycznej Babbage’a • 1930-te – Alan Turing, Kurt Goedel, Emil Post, Alonzo Church, Stephen Kleene, Andriej Markow : teoria algorytmów, możliwości i ograniczenia algorytmiki

19. Krótka historia algorytmiki • 1937 – maszyna MARK 1 – pierwsza działająca maszyna ze sterowaniem sekwencyjnym (przekaźniki elektromagnetyczne), sterowana za pomocą taśmy papierowej, 200 op./sek. • 1946 – Maszyna Einiac –pierwsza maszyna elektroniczna (lampy elektronowe) – 6 tys. op./sek. • 1958 – maszyny tranzystorowe, 20 tys. op./sek.

20. Krótka historia algorytmiki • 1964 – maszyny mikroukładowe (układy scalone), 100 tys. op/sek • 1970 – maszyny na zintegrowanych elementach scalonych, 10 mln. op/sek • 1970-te do dzisiaj: rozkwit algorytmiki

21. Realizacja algorytmu • Uniwersalne urządzenie do wykonywania algorytmów związanych z przetwarzaniem informacji Komputer = sprzęt + oprogramowanie • Obiekty przetwarzane przez program: Dane Dane +algorytm = wyniki • Zapis algorytmu zrozumiały dla komputera w Języku programowania – U nas C++ • Algorytmy zrozumiałe dla komputera: Programy

22. Pseudojęzyk

23. Pseudojęzyk

24. Pseudojęzyk

25. Analiza algorytmów Dział informatyki teoretycznej zajmujący się poszukiwaniem najlepszych i najbardziej efektywnych algorytmów do zadań komputerowych. Efektywny algorytm: • Najszybszy? • Wymagający najmniejszych zasobów pamięci? • Prostota algorytmu? To zależy m.in. od przeznaczenia i oczekiwań użytkowników.

26. Analiza algorytmów

27. Analiza algorytmów

28. Analiza algorytmów

29. Analiza algorytmów Poprawny jest, gdy: Dla każdego zestawu danych wejściowych zatrzymuje się i daje dobry wynik. Poprawność dokładniej zostanie omówiona na oddzielnym wykładzie. Intuicja

30. Ocena przydatności algorytmu Złożoność obliczeniowa – podstawowa wielkość stanowiąca miarę przydatności algorytmu. Obejmuje problemy związane z implementacją i efektywnością algorytmu.

31. Ocena przydatności algorytmu Złożoność obliczeniowa – funkcja zależna od danych wejściowych, a dokładnie od rozmiaru danych wejściowych. Rozmiar danych wejściowych – liczba pojedynczych danych wchodzących w skład całego zestawu danych wejściowych. Przykład:

32. Ocena przydatności algorytmu Zależność odwrotnie proporcjonalna

33. Ocena przydatności algorytmu – czas działania (złożoność czasowa) Miara szybkości algorytmu powinna być: • Niezależna od oprogramowania • Niezależna od sprzętu • Niezależna od umiejętności programisty Powinna to być cecha samego algorytmu!

34. Ocena przydatności algorytmu – czas działania (złożoność czasowa)

35. Ocena przydatności algorytmu – czas działania (złożoność czasowa)

36. Ocena przydatności algorytmu – czas działania (złożoność czasowa) • Liczbę operacji dominujących zwykle szacujemy z dokładnością do stałego czynnika. • Dla małych rozmiarów danych wejściowych najlepsze są najprostsze rozwiązania – nie ma problemu. • Jak zachowuje się algorytm, gdy rozmiar danych wejściowych dąży do nieskończoności? • Podajemy najprostszą funkcję charakteryzującą rząd wielkości T(n). Np.: T(n)=n2 dla 2n2+50, T(n)=n dla 100n W pierwszym przypadku algorytm jest wolniejszy, bo dla „dużego” n funkcja kwadratowa rośnie szybciej niż liniowa.

37. Ocena przydatności algorytmu – czas działania (złożoność czasowa) Asymptotyczny czas działania – czas działania algorytmu dla danych wejściowych, których rozmiar dąży do nieskończoności.

38. Ocena przydatności algorytmu – czas działania (złożoność czasowa) Większość algorytmów ma złożoność czasową (asymptotyczny czas działania) proporcjonalną do jednej z podanych poniżej funkcji:

39. Ocena przydatności algorytmu – czas działania (złożoność czasowa) Przykład. Tabelka przedstawiająca czas potrzebny do realizacji algorytmu, który wykonuje 2n operacji dominujących (dla danych wejściowych rozmiaru n) przez dwa komputery, przy założeniu, że jedna operacja na każdym z nich zajmuje odpowiednio 10-6 i 10-9 sekund.

40. Ocena przydatności algorytmu – czas działania (złożoność czasowa) Mając algorytm, pytamy, czy możemy szybciej osiągnąć cel, czy też złożoność czasowa już osiągnęła wartość najmniejszą z możliwych. Zakres (przedział) czasów działania – przedział między teoretycznym dolnym oszacowaniem a najlepszym znanym algorytmem

41. Ocena przydatności algorytmu – czas działania (złożoność czasowa) Algorytmy sortowania oparte na porównywaniu elementów mają teoretyczne dolne oszacowanie liczby operacji dominujących rzędu nlgn, a trywialne dolne oszacowanie rzędu n. Problem mnożenia dwóch macierzy wymiaru n x n ma trywialne dolne oszacowanie rzedu kwadratowego.

42. Ocena przydatności algorytmu – czas działania (złożoność czasowa) Dla niektórych ważnych problemów teoretyczne dolne oszacowanie nie zostałam jeszcze wyznaczone. W takim przypadku bierzemy pod uwagę najszybszy istniejący algorytm rozwiązujący dany problem.