Гергель В.П., проф., д.т.н., кафедра МО ЭВМ ВМК ННГУ

1. Нижегородский государственный университетим. Н.И. ЛобачевскогоЗимняя школа по параллельному программированиюПрактикум по технологиям параллельного программирования (на примере учебно-исследовательской задачи) Гергель В.П., проф., д.т.н.,кафедра МО ЭВМ ВМК ННГУ

2. Учебная задача В качестве учебного примера рассматриваетсяпроблема численного решения задачи Дирихле для уравнения Пуассона Практикум по технологиям параллельного программирования

3. Последовательные методы решения Метод конечных разностей Практикум по технологиям параллельного программирования

4. Итерационные схемы Метод Гаусса-Зейделя Трудоемкость T = kmN2 N - число узлов по каждой координате m - число операций на узел k - количество итераций Практикум по технологиям параллельного программирования

5. Алгоритм 1.1 Практикум по технологиям параллельного программирования

6. Примеррасчетов N = 100 eps= 0.1 k = 210 Практикум по технологиям параллельного программирования

7. Организация параллельных вычислений • Системы с общей памятью (мультипроцессоры) • Системы с распределенной памятью (мультикомпьютеры) Практикум по технологиям параллельного программирования

8. Системы с общей памятью Возможные подходы • новые алгоритмические языки (OCCAM,…), • существующие алгоритмические языки, расширенные набором операторов для параллельных вычислений (HPF,…), • использование внеязыковых средств (директивы, комментарии, ...) или библиотек Практикум по технологиям параллельного программирования

9. Технология OpenMP • Вилочный (fork-join) –пульсирующий - параллелизм - выделение в программе параллельных областей Практикум по технологиям параллельного программирования

10. Алгоритм 1.2 Практикум по технологиям параллельного программирования

11. Результаты экспериментов Практикум по технологиям параллельного программирования

12. Оценка подхода • (+) Алгоритм обеспечивает решение задачи • (+) Может быть задействовано до N2процессов • (-) Чрезмерная синхронизация • (-) Слабая загрузка процессоров Низкая эффективность Практикум по технологиям параллельного программирования

13. Проблема: блокировки при взаимоисключении Практикум по технологиям параллельного программирования

14. Алгоритм 1.3 Практикум по технологиям параллельного программирования

15. Результаты экспериментов Практикум по технологиям параллельного программирования

16. Оценка подхода • (+) Существенное снижение обращений к общей переменной • (-) Снижение показателя максимально возможного параллелизма до N  Лучшие показатели ускорения Практикум по технологиям параллельного программирования

17. Проблема: Неоднозначность вычислений !!! Результаты различаются от запуска к запуску – метод хаотической релаксации (chaotic relaxation) Причина: состязание потоков (race condition) Практикум по технологиям параллельного программирования

18. Состязание потоков Выход: захват и блокировка используемых строк Практикум по технологиям параллельного программирования

19. Проблема: взаимоблокировка Тупик Практикум по технологиям параллельного программирования

20. Разрешение тупиков Решение: соблюдение строгой последовательности блокировки строк !!! Однозначность вычислений не обеспечивается Практикум по технологиям параллельного программирования

21. Метод Гаусса-Якоби • Разделение места хранения результатов на предыдущей и текущей итерации Практикум по технологиям параллельного программирования

22. Алгоритм 1.4 Практикум по технологиям параллельного программирования

23. Результаты экспериментов Практикум по технологиям параллельного программирования

24. Оценка подхода • (+) Однозначность вычислений • (-) Использование дополнительной памяти • (-) Меньшая скорость сходимости Возможность повышения эффективности расчетов Практикум по технологиям параллельного программирования

25. Схема чередования обработки строк Практикум по технологиям параллельного программирования

26. Оценка подхода • (+/-) Однозначность вычислений, но не совпадение результатов последовательных расчетов • (-) Меньшая скорость сходимости Возможность повышения эффективности расчетов Практикум по технологиям параллельного программирования

27. Волновые схемы параллельных вычислений… • Выполнение только тех вычислительных действий, которые выполняет последовательный метод и, как результат, получение совпадающих результатов приводит к порождению волновой схемы расчетов (wavefront or hyperplane methods) Практикум по технологиям параллельного программирования

28. Волновые схемы параллельных вычислений Практикум по технологиям параллельного программирования

29. Алгоритм 1.5 Практикум по технологиям параллельного программирования

30. Алгоритм 1.5' Практикум по технологиям параллельного программирования

31. Результаты экспериментов Практикум по технологиям параллельного программирования

32. Оценка подхода • (-) Неэффективность использования кэша Возможность повышения эффективности расчетов Практикум по технологиям параллельного программирования

33. Блочное представление данных Практикум по технологиям параллельного программирования

34. Алгоритм 1.6 Практикум по технологиям параллельного программирования

35. Результаты экспериментов Практикум по технологиям параллельного программирования

36. Оценка подхода • (+) Возможность тонкой подстройки под имеющийся кэш • (-) Возможность простоев процессоров Возможность повышения эффективности расчетов Практикум по технологиям параллельного программирования

37. Балансировка вычислительной нагрузки Очередь заданий Практикум по технологиям параллельного программирования

38. Организация параллельных вычислений для систем с распределенной памятью • Разделение данных • Обмен сообщениями Практикум по технологиям параллельного программирования

39. Ленточная схема разделения данных Практикум по технологиям параллельного программирования

40. Схема алгоритма Практикум по технологиям параллельного программирования

41. Схема обмена данными между процессорами !!! Последовательное выполнение операций передачи данных Практикум по технологиям параллельного программирования

42. Параллельное выполнение операций передачи данных Практикум по технологиям параллельного программирования

43. Коллективные операции Практикум по технологиям параллельного программирования

44. Результаты экспериментов Практикум по технологиям параллельного программирования

45. Оценка подхода • (-) Результаты расчетов отличаются от результатов последовательных вычислений Практикум по технологиям параллельного программирования

46. Волновые вычисления при ленточной схеме разделения данных Практикум по технологиям параллельного программирования

47. Блочная схема разделения данных… Практикум по технологиям параллельного программирования

48. Блочная схема разделения данных Практикум по технологиям параллельного программирования

49. Вычислительный конвейер (множественная волна) Практикум по технологиям параллельного программирования

50. Операции передачи данных Практикум по технологиям параллельного программирования