Lect_7_MPI_0112_2015_2 (MPI)

Параллельное программирование длявысокопроизводительных вычислительных систем.сентябрь – декабрь 2015 г.Лекторы: доцент Н.Н.Попова,асс.В.А.БахтинЛекция1 декабря 2015 г.Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаТемаУточнение постановки задания«Параллельные алгоритмы матричногоумножения»Итоговое задание :«Исследование решения задачи Дирихле»Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаЗадание 3.На основе представленных в лекциях алгоритмовФокса, Кеннона разработать параллельныйалгоритм матричного умножения C=AxBПровести исследование эффективностиразработанных алгоритмов.Исследовать влияние мэппинга процессов на времявыполнения параллельных программ. Провестианализ временных затрат (вычисления, обменданными).Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаРежимы использования ядер Blue Gene/P3 режимаSMP: 1 MPI процесс из 4 SMP нитей,2 Гб памяти- mode smpСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаРежимы использования ядер3 режимаDUAL: 2 MPI процесса по 2 SMP нити,1 Гб памяти на MPI процесс- mode dualСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаРежимы использования ядер3 режимаVNM: 4 MPI процесса- mode vnСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаПроцессорные партицииПодмножества вычислительных узлов, выделяемыхзадачеКаждой задаче выделяется своя партицияЗагрузка задачи на исполнение производитсянезависимо от других задачРазмер партиции определяется кратным 32(на текущий момент на системе ВМК - кратным 128 )Для партиций размером кратным 512поддерживается топология тораСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаНазначение процессов на процессоры(mapping) Blue Gene/PРаспределение процессовпо процессорам по умолчанию:XYZT, где <XYZ> - координатыпроцесса в торе,T – номер ядра внутри процесса.Сначала увеличивается X –координата, затем Y и Zкоординаты, после этогоT- номер ядраСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаMapping2 способа назначения процессов на процессоры: с помощью аргумента командной строки командыmpirun–mapfile TXYZ (задаем порядок TXYZ или другиеперестановки X,Y,Z,T: TYXZ, TZXY и т.д.)Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаMappingуказание map- файла в mpisubmit.bg–e BG_MAPPING = map.txtгде map.txt – имя файла.Синтаксис файла распределения – четыре целых числа в каждойстроке задают координаты для каждого MPI-процесса (перваястрока задает координаты для процесса с номером 0, втораястрока – для процесса с номером 1 и т.д.).00010011Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаНазначение процессов напроцессоры.

map-файл.Очень важно, чтобы этот файлзадавалкорректноераспределение, с однозначнымсоответствием между номеромпроцесса и координатами <X, Y,Z, T>.0-й процесс1-й процессXYZTФрагмент файла,задающегоmapping,сгенерированныйслучайнымобразом.Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.Попова33122060131322221171203112430123137202502133326221023211…..Основной шаблон протокола работыпользователяКомпиляция MPI-программы (C,C++ BGP, front-end)%mpixlc –O3 –qarch=450 –qtune=450example.c -o c_ex%mpixlcxx –O3 –qarch=450 –qtune=450example.cpp -o cpp_exКомпиляция гибридной MPI-OpenMP программы:%mpixlc_r -qsmp=omp –O3 –qarch=450–qtune=450 hw.c -o hwВыполнение MPI-программы% mpisubmit.bg –n 128 –w 00:15:00 –eBG_MAPPING=TZXYZ -m smp example – arg1 arg2%mpisubmit.bg –helpСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаОсновной шаблон протокола работыпользователяПостановка MPI-программы в очередь задач с лимитом выполнения 15 минутна 32 узлах в режиме VN c параметром командной строки :%mpisubmit.bg -w 00:15:00 -m vn -n 32prog – 0.1 200Постановка MPI+OpenMP программы prog в очередь задач с лимитомвыполнения 15 минут на 128 узлах в режиме SMP c 4 нитями на каждомузле, с заданием файла мэпинга map.txt и c параметром командной строкиparameter:%mpisubmit.bg -w 00:15:00 -m smp -n 128-e \”OMP_NUM_THREADS=4 BG_MAPPING=map.txt \”prog -- parameterОсновной шаблон протокола работыпользователяПроверка состояния очереди задач:%llqУдаление задачи из очереди:%llcancel <task_id>Текущее состояние очереди%llmapСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаPMPIPMPI позволяет заменять вызовы MPIфункций во время линкования (не требуетсяперекомпиляция)Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаИтоговое задание .Исследование эффективности решениязадачи Дирихле для уравнения Лапласа.Задача Дирихле для уравнения Лапласа (1).  2u  2u  2u 2  2  2  0, ( x, y, z )  D,yz xu ( x, y, z )  g ( x, y, z ), ( x, y, z )  D 0 ,(1)где u(x, y, z) - функция, удовлетворяющая в области D уравнениюЛапласа и принимающая на границе D0 области D значения g(x, y, z).М.В.Абакумов, А.В.Гулин Лекции по численным методамматематической физики.

Учебное пособие. – М.-:ИНФРА-М, 2013.158Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаПостановка задачи.Разностная схема.Численный подход к решению задачи (1) основан назамене производных соответствующими конечнымиразностями (2).ui 1, j ,k  2ui , j ,k  ui 1, j ,kh2ui , j 1,k  2ui , j ,k  ui , j 1,kh2ui , j ,k 1  2ui , j ,k  ui , j ,k 1h2 0, (2)где h  0 - шаг сетки, u i , j ,k - значение функции u(x, y, z) в точкеx  xi  ih, i  0, M  1, y  y j  jh, j  0, N  1, z  z k  kh, h  0, L  1,где M, N, L - количество внутренних узлов по каждой координатев области D.Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаМетод Якоби. итерационный метод Якоби (3).n 1i 1, j , kun 1i 1, j , kun 1i , j 1, kun 1i , j 1, kuni , j ,k (uuni , j ,k g i , j ,k , ( x, y, z )  D , n  1,2,..un 1i , j , k 10где n - номер итерации.Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.Поповаun 1i , j , k 1)/6(3)Уравнение Лапласа (2D)u u 2 02xy22x, y  [0,1](1)Краевые условия:u ( x,0 )  sin (x)u ( x,1)  sin (x)e0x1x0x1u (0, y )  u (1, y )  00y1(2)Аналитическое решение:u( x, y)  sin(x)e xyx, y  [0,1]Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.Попова(3)Дискретизация уравнения Лапласаuin, 1j uin1,j  uin1,j  ui,jn 1  ui,jn 14i  1,2, ,m; j  1,2, ,m(4)где n и n+1 текущий и следующий шаг,ui,jn  u n(xi ,y j )i  0,1,2, ,m  1; j  0,1,2, ,m  1 u n(ix, jy )Для простотыx  y 1m1Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.Попова(5)Вычислительная областьu(x,1)  sin(x)e xy, jx, iu(1,y)  0u(0,y)  0u ( x,0)  sin (x)uin, j 1 uin1,j  uin1,j  ui,jn 1  ui,jn 14i  1,2, ,m; j  1,2, ,mСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.Попова5-точечный шаблонuin, j 1 uin1,j  uin1,j  ui,jn 1  ui,jn 1xx o x4xвнутренняя область, накоторой ищется решениеуравнения(i, j)граничная область.Голубые клетки – неоднородныеграничные условия,Зеленые - однородныеСпецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.Поповаxx o xxМетод Якоби3.Задать начальные значения u во всех внутренних точках (i,j) вмомент времени n=0.Используя 5-точечный шаблон, вычислить значения воn 1внутренних точках ui , j (i,j).Завершить процесс, если заданная точность достигнута.4.Иначе:5.Перейти на шаг 2.1.2.uin, j  uin, j 1для всех внутренних точек.Это очень простая схема.

Медленно сходится, поэтому не используетсядля решения реальных задач.Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаРешение (линии уровня)Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаМетод последовательной верхнейрелаксации (Successive Over Relaxation)1.2.3.4.5.6.7.Определяем начальное значение u во всехвнутренних точках (i,j).Определяем n (0  ωn  2)'uИспользуя 5-точечный шаблон вычисляем i , j во всехвнутренних точках (i,j).uin, j 1   nui', j  (1   n )uin, jВычисляемЗавершаем процесс, если точность достигнута, иначеОбновляем: uin, j  uin, j 1  i, jПереход на пункт 2.На шаге 3 вычисляем u‘, используя u вмомент n по формуле (4)Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаМетод SOR.

Выбор011   2 / 2n  121   1 / 4121   q 1 / 4for n  0for n  1for n  2for n  q  22  - спектральн ый радиусгде   1   2m  1 Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаRed-Black SORУчитывая 5-точечный шаблон,решение в черных клетках зависят от4-ех красных клеток.Соответственно, красные клеткизависят только от 4-ех черныхклеток. Параллельный алгоритм:1.Вычисляем u в черных клетках вмомент времени n+1 используя u,вычисленные в красных клетках вмомент времени n.2.Вычисляем u в красных клетках вмомент времени n+1, используя uв черных клетках, вычисленныедля n+1.3.xx o xxxx o xx XПовторяем шаги 1 и 2 пока небудет достигнута точность.Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаПорядок выполнения шагов 1 и 2может быть произвольнымxx Oo xXxПараллельная реализация1D Domain Decomposition2D Domain DecompositionПроцесс 3Процесс 2Процесс 3Процесс 2Процесс 1Процесс 0Процесс 0Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.ПоповаПроцесс 1ИТОГОВОЕ ЗАДАНИЕ.Разработать параллельную программу сиспользованием технологии MPI, реализующуюрешение задачи Дирихле методом SOR.Провести исследование эффективностиразработанной программы на системе Blue Gene/P.Спецкурс "Параллельноепрогораммирование", MPI,лекция 7, лекторН.Н.Попова.