Lect_3_131015 (MPI)
Описание файла
Файл "Lect_3_131015" внутри архива находится в папке "MPI". PDF-файл из архива "MPI", который расположен в категории "". Всё это находится в предмете "параллельное программирование для высокопроизводительных вычислительных систем" из 11 семестр (3 семестр магистратуры), которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .
Просмотр PDF-файла онлайн
Текст из PDF
Параллельное программирование длявысокопроизводительныхвычислительных систем2015 – 2016 уч. г.Лектор: доцент Н.Н.Попова,Лекция 3Тема: «MPI. Неблокирующие и коллективныепередачи»09 октября 2015 г.Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 31Пример : скалярное произведение векторов.Алгоритм.Алгоритм: Считаем, что элементы векторов А и В равномернораспределены по процессам.
Число элементов векторовкратно числу процессов. Начальные значения векторов определяются каждымпроцессом Схема алгоритма: главный-подчиненный (master-slave) Главный (master):- обработка входных данных (чтение количества элементоввекторов из командной строки)- рассылка данных по подчиненным- прием результатов (локальных сумм) от подчиненных- вычисление общей суммы Завершение работыСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 32Пример : скалярное произведение.
Главныйпроцесс.Главный (master):- обработка входных данных (чтение количества элементоввекторов из командной строки)- рассылка данных по подчиненнымfor (i=1; i<Nproc; i++)MPI_Send( …. )- прием результатов (локальных сумм) от подчиненныхfor (i=1; i<Nproc; i++)MPI_Recv( …….)- вычисление общей суммыЗавершение работыMPI_Finalize()Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 33Пример : скалярное произведение. Подчиненныепроцессы.Подчиненные процессы (slaves) Прием информации о числе элементов от MasterMPI_Recv (…..) Создание локальных массивов в динамической памяти Определение начальных значений элементов векторов Вычисление локальных сумм Пересылка вычисленных значений процессу MasterMPI_Send ( ) Завершение работыMPI_Finalize ()Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 34Пример : скалярное произведение.Реализация#include <stdio.h>#include <stdlib.h>#include <mpi.h>void dataRead(double *v, int n);double localSum(double *a,double *b, int n);/***************************************/int main(int argc, char *argv[]){int nProc, myRank;int root =0;int tag =0;int i, N, N_local;double partialSum, totalSum=0.0;double *a_local, *b_local;double timeStart,timeFinish;MPI_Status status;Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 35Пример : скалярное произведение.Реализация.
Master.MPI_Init(&argc, &argv);MPI_Comm_rank(MPI_COMM_WORLD, &myRank);MPI_Comm_size(MPI_COMM_WORLD, &nProc);if (myRank == root){timeStart = -MPI_Wtime();N = (int)(atof(argv[1]));N_local= N/nProc;for (i=1;i<nProc;i++)MPI_Send(&N_local, 1, MPI_INT, i, tag, MPI_COMM_WORLD);for (i=1;i<nProc;i++){MPI_Recv(&partialSum, 1, MPI_DOUBLE, i, MPI_ANY_SOURCE,tag,MPI_COMM_WORLD,&status);totalSum+=partialSum;}timeFinish = MPI_Wtime();printf(" Sum of vector =%e\n",totalSum);printf(" Program Run time = %d\n", timeStart+timeFinish);}Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 36Пример : скалярное произведение.Реализацияelse {MPI_Recv(&N_local, 1, MPI_INT, root, tag, MPI_COMM_WORLD,&status);a_local=(double *) malloc(N_local*sizeof(double));b_local=(double *) malloc (N_local*sizeof(double));dataRead(a_local, N_local); dataRead(b_local, N_local);partialSum=localSum(a_local,b_local,N_local);MPI_Send(&partialSum,1,MPI_DOUBLE,root,tag,MPI_COMM_WORLD);free(a_local); free(b_local);}MPI_Finalize();return 0;}Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 37Пример : скалярное произведение.Реализация/***********************************************************/void dataRead(double *v, int n){int i;for (i=0; i<n; i++)v[i]= (double)i;} /*dataRead*//***********************************************************/double localSum(double *a, double *b, int n){int i;double sum=0.0;for (i=0; i<n; i++)sum+=a[i]*b[i];;return sum;}/*localSum*/Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 38Трансляция программысистема Regatta (IBM pSeries 690)%mpicc –o dot_pr dot_pr.cСправочная информация по опциям компилятора% mpicc – helpСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 39Запуск программы на счетОбычно:%mpirun –np 4 dot_pr 40000 Запуск на Regatta под управлением системыуправления заданиями LoadLeveler%mpisubmit –w 01:00 –n 8 dot_pr- одна минута- 8 процессовСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 310Запуск программы на счетmpisubmit [<параметры mpisubmit>] <имя задачи – название исполняемогофайла> [<параметры задачи>]Параметры mpisubmit:-w лимит счетного времени предполагаемое время счета задания в формате чч:мм:сс илисс, или мм:сс; ( По умолчанию 10 минут)-n число процессоров, максимально 16, по умолч.
1-m почтовый адрес<username>@regatta.cmc.msu.ruНа данный адрес будет послана информация по завершению задачи-stdout файл для потока выводаИмя_задания.nnnn.outв каталог, из которого происходила постановка задания в очередь.-stderr файл для потока ошибокимя_задания.nnnn.errв каталог, из которого происходила постановка задания в очередь.-stdin файл для потока вводаСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 311БАЗОВАЯ ИНСТРУКЦИЯ ПО РАБОТЕ на ВСRegattaВыход на систему:локальная машина>ssh <логин>@regatta.cs.msu.suКопировать файл с локального компьютера на Regatta:локальная машина>scp file <логин>@regatta.cs.msu.su:~/fileКомпиляция MPI-программы (на языке C, C++ и Fortran90 соответственно):>mpicc prog.c -o prog>mpiCC prog.cpp -o prog>mpif90 prog.F -o progПостановка программы в очередь задач с лимитом выполнения 15 минут начетыре процессора c параметром командной строки parameter:>mpisubmit -w 15:00 -n 4 prog parameterПросмотреть состояние очереди:>llqУдалить задачу с ID regatta.1111 из очереди задач:>llcancel regatta.1111Полное руководство по ссылке: http://regatta.cmc.msu.ruСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 312Функции MPI передачи«точка-точка»Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 313Схема передачиСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 314Системный буферВнешний объект по отношению к MPI-программеНе оговаривается в стандарте => зависит от реализацииИмеет конечный размер => может переполнятьсяЧасто не документируетсяМожет существовать как еа передающей стороне, так и напринимающей или на обеих сторонахПовышает производительность параллельной программыСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 31515Режимы (моды) операций передачисообщенийРежимы MPI-коммуникаций определяют, при какихусловиях операции передачи завершаютсяРежимы могут быть блокирующими илинеблокирующими Блокирующие: возврат из функций передачисообщений только по завершению коммуникаций Неблокирующие (асинхронные): немедленныйвозврат из функций, пользователь долженконтролировать завершение передачСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 316Режимы передачиРежим (Mode)Условие завершения (Completion Condition)SynchronoussendBuffered sendЗавершается только при условии инициацииприемаВсегда завершается (за исключениемошибочных передач), независимо от приемаСообщение отослано (состояние приеманеизвестно)Всегда завершается (за исключениемошибочных передач), независимо от приемаЗавершается по приему сообщенияStandard sendReady sendReceiveСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 317Фунции передачи сообщений «точка-точка»(блокирующие)Режим (MODE)MPI функцииStandard sendMPI_SendSynchronous sendMPI_SsendBuffered sendMPI_BsendReady sendMPI_RsendReceiveMPI_RecvСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 318Синхронный send (MPI_Ssend)Критерий завершения: принимающий процесс посылаетподтверждение (“handshake”), которое должно бытьполучено отправителем прежде, чем send может считатьсязавершеннымИспользуется в случаях, когда надо точно знать, чтосообщение полученоПосылающий и принимающий процессы синхронизируются Независимо от того, кто работает быстрее Idle time (простой) процесса возможенСамый безопасный режим работыСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 319Buffered send (MPI_Bsend)Критерий завершения: завершение передачи, когда сообщениескопируется в буферПреимущество: гарантировано немедленное завершениепередачи (предсказуемость)Недостатки: надо явно выделять буфер под сообщенияФункции MPI для контроля буферного пространстваMPI_Buffer_attachMPI_Buffer_detachСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 320MPI_Buffer_attachint MPI_Buffer_attach(void *buffer, int size )int MPI_Buffer_deattach(void *buffer)Каждый вызов MPI_Buffer_attach требует дополнительныйобъем памяти, максимальный размер определяется константойMPI_BSEND_OVERHEAD в mpi.hСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 321MPI_Buffer_attachif (myrank == 0) {/* Attach buffer, do buffered send, and then detach buffer */size=2*sizeof(double)*NELEM+2* MPI_BSEND_OVERHEAD;buffer = (void*)malloc(size); rc = MPI_Buffer_attach(buffer, size);if (rc != MPI_SUCCESS){ printf("Buffer attach failed.