лекции (MPI), страница 2

г.Лектор: доцент Н.Н.Попова,Лекция 3Тема: «MPI. Неблокирующие и коллективныепередачи»09 октября 2015 г.Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 31Пример : скалярное произведение векторов.Алгоритм.Алгоритм: Считаем, что элементы векторов А и В равномернораспределены по процессам. Число элементов векторовкратно числу процессов. Начальные значения векторов определяются каждымпроцессом Схема алгоритма: главный-подчиненный (master-slave) Главный (master):- обработка входных данных (чтение количества элементоввекторов из командной строки)- рассылка данных по подчиненным- прием результатов (локальных сумм) от подчиненных- вычисление общей суммы Завершение работыСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 32Пример : скалярное произведение.

Главныйпроцесс.Главный (master):- обработка входных данных (чтение количества элементоввекторов из командной строки)- рассылка данных по подчиненнымfor (i=1; i<Nproc; i++)MPI_Send( …. )- прием результатов (локальных сумм) от подчиненныхfor (i=1; i<Nproc; i++)MPI_Recv( …….)- вычисление общей суммыЗавершение работыMPI_Finalize()Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 33Пример : скалярное произведение.

Подчиненныепроцессы.Подчиненные процессы (slaves) Прием информации о числе элементов от MasterMPI_Recv (…..) Создание локальных массивов в динамической памяти Определение начальных значений элементов векторов Вычисление локальных сумм Пересылка вычисленных значений процессу MasterMPI_Send ( ) Завершение работыMPI_Finalize ()Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 34Пример : скалярное произведение.Реализация#include <stdio.h>#include <stdlib.h>#include <mpi.h>void dataRead(double *v, int n);double localSum(double *a,double *b, int n);/***************************************/int main(int argc, char *argv[]){int nProc, myRank;int root =0;int tag =0;int i, N, N_local;double partialSum, totalSum=0.0;double *a_local, *b_local;double timeStart,timeFinish;MPI_Status status;Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 35Пример : скалярное произведение.Реализация.

Master.MPI_Init(&argc, &argv);MPI_Comm_rank(MPI_COMM_WORLD, &myRank);MPI_Comm_size(MPI_COMM_WORLD, &nProc);if (myRank == root){timeStart = -MPI_Wtime();N = (int)(atof(argv[1]));N_local= N/nProc;for (i=1;i<nProc;i++)MPI_Send(&N_local, 1, MPI_INT, i, tag, MPI_COMM_WORLD);for (i=1;i<nProc;i++){MPI_Recv(&partialSum, 1, MPI_DOUBLE, i, MPI_ANY_SOURCE,tag,MPI_COMM_WORLD,&status);totalSum+=partialSum;}timeFinish = MPI_Wtime();printf(" Sum of vector =%e\n",totalSum);printf(" Program Run time = %d\n", timeStart+timeFinish);}Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 36Пример : скалярное произведение.Реализацияelse {MPI_Recv(&N_local, 1, MPI_INT, root, tag, MPI_COMM_WORLD,&status);a_local=(double *) malloc(N_local*sizeof(double));b_local=(double *) malloc (N_local*sizeof(double));dataRead(a_local, N_local); dataRead(b_local, N_local);partialSum=localSum(a_local,b_local,N_local);MPI_Send(&partialSum,1,MPI_DOUBLE,root,tag,MPI_COMM_WORLD);free(a_local); free(b_local);}MPI_Finalize();return 0;}Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 37Пример : скалярное произведение.Реализация/***********************************************************/void dataRead(double *v, int n){int i;for (i=0; i<n; i++)v[i]= (double)i;} /*dataRead*//***********************************************************/double localSum(double *a, double *b, int n){int i;double sum=0.0;for (i=0; i<n; i++)sum+=a[i]*b[i];;return sum;}/*localSum*/Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 38Трансляция программысистема Regatta (IBM pSeries 690)%mpicc –o dot_pr dot_pr.cСправочная информация по опциям компилятора% mpicc – helpСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 39Запуск программы на счетОбычно:%mpirun –np 4 dot_pr 40000 Запуск на Regatta под управлением системыуправления заданиями LoadLeveler%mpisubmit –w 01:00 –n 8 dot_pr- одна минута- 8 процессовСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 310Запуск программы на счетmpisubmit [<параметры mpisubmit>] <имя задачи – название исполняемогофайла> [<параметры задачи>]Параметры mpisubmit:-w лимит счетного времени предполагаемое время счета задания в формате чч:мм:сс илисс, или мм:сс; ( По умолчанию 10 минут)-n число процессоров, максимально 16, по умолч.

1-m почтовый адрес<username>@regatta.cmc.msu.ruНа данный адрес будет послана информация по завершению задачи-stdout файл для потока выводаИмя_задания.nnnn.outв каталог, из которого происходила постановка задания в очередь.-stderr файл для потока ошибокимя_задания.nnnn.errв каталог, из которого происходила постановка задания в очередь.-stdin файл для потока вводаСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 311БАЗОВАЯ ИНСТРУКЦИЯ ПО РАБОТЕ на ВСRegattaВыход на систему:локальная машина>ssh <логин>@regatta.cs.msu.suКопировать файл с локального компьютера на Regatta:локальная машина>scp file <логин>@regatta.cs.msu.su:~/fileКомпиляция MPI-программы (на языке C, C++ и Fortran90 соответственно):>mpicc prog.c -o prog>mpiCC prog.cpp -o prog>mpif90 prog.F -o progПостановка программы в очередь задач с лимитом выполнения 15 минут начетыре процессора c параметром командной строки parameter:>mpisubmit -w 15:00 -n 4 prog parameterПросмотреть состояние очереди:>llqУдалить задачу с ID regatta.1111 из очереди задач:>llcancel regatta.1111Полное руководство по ссылке: http://regatta.cmc.msu.ruСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 312Функции MPI передачи«точка-точка»Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 313Схема передачиСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 314Системный буферВнешний объект по отношению к MPI-программеНе оговаривается в стандарте => зависит от реализацииИмеет конечный размер => может переполнятьсяЧасто не документируетсяМожет существовать как еа передающей стороне, так и напринимающей или на обеих сторонахПовышает производительность параллельной программыСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 31515Режимы (моды) операций передачисообщенийРежимы MPI-коммуникаций определяют, при какихусловиях операции передачи завершаютсяРежимы могут быть блокирующими илинеблокирующими Блокирующие: возврат из функций передачисообщений только по завершению коммуникаций Неблокирующие (асинхронные): немедленныйвозврат из функций, пользователь долженконтролировать завершение передачСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 316Режимы передачиРежим (Mode)Условие завершения (Completion Condition)SynchronoussendBuffered sendЗавершается только при условии инициацииприемаВсегда завершается (за исключениемошибочных передач), независимо от приемаСообщение отослано (состояние приеманеизвестно)Всегда завершается (за исключениемошибочных передач), независимо от приемаЗавершается по приему сообщенияStandard sendReady sendReceiveСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 317Фунции передачи сообщений «точка-точка»(блокирующие)Режим (MODE)MPI функцииStandard sendMPI_SendSynchronous sendMPI_SsendBuffered sendMPI_BsendReady sendMPI_RsendReceiveMPI_RecvСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 318Синхронный send (MPI_Ssend)Критерий завершения: принимающий процесс посылаетподтверждение (“handshake”), которое должно бытьполучено отправителем прежде, чем send может считатьсязавершеннымИспользуется в случаях, когда надо точно знать, чтосообщение полученоПосылающий и принимающий процессы синхронизируются Независимо от того, кто работает быстрее Idle time (простой) процесса возможенСамый безопасный режим работыСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 319Buffered send (MPI_Bsend)Критерий завершения: завершение передачи, когда сообщениескопируется в буферПреимущество: гарантировано немедленное завершениепередачи (предсказуемость)Недостатки: надо явно выделять буфер под сообщенияФункции MPI для контроля буферного пространстваMPI_Buffer_attachMPI_Buffer_detachСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 320MPI_Buffer_attachint MPI_Buffer_attach(void *buffer, int size )int MPI_Buffer_deattach(void *buffer)Каждый вызов MPI_Buffer_attach требует дополнительныйобъем памяти, максимальный размер определяется константойMPI_BSEND_OVERHEAD в mpi.hСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 321MPI_Buffer_attachif (myrank == 0) {/* Attach buffer, do buffered send, and then detach buffer */size=2*sizeof(double)*NELEM+2* MPI_BSEND_OVERHEAD;buffer = (void*)malloc(size); rc = MPI_Buffer_attach(buffer, size);if (rc != MPI_SUCCESS){ printf("Buffer attach failed.

Return code= %d\n", rc);MPI_Finalize(); }dest=1;rc = MPI_Bsend(data, NELEM, MPI_DOUBLE, dest, tag,MPI_COMM_WORLD);printf("Sent message1. Return code= %d\n",rc);Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 322MPI_Buffer_attachdest=2;rc = MPI_Bsend(data, NELEM, MPI_DOUBLE, dest, tag,MPI_COMM_WORLD);printf("Sent message2. Return code= %d\n",rc);MPI_Buffer_detach(&buffer, &size);free (buffer); }else{source=0;MPI_Recv(data, NELEM, MPI_DOUBLE, source, tag,MPI_COMM_WORLD, &status); printf("Received message. Return code=%d\n",rc);}Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 323Standard send (MPI_Send)Критерий завершения: Не предопределенЗавершается, когда сообщение отосланоМожно предполагать, что сообщение достигло адресатаЗависит от реализацииСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 324Ready send (MPI_Rsend)Критерий завершения: завершается немедленно, ноуспешно только в том случае, если процесс-получательвыставил receiveПреимущество: немедленное завершениеНедостатки: необходимость синхронизацииПотенциально хорошая производительностьСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 325DeadlocksПроцесс 0 посылает большое сообщение процессу 1 Если в принимающем процессе недостаточно места всистемном буфере, процесс 0 должен ждать покапроцесс 1 не предоставит необходимый буфер.•Что произойдет:Process 0Process 1Send(1)Recv(1)Send(0)Recv(0)Называется “unsafe” потому, что зависит от системногобуфера.Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 32626Пути решения «ubsafe» передачУпорядочить передачи:Process 0Process 1Send(1)Recv(1)Recv(0)Send(0)• Использовать неблокирующие передачи:Process 0Process 1Isend(1)Irecv(1)WaitallIsend(0)Irecv(0)WaitallСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 32727Deadlock/* simple deadlock */#include <stdio.h>#include <mpi.h>void main (int argc, char **argv) {int myrank;MPI_Status status;double a[100], b[100];MPI_Init(&argc, &argv); /* Initialize MPI */MPI_Comm_rank(MPI_COMM_WORLD, &myrank); /* Get rank */if( myrank == 0 ) {/* Receive, then send a message */MPI_Recv( b, 100, MPI_DOUBLE, 1, 19, MPI_COMM_WORLD, &status );MPI_Send( a, 100, MPI_DOUBLE, 1, 17, MPI_COMM_WORLD );}else if( myrank == 1 ) {/* Receive, then send a message */MPI_Recv( b, 100, MPI_DOUBLE, 0, 17,MPI_COMM_WORLD, &status );MPI_Send( a, 100, MPI_DOUBLE, 0, 19,MPI_COMM_WORLD );} MPI_Finalize(); /* Terminate СпецкурсMPI */ }"Параллельное программированиедля высокопроизводительных систем",Лекция 328Без Deadlock/* safe exchange */#include <stdio.h>#include <mpi.h>void main (int argc, char **argv) {int myrank;MPI_Status status;double a[100], b[100];MPI_Init(&argc, &argv); /* Initialize MPI */MPI_Comm_rank(MPI_COMM_WORLD,&myrank); /* Get rank */if( myrank == 0 ) {MPI_Recv( b, 100, MPI_DOUBLE, 1, 19,MPI_COMM_WORLD, &status );MPI_Send( a, 100, MPI_DOUBLE, 1, 17,MPI_COMM_WORLD );}else if( myrank == 1 ) { /* Send a message, then receive one */MPI_Send( a, 100, MPI_DOUBLE, 0, 19,MPI_COMM_WORLD );MPI_Recv( b, 100, MPI_DOUBLE, 0, 17,MPI_COMM_WORLD, &status );Спецкурс"Параллельноепрограммирование} MPI_Finalize(); /* TerminateMPI*/ }для высокопроизводительных систем",Лекция 329Без Deadlock, но зависит от реализации/* depends on buffering */#include <stdio.h>#include <mpi.h>void main (int argc, char **argv) {int myrank;MPI_Status status;double a[100], b[100];MPI_Init(&argc, &argv); /* Initialize MPI */MPI_Comm_rank(MPI_COMM_WORLD, &myrank); /* Get rank */if( myrank == 0 ) {/* Send a message, then receive one */MPI_Send( a, 100, MPI_DOUBLE, 1, 17, MPI_COMM_WORLD );MPI_Recv( b, 100, MPI_DOUBLE, 1, 19, MPI_COMM_WORLD, &status );}else if( myrank == 1 ) {/* Send a message, then receive one */MPI_Send( a, 100, MPI_DOUBLE, 0, 19, MPI_COMM_WORLD );MPI_Recv( b, 100, MPI_DOUBLE, 0, 17, MPI_COMM_WORLD, &status );}MPI_Finalize(); /* Terminate MPI */}Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 330Совмещение посылки и приемасообщенийДля обмена сообщениями MPI обеспечивает функции:int MPI_Sendrecv(void *sendbuf, int sendcount,MPI_Datatype senddatatype, int dest, int sendtag, void *recvbuf,int recvcount, MPI_Datatype recvdatatype, int source, int recvtag,MPI_Comm comm, MPI_Status *status)Если использовать один буфер:int MPI_Sendrecv_replace(void *buf, int count,MPI_Datatype datatype, int dest, int sendtag,int source, int recvtag, MPI_Comm comm,MPI_Status *status)Спецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 331Блокирующие и неблокирующие передачиБлокирующие: возврат из функций передачи сообщенийтолько по завершению коммуникацийНеблокирующие (асинхронные): немедленный возврат изфункций, пользователь должен контролировать завершениепередачСпецкурс "Параллельное программированиедля высокопроизводительных систем",Лекция 332Неблокирующие коммуникацииЦель – уменьшение времени работы параллельнойпрограммы за счет совмещения вычислений и обменов.Неблокирующие операции завершаются, не дожидаясьокончания передачи данных.