MPI (по Бахтину) (Лекции), страница 2

Выделение буфера и его размерконтролируются программистом.Размер буфера должен превосходить размер сообщенияна величину MPI_BSEND_OVERHEAD. Это дополнительноепространство используется подпрограммойбуферизованной передачи для своих целей.Если перед выполнением операции буферизованногообмена не выделен буфер, MPI ведет себя так, как еслибы с процессом был связан буфер нулевого размера.Работа с таким буфером обычно завершается сбоемпрограммы.Буферизованный обмен рекомендуется использовать втех ситуациях, когда программисту требуется большийконтроль над распределением памяти. Этот режимудобен и для отладки, поскольку причину переполнениябуфера определить легче, чем причину тупика.При выполнении буферизованного обмена программистдолжен заранее создать буфер достаточного размера:int MPI_Buffer_attach(void *buf, size)MPI_Buffer_attach(buf, size, ierr)В результате вызова создается буфер buf размером sizeбайтов.

В программах на языке Fortran роль буфераможет играть массив. За один раз к процессу можетбыть подключен только один буфер.Буферизованная передача завершается сразу, посколькусообщение немедленно копируется в буфер дляпоследующей передачи.

В отличие от стандартногообмена, в этом случае работа источника и адресата несинхронизована:int MPI_Bsend(void *buf, int count,MPI_Datatype datatype, intdest, int tag,MPI_Comm comm)MPI_Bsend(buf, count, datatype, dest, tag,comm, ierr)После завершения работы с буфером его необходимоотключить:int MPI_Buffer_detach(void *buf, int *size)MPI_Buffer_detach(buf, size, ierr)Возвращается адрес (buf) и размер отключаемого буфера(size). Эта операция блокирует работу процесса до тех пор,пока все сообщения, находящиеся в буфере, не будутобработаны. Вызов данной подпрограммы можноиспользовать для форсированной передачи сообщений.После завершения вызова можно вновь использоватьпамять, которую занимал буфер.

В языке C данный вызовне освобождает автоматически память, отведенную длябуфера.#include "mpi.h"#include <stdio.h>int main(int argc,char *argv[]) {int *buffer;int myrank;MPI_Status status;int buffsize = 1;int TAG = 0;MPI_Init(&argc, &argv);MPI_Comm_rank(MPI_COMM_WORLD, &myrank);if (myrank == 0) {buffer = (int *) malloc(buffsize + MPI_BSEND_OVERHEAD);MPI_Buffer_attach(buffer, buffsize + MPI_BSEND_OVERHEAD);buffer = (int *) 10;MPI_Bsend(&buffer, buffsize, MPI_INT, 1, TAG, MPI_COMM_WORLD);MPI_Buffer_detach(&buffer, &buffsize);} else {MPI_Recv(&buffer, buffsize, MPI_INT, 0, TAG, MPI_COMM_WORLD, &status);printf("received: %i\n", buffer);}MPI_Finalize();return 0;}Завершение передачи происходит только после того,как прием сообщения инициализирован другимпроцессом.Адресат посылает источнику «квитанцию» уведомление о завершении приема.

После полученияэтого уведомления обмен считается завершенным иисточник "знает", что его сообщение получено:int MPI_Ssend(void *buf, int count,MPI_Datatype datatype, int dest, int tag,MPI_Comm comm)Передача «по готовности» выполняется с помощьюподпрограммыint MPI_Rsend(void *buf, int count, MPI_Datatypedatatype, int dest, int tag, MPI_Comm comm)MPI_Rsend(buf, count, datatype, dest, tag, comm,ierr)Передача «по готовности» должна начинаться, если ужезарегистрирован соответствующий прием. Принесоблюдении этого условия результат выполненияоперации не определен.Завершается она сразу же. Если прием не зарегистрирован,результат выполнения операции не определен.Завершение передачи не зависит от того, вызвана ли другимпроцессом подпрограмма приема данного сообщения илинет, оно означает только, что буфер передачи можноиспользовать вновь.Сообщение просто выбрасывается в коммуникационную сетьв надежде, что адресат его получит. Эта надежда может и несбыться.Обмен «по готовности» может увеличитьпроизводительность программы, поскольку здесь неиспользуются этапы установки межпроцессных связей, атакже буферизация.Все это  операции, требующие времени.

С другойстороны, обмен «по готовности» потенциально опасен,кроме того, он усложняет отладку, поэтому егорекомендуется использовать только в том случае, когдаправильная работа программы гарантируется еелогической структурой, а выигрыша в быстродействиинадо добиться любой ценой.Подпрограмма MPI_Sendrecv выполняет прием и передачуданных с блокировкой:int MPI_Sendrecv(void *sendbuf, int sendcount,MPI_Datatype sendtype, int dest, int sendtag, void*recvbuf, int recvcount, MPI_Datatype recvtype,int source, int recvtag, MPI_Comm comm, MPI_Status*status) Подпрограмма MPI_Sendrecv_replace выполняетприем и передачу данных, используя общий буфер дляпередачи и приёма:int MPI_Sendrecv_replace(void *buf, int count,MPI_Datatype datatype, int dest, int sendtag, intsource,int recvtag, MPI_Comm comm, MPI_Status*status)Вызов подпрограммы неблокирующейпередачи инициирует, но не завершает ее.Завершиться выполнение подпрограммы можетеще до того, как сообщение будетскопировано в буфер передачи.Применение неблокирующих операцийулучшает производительность программы,поскольку в этом случае допускаетсяперекрытие (то есть одновременноевыполнение) вычислений и обменов.

Передачаданных из буфера или их считывание можетпроисходить одновременно с выполнениемпроцессом другой работы.Для завершения неблокирующего обменатребуется вызов дополнительной процедуры,которая проверяет, скопированы ли данные вбуфер передачи.ВНИМАНИЕ!При неблокирующем обмене возвращение изподпрограммы обмена происходит сразу, нозапись в буфер или считывание из него послеэтого производить нельзя - сообщение можетбыть еще не отправлено или не получено иработа с буфером может «испортить» егосодержимое.Неблокирующий обмен выполняется в два этапа:1.

инициализация обмена;2. проверка завершения обмена.Разделение этих шагов делает необходимыммаркировку каждой операции обмена, котораяпозволяет целенаправленно выполнятьпроверки завершения соответствующихопераций.Для маркировки в неблокирующих операцияхиспользуются идентификаторы операцийобменаИнициализация неблокирующей стандартной передачивыполняется подпрограммами MPI_I[S, B, R]send.Стандартная неблокирующая передача выполняетсяподпрограммой:int MPI_Isend(void *buf, int count, MPI_Datatypedatatype, int dest, int tag, MPI_Comm comm,MPI_Request *request)MPI_Isend(buf, count, datatype, dest, tag, comm,request, ierr)Входные параметры этой подпрограммы аналогичныаргументам подпрограммы MPI_Send.Выходной параметр request - идентификатороперации.Инициализация неблокирующего приемавыполняется при вызове подпрограммы:int MPI_Irecv(void *buf, int count,MPI_Datatype datatype, int source, int tag,MPI_Comm comm, MPI_Request *request)MPI_Irecv(buf, count, datatype, source, tag,comm, request, ierr)Назначение аргументов здесь такое же, как и вранее рассмотренных подпрограммах, заисключением того, что указывается ранг неадресата, а источника сообщения (source).Вызовы подпрограмм неблокирующего обменаформируютзапрос на выполнение операции обмена исвязывают его с идентификатором операции request.Запрос идентифицирует свойства операции обмена: режим; характеристики буфера обмена; контекст; тег и ранг.Запрос содержит информацию о состоянии ожидающихобработки операций обмена и может быть использовандля получения информации о состоянии обмена или дляожидания его завершения.Проверка фактического выполнения передачи илиприема в неблокирующем режиме осуществляется спомощью вызова подпрограмм ожидания, блокирующихработу процесса до завершения операции илинеблокирующих подпрограмм проверки,возвращающих логическое значение «истина», еслиоперация выполненаВ том случае, когда одновременно несколькопроцессов обмениваются сообщениями, можноиспользовать проверки, которые применяютсяодновременно к нескольким обменам.Есть три типа таких проверок:1.

проверка завершения всех обменов;2. проверка завершения любого обмена из нескольких;3. проверка завершения заданного обмена изнескольких.Каждая из этих проверок имеет две разновидности:1. «ожидание»;2. «проверка».Подпрограмма MPI_Wait блокирует работу процесса дозавершения приема или передачи сообщения:int MPI_Wait(MPI_Request *request, MPI_Status*status)MPI_Wait(request, status, ierr)Входной параметр request  идентификатор операцииобмена, выходной  статус (status).Успешное выполнение подпрограммы MPI_Wait послевызова MPI_Ibsend подразумевает, что буфер передачиможно использовать вновь, то есть пересылаемыеданные отправлены или скопированы в буфер,выделенный при вызове подпрограммыMPI_Buffer_attach.В этот момент уже нельзя отменить передачу.

Если небудет зарегистрирован соответствующий прием, буфернельзя будет освободить. В этом случае можноприменить подпрограмму MPI_Cancel, котораяосвобождает память, выделенную подсистемекоммуникаций.Проверка завершения всех обменов выполняетсяподпрограммой:int MPI_Waitall(int count, MPI_Requestrequests[], MPI_Status statuses[])MPI_Waitall(count, requests, statuses, ierr)При вызове этой подпрограммы выполнение процессаблокируется до тех пор, пока все операции обмена,связанные с активными запросами в массиве requests,не будут выполнены. Возвращается статус этихопераций. Статус обменов содержится в массивеstatuses. count - количество запросов на обмен(размер массивов requests и statuses).В результате выполнения подпрограммы MPI_Waitallзапросы, сформированные неблокирующими операциямиобмена, аннулируются, а соответствующим элементам массиваприсваивается значение MPI_REQUEST_NULL.В случае неуспешного выполнения одной или более операцийобмена подпрограмма MPI_Waitall возвращает код ошибкиMPI_ERR_IN_STATUS и присваивает полю ошибки статусазначение кода ошибки соответствующей операции.Если операция выполнена успешно, полю присваиваетсязначение MPI_SUCCESS, а если не выполнена, но и не былоошибки - значение MPI_ERR_PENDING.

Это соответствуетналичию запросов на выполнение операции обмена,ожидающих обработки.Проверка завершения любого числа обменов выполняетсяподпрограммой:int MPI_Waitany(int count, MPI_Request requests[],int *index, MPI_Status *status)Выполнение процесса блокируется до тех пор, пока, покрайней мере, один обмен из массива запросов (requests)не будет завершен.Входные параметры: requests - запрос; count - количество элементов в массиве requests.Выходные параметры: index - индекс запроса (в языке C это целое число от 0до count – 1) в массиве requests; status - статус.Подпрограмма MPI_Test выполняет неблокирующуюпроверку завершения приема или передачи сообщения:int MPI_Test(MPI_Request *request, int *flag,MPI_Status *status)Входной параметр: идентификатор операции обменаrequest.Выходные параметры: flag  «истина», если операция, заданнаяидентификатором request, выполнена; status  статус выполненной операции.Подпрограмма MPI_Testall выполняет неблокирующуюпроверку завершения приема или передачи всех сообщений:int MPI_Testall(int count, MPI_Request requests[],int *flag, MPI_Status statuses[])MPI_Testall(count, requests, flag, statuses, ierr)При вызове возвращается значение флага (flag) «истина»,если все обмены, связанные с активными запросами в массивеrequests, выполнены.

Если завершены не все обмены, флагуприсваивается значение «ложь», а массив statuses неопределен.Параметр count - количество запросов.Каждому статусу, соответствующему активному запросу,присваивается значение статуса соответствующего обмена.Подпрограмма MPI_Testany выполняет неблокирующуюпроверку завершения приема или передачи сообщения:int MPI_Testany(int count, MPI_Requestrequests[], int *index, int *flag, MPI_Status*status)Смысл и назначение параметров этой подпрограммы теже, что и для подпрограммы MPI_Waitany.Дополнительный аргумент flag, принимает значение«истина», если одна из операций завершена.Блокирующая подпрограмма MPI_Waitany инеблокирующая MPI_Testany взаимозаменяемы, как идругие аналогичные пары.Подпрограммы MPI_Waitsome и MPI_Testsomeдействуют аналогично подпрограммамMPI_Waitany и MPI_Testany, кроме случая, когдазавершается более одного обмена.В подпрограммах MPI_Waitany и MPI_Testanyобмен из числа завершенных выбираетсяпроизвольно, именно для него и возвращаетсястатус, а для MPI_Waitsome и MPI_Testsome статусвозвращается для всех завершенных обменов.Эти подпрограммы можно использовать дляопределения, сколько обменов завершено.Неблокирующая проверка выполнения обменов:int MPI_Waitsome(int incount, MPI_Requestrequests[], int *outcount, int indices[],MPI_Status statuses[])Здесь incount - количество запросов.