56

Московский Государственный Университет

имени М.В. Ломоносова

Факультет вычислительной математики и кибернетики

Параллельное программирование на языке FORTRAN DVM

(Методическое пособие по практикуму для студентов 2-4 курсов)

Москва, 2002 год

1 Введение 4

2 Модель параллелизма DVM 4

3 Распараллеливание программ на языке Fortran DVM 5

3.1 Абстрактная модель распараллеливания 5

3.2 Распределение данных. Директива DISTRIBUTE 6

3.3 Локализация данных. Директива ALIGN 7

3.4 Распределение витков параллельного цикла. Директива PARALLEL 8

3.5 Удаленные данные. Их типы и спецификация 10

3.5.1 Локализация данных 10

3.5.2 Удаленные данные типа SHADOW 11

3.5.3 Удаленные данные типа ACROSS 12

3.5.4 Удаленные данные типа REMOTE 12

3.5.5 Удаленные данные типа REDUCTION 12

3.6 Копирование секций массивов 13

3.7 Многомерные массивы 16

3.8 COMMON и EQUIVALENCE 16

3.9 Процедуры 16

3.10 Ввод-вывод 18

4 Компиляция, выполнение и отладка DVM-программ 18

4.1 Что такое DVM-программа? 18

4.2 Настройка DVM-системы 19

4.3 Методика отладки DVM-программ 19

4.3.1 Функциональная отладка программы 19

4.3.1.1 Последовательное выполнение и отладка средствами стандартного компилятора
с языка Fortran. 20

4.3.1.2 Компиляция. Получение готовой программы. 20

4.3.1.3 Динамический контроль DVM-указаний 20

4.3.1.4 Сравнение результатов выполнения 21

4.3.1.5 Псевдопараллельное выполнение на рабочей станции (среда WINDOWS и UNIX) и параллельное выполнение на параллельной ЭВМ. 23

4.3.2 Отладка эффективности DVM-программы 24

4.3.2.1 Основные характеристики производительности 24

4.3.2.2 Представление программы в виде иерархии интервалов. Выполнение со сбором статистики. 26

4.3.2.3 Запуск анализатора производительности.
Представление характеристик задачи по интервалам. 26

4.3.2.4 Рекомендации по анализу характеристик 27

5 Пример задачи на Fortran DVM 29

6. Литература. 30

Приложение 1. Синтаксис директив Fortran DVM 30

Приложение 2. Сообщения компилятора Fortran DVM 36

Приложение 3. Диагностические сообщения динамического отладчика 48

1. Динамический контроль 49

2. Накопление и сравнение трассировки 50

3. Структура конфигурационного файла трассировки 50

4. Структура трассировки вычислений 51

Приложение 4. Сообщения об ошибках системы поддержки 53

1 . Ошибки запуска и завершения 54

2 . Ошибки вида "... is not a DVM object" 54

3 . Ошибки вида "[the object] is not a/the …" 54

4 . Ошибки вида "…has not been aligned/mapped" и "…has already been aligned/mapped"; "…does not exist" и "…already exists" 55

5 . Ошибки индексации и значений 55

6 . Другие семантические ошибки 56

7. Ошибки запроса памяти и количества объектов 57

8. Ошибки нижнего уровня передачи сообщений 57

Приложение 5. Сообщения при сборе статистики. 57

1Введение

Предлагаемое методическое пособие предназначено для студентов 2-го, 3-го и 4-го курсов. Целью практикума является знакомство студентов с DVM-системой, приобретение ими навыков написания и отладки параллельных программ.

DVM-система базируется на модели параллелизма по данным и управлению (DVM-модели). При выполнении заданий практикума предполагается использование следующих компонент системы: компилятор с языка Fortran DVM (FDVM), система поддержки выполнения параллельных программ, отладчик параллельных программ, анализатор производительности.

Язык Fortran DVM предоставляет возможность написать программу, которая может одновременно рассматриваться и как последовательная, и как параллельная. Основная работа по реализации модели выполнения параллельной программы осуществляется системой поддержки выполнения DVM-программ. Отладчик параллельных программ позволит провести функциональную отладку параллельной программы. Анализатор производительности предоставит возможность оценить эффективность параллельной программы.

Язык Fortran DVM представляет собой язык Фортран 77, расширенный спецификациями параллелизма. Эти спецификации оформлены в виде специальных комментариев, которые называются директивами. В пособии дается описание только тех директив, которые необходимы для выполнения поставленной задачи.

Управление работой системы поддержки, работой динамического отладчика, сбором статистики осуществляется при помощи параметров. В пособии есть описание настройки DVM-системы и способы коррекции параметров, необходимых для работы.

Этапы компиляции, выполнения и отладки DVM-программ в пособии описаны в соответствии с поставленной задачей и с учетом того обстоятельства, что параллельные программы будут небольшими. Предлагаемая методика отладки DVM-программ позволяет упростить обнаружение ошибок в программе, оценить ее эффективность, понять причины недостаточной эффективности и найти способы ее повышения.

2Модель параллелизма DVM

На первом этапе определяются массивы, которые могут быть распределены между процессорами (распределенные данные). Эти массивы специфицируются директивами отображения данных. Остальные переменные (распределяемые по умолчанию) отображаются по одному экземпляру на каждый процессор (размноженные данные). Размноженная переменная должна иметь одно и то же значение на каждом процессоре за исключением переменных в параллельном цикле .

Распределение данных определяет множество локальных или собственных переменных для каждого процессора. Множество собственных переменных определяет правило собственных вычислений: процессор присваивает значения только собственным переменным.

Параллелизм по данным реализуется распределением витков тесно-гнездового цикла между процессорами массива процессоров. При этом каждый виток такого цикла полностью выполняется на одном процессоре. Операторы вне параллельного цикла выполняются по правилу собственных вычислений .

На следующем этапе необходимо организовать доступ к удаленным данным, которые могут потребоваться при вычислении значений собственных переменных.

3Распараллеливание программ на языке Fortran DVM

3.1Абстрактная модель распараллеливания

Параллелизм последовательной программы описывается на языке Fortran DVM с помощью директив. Каждая директива оформляется в виде специального комментария:

CDVM$ <директива-DVM>

или

*DVM$ <директива-DVM>

Формальный синтаксис директив приведен в Приложении 1.

Распараллеливание программы в модели DVM можно разделить на два этапа:

1. Распределение данных (массивов) и вычислений (параллельных циклов) на массив виртуальных процессоров.

2. Определение и спецификация удаленных (общих) данных.

Распределение массивов и параллельных циклов

На первом этапе используются директивы DISTRIBUTE, ALIGN и PARALLEL. Если рассматривать эти директивы на абстрактном уровне, то они устанавливают соответствие между точками индексных (дискретных) пространств двух объектов. При этом используются индексные пространства следующих объектов:

P – индексное пространство массива виртуальных процессоров. Массив виртуальных процессоров определяет пользователь и задает его при запуске программы на выполнение.

A_i - индексное пространство i–го массива данных

L_j - индексное пространство j–го параллельного цикла. Параллельный цикл рассматривается как массив, элементом которого является виток цикла. Количество измерений этого массива определяется количеством заголовков цикла.

Директивы устанавливают соответствие между точками (элементами) следующих объектов:

ALIGN: A_i1  A_i2. Каждой точке (элементу массива) A_i2 ставится в соответствие подмножество точек (элементов массива) A_i1.

PARALLEL: L_j  A_i. Каждой точке (элементу массива) A_i ставится в соответствие подмножество точек (витков цикла) L_j.

DISTRIBUTE: A_i  P. Каждой точке (виртуальному процессору) P ставится в соответствие подмножество точек (элементов массива) A_i.

Совокупность этих директив определяет для каждого виртуального процессора подмножество элементов массивов и витков параллельных циклов.

Данные и операторы, не специфицированные этими директивами, автоматически распределяются на каждый виртуальный процессор (размноженные данные и не распараллеливаемые вычисления).

Определение общих (удаленных) данных

Общими (удаленными) данными будем называть данные, вычисляемые на одном процессоре и используемые на других процессорах.

Выявление удаленных данных производится с помощью анализа операторов присваивания. Оператор присваивания всегда выполняется на том процессоре, где размещены данные его левой части. Если данные левой и правой частей оператора присваивания размещены на одном процессоре, то удаленных данных для этого оператора не существует. В противном случае необходимо определить тип и размер удаленных данных и описать их соответствующими директивами (см. раздел 3.5 ). Такой анализ будем называть анализом локализации данных.

Цель распараллеливания - максимальный параллелизм при минимизации удаленных данных (максимум локализации).

Выполнение двух этапов распараллеливания необходимо рассматривать как итерационный процесс: минимизация удаленных данных требует изменения параметров директив распределения, после чего необходим новый анализ локализации.

3.2Распределение данных. Директива DISTRIBUTE

Распределение массива A описывается следующей директивой

CDVM$ DISTRIBUTE A ( f₁…f_k )

где f_i - формат распределения для i-го измерения,

к - количество измерений.

. Если fi = BLOCK , то измерение «разрезается» на равные блоки и распределяется по одному блоку на процессор. Такое измерение будем называть распределенным измерением.

Если fi = *, то на каждый процессор распределяется целое измерение (локальное измерение).

Количество форматов BLOCK определяет количество измерений массива виртуальных процессоров. Если мы пронумеруем форматы BLOCK , как fb₁,…,fb_n, то измерение с форматом fb_i отображается на i–ое измерение массива виртуальных процессоров, а количество блоков определяется размером i–го измерения массива виртуальных процессоров. В этом случае при запуске программы на выполнение можно задавать любой n–мерный массив виртуальных процессоров.

Пример.

CDVM$ DISTRIBUTE A (BLOCK, * , BLOCK)

Такое описание указывает на то, что пользователь работает с двумерным массивом виртуальных процессоров (количество форматов BLOCK равно 2). Пусть при запуске программы на выполнение задан массив виртуальных процессоров P(M1,M2). Тогда эта директива распределит первое измерение массива А на первое измерение P блоками размера N/M1, третье измерение А - на второе измерение P блоками размера N/M2, а второе измерение А будет целиком распределено на каждый виртуальный процессор.

3.3Локализация данных. Директива ALIGN

Основным способом локализации данных (т.е. уменьшения удаленных данных) является совместное распределение нескольких массивов. Совместное распределение двух массивов А и В описывается следующей директивой выравнивания массивов.

CDVM$ ALIGN A ( a₁… a_n ) WITH B (b₁… b_m )

где a_i - параметр i–го измерения выравниваемого массива А