OpenMP (по Бахтину) (Лекции), страница 5

Если некоторый участок окружить вызовамиданной функции, то разность возвращаемых значений покажет время работыданного участка. Гарантируется, что момент времени, используемый вкачестве точки отсчета, не будет изменен за время выполнения программы.double start;double end;start = omp_get_wtime();/*... work to be timed ...*/end = omp_get_wtime();printf("Work took %f seconds\n", end - start);double omp_get_wtick(void);- возвращает разрешение таймера в секундах (количество секунд междупоследовательными импульсами таймера).28 октябряМосква, 2011Технология параллельного программирования OpenMP106 из 142Содержание Современные направления развития параллельныхвычислительных систем OpenMP – модель параллелизма по управлению Конструкции распределения работы Конструкции для синхронизации нитей Система поддержки выполнения OpenMP-программ.Переменные окружения, управляющие выполнениемOpenMP-программы Наиболее часто встречаемые ошибки в OpenMPпрограммах.

Функциональная отладка OpenMP-программ Отладка эффективности OpenMP-программ28 октябряМосква, 2011Технология параллельного программирования OpenMP107 из 142Наиболее часто встречаемые ошибки в OpenMPпрограммах Трудно обнаруживаемые ошибки типа race condition(конфликт доступа к данным). Ошибки типа deadlock (взаимная блокировка нитей). Использование неинициализированных переменных. Автоматизированный поиск ошибок в OpenMPпрограммах при помощи Intel Thread Checker и SunStudio Thread Analyzer.28 октябряМосква, 2011Технология параллельного программирования OpenMP108 из 142Конфликт доступа к даннымОшибка возникает при одновременном выполненииследующих условий:1. Две или более нитей обращаются к одной и той же ячейкепамяти.2.

По крайней мере, один из этих доступов к памяти являетсязаписью.3. Нити не синхронизируют свой доступ к данной ячейки памяти.При одновременном выполнении всех трех условий порядокдоступа становится неопределенным.28 октябряМосква, 2011Технология параллельного программирования OpenMP109 из 142Конфликт доступа к даннымИспользование различных компиляторов (различных опций оптимизации,включение/отключение режима отладки при компиляции программы),применение различных стратегий планирования выполнения нитей вразличных ОС, может приводить к тому, что в каких-то условиях (например,на одной вычислительной машине) ошибка не будет проявляться, а в других(на другой машине) – приводить к некорректной работе программы.От запуска к запуску программа может выдавать различные результаты взависимости от порядка доступа.Отловить такую ошибку очень тяжело.Причиной таких ошибок как правило являются:неверное определение класса переменной,отсутствие синхронизации.28 октябряМосква, 2011Технология параллельного программирования OpenMP110 из 142Конфликт доступа к данным#define Nfloat a[N], tmp#pragma omp parallel{#pragma omp forfor(int i=0; i<N;i++) {tmp= a[i]*a[i];a[i]=1-tmp;}}28 октябряМосква, 2011#define Nfloat a[N], sum#pragma omp parallel{#pragma omp for private(tmp)for(int i=0; i<N;i++) {tmp= a[i]*a[i];a[i]=1-tmp;}}Технология параллельного программирования OpenMP111 из 142Конфликт доступа к даннымfile1.cint counter = 0;#pragma omp threadprivate(counter)int increment_counter(){counter++;return(counter);}28 октябряМосква, 2011file2.cextern int counter;// нет директивы threadprivateint decrement_counter(){counter--;return(counter);}Технология параллельного программирования OpenMP112 из 142Конфликт доступа к данным#define Nfloat a[N], sum#pragma omp parallel{#pragma omp mastersum = 0.0;#pragma omp forfor(int i=0; i<N;i++) {#omp atomicsum += a[i];}}28 октябряМосква, 2011#define Nfloat a[N], sum#pragma omp parallel{#pragma omp mastersum = 0.0;#pragma omp barrier#pragma omp forfor(int i=0; i<N;i++) {#omp atomicsum += a[i];}}Технология параллельного программирования OpenMP113 из 142Взаимная блокировка нитей#pragma omp parallel{int iam=omp_get_thread_num();if (iam ==0) {omp_set_lock (&lcka);omp_set_lock (&lckb);x = x + 1;omp_unset_lock (&lckb);omp_unset_lock (&lcka);} else {omp_set_lock (&lckb);omp_set_lock (&lcka);x = x + 2;omp_unset_lock (&lcka);omp_unset_lock (&lckb);}}}28 октябряМосква, 2011Технология параллельного программирования OpenMP114 из 142Взаимная блокировка нитей#pragma omp parallel{int iam=omp_get_thread_num();if (iam ==0) {omp_set_lock (&lcka);while (x<0); /*цикл ожидания*/omp_unset_lock (&lcka);} else {omp_set_lock (&lcka);x++;omp_unset_lock (&lcka);}}}28 октябряМосква, 2011Технология параллельного программирования OpenMP115 из 142Взаимная блокировка нитей#define N 10int A[N],B[N], sum;#pragma omp parallel default(shared) num_threads(10){int iam=omp_get_thread_num();if (iam ==0) {#pragma omp critical (update_a)#pragma omp critical (update_b)sum +=A[iam];} else {#pragma omp critical (update_b)#pragma omp critical (update_a)sum +=B[iam];}}28 октябряМосква, 2011Технология параллельного программирования OpenMP116 из 142Автоматизированный поиск ошибок.

Intel Thread Checker.Intel Inspector XE 2011KAI Assure Threads (Kuck and Associates)Анализ программы основан на процедуре инструментации.Инструментация – вставка обращений для записи действий,потенциально способных привести к ошибкам: работа с памятью,вызовы операций синхронизации и работа с потоками.Может выполняться автоматически (бинарная инструментация) науровне исполняемого модуля (а также dll-библиотеки)и/или по указанию программиста на уровне исходного кода(компиляторная инструментация - Windows: /Qtcheck Linux:-tcheck).28 октябряМосква, 2011Технология параллельного программирования OpenMP117 из 142••Пакет тестов SPLASH-2 (Stanford Parallel Applications forShared Memory) на 4-х ядерной машинеhttp://iacoma.cs.uiuc.edu/iacoma-papers/asid06.pdf28 октябряМосква, 2011Технология параллельного программирования OpenMP120 из 142Автоматизированный поиск ошибок.

Sun Studio ThreadAnalyzer (Oracle Solaris Studio)Инструментация программы:cc -xinstrument=datarace -g -xopenmp=noopt test.cНакопление информации о программе:еxport OMP_NUM_THREADS=2collect -r race ./a.outcollect -r deadlock ./a.outcollect -r all ./a.outПолучение результатов анализа программыtha test.1.er => GUIer_print test.1.er => интерфейс командной строки28 октябряМосква, 2011Технология параллельного программирования OpenMP121 из 142Автоматизированный поиск ошибок. Sun Studio ThreadAnalyzerif (iam==0) {if (iam==0) {ptr1 = mymalloc(sizeof(data_t));data = …ptr1->data = ...user_lock ();...} else {myfree(ptr1);user_lock ();} else {… = data;}ptr2 = mymalloc(sizeof(data_t));ptr2->data = ......myfree(ptr2);}Может выдавать сообщения об ошибках там где их нет28 октябряМосква, 2011Технология параллельного программирования OpenMP122 из 142Intel Thread Checker и Sun Studio Thread AnalyzerПрограммаJacobian SolverSparse MatrixAdaptiveVector multiplication Integration SolverMemMFLOP/sMemMFLOP/sMemTime56214092945.0 sIntel ThreadChecker on 2Threads1150.918323.5309.5 sIntel ThreadChecker –tcheck1153.1----Sun on 2 Threads56005055028.4 s1251.120200.8178.5 sIntel on 2 ThreadsSun ThreadAnalyzer on 2Threadshttp://www.fz-juelich.de/nic-series/volume38/terboven.pdf28 октябряМосква, 2011Технология параллельного программирования OpenMP123 из 142Cодержание Современные направления развития параллельныхвычислительных систем OpenMP – модель параллелизма по управлению Конструкции распределения работы Конструкции для синхронизации нитей Система поддержки выполнения OpenMP-программ.Переменные окружения, управляющие выполнениемOpenMP-программы Наиболее часто встречаемые ошибки в OpenMPпрограммах.

Функциональная отладка OpenMP-программ Отладка эффективности OpenMP-программ28 октябряМосква, 2011Технология параллельного программирования OpenMP124 из 142Отладка эффективности OpenMP-программ Основные характеристики производительности Стратегии распределения витков цикла между нитями(клауза schedule) Отмена барьерной синхронизации по окончаниивыполнения цикла (клауза nowait) Локализация данных Задание поведения нитей во время ожидания(переменная OMP_WAIT_POLICY) Оптимизация OpenMP-программы при помощи IntelThread Profiler28 октябряМосква, 2011Технология параллельного программирования OpenMP125 из 142Основные характеристики производительностиПолезное время - время, которое потребуется для выполнения программы наоднопроцессорной ЭВМ.Общее время использования процессоров равно произведению временивыполнения программы на многопроцессорной ЭВМ (максимальное значениесреди времен выполнения программы на всех используемых ею процессорах) начисло используемых процессоров.Главная характеристика эффективности параллельного выполнения коэффициент эффективности равен отношению полезного времени к общемувремени использования процессоров.Разница между общим временем использования процессоров и полезным временемпредставляет собой потерянное время.Существуют следующие составляющие потерянного времени:накладные расходы на создание группы нитей;потери из-за простоев тех нитей, на которых выполнение программы завершилосьраньше, чем на остальных (несбалансированная нагрузка нитей);потери из-за синхронизации нитей (например, из-за чрезмерного использованияобщих данных);потери из-за недостатка параллелизма, приводящего к дублированию вычисленийна нескольких процессорах (недостаточный параллелизм).28 октябряМосква, 2011Технология параллельного программирования OpenMP126 из 142Накладные расходы на создание группы нитейvoid work(int i, int j) {}for (int i=0; i < n; i++) {for (int j=0; j < n; j++) {work(i, j);}}for (int i=0; i < n; i++) {#pragma omp parallel forfor (int j=0; j < n; j++) {work(i, j);}}#pragma omp parallel forfor (int i=0; i < n; i++) {for (int j=0; j < n; j++) {work(i, j);}}28 октябряМосква, 2011Технология параллельного программирования OpenMP127 из 142Алгоритм Якобиfor (int it=0;it<ITMAX; it++) {for (int i=1; i<N-1; i++ )for( int j=1; j<N-1; j++ )tmp[i][j] = 0.25 * ( grid[i-1][j] +grid[i+1][j] + grid[i][j-1] + grid[i][j+1]);for (int i=0; i<N; i++ )for( int j=0; j<N; j++ )grid[i][j] = tmp[i][j];}for (int it=0;it<ITMAX; it++) {#pragma omp parallel forfor (int i=1; i<N-1; i++ )for (int j=1; j<N-1; j++ )tmp[i][j] = 0.25 * ( grid[i-1][j] +grid[i+1][j] + grid[i][j-1] + grid[i][j+1]);#pragma omp parallel forfor (int i=1; i<N-1; i++ )for (int j=1; j<N-1; j++ )grid[i][j] = tmp[i][j];}28 октябряМосква, 2011#pragma omp parallel{for (int it=0;it<ITMAX; it++) {#pragma omp forfor (int i=1; i<N-1; i++ )for (int j=1; j<N-1; j++ )tmp[i][j] = 0.25 * ( grid[i-1][j] +grid[i+1][j] + grid[i][j-1] + grid[i][j+1]);#pragma omp forfor (int i=1; i<N-1; i++ )for (int j=1; j<N-1; j++ )grid[i][j] = tmp[i][j];}}Технология параллельного программирования OpenMP128 из 142Балансировка нагрузки нитей.