Отчёт_неявная_схема (Весенний семестр)

Отчёт по практической задаче №2 ( неявная схема ).В рамках курса «Параллельные методы решения задач».Выполнил: Волков Н. И. , академическая группа 523/11. Постановка задачи.Производится численное решение двумерного нестационарного неоднородногоуравнения теплопроводности в прямоугольной области ( в некотором материале ).Такой перенос тепла описывается уравнением следующего видаρ∗c∗(d T /d t)=λ∗(d 2 T /d x 2+d 2 T / d y 2 )+Qгде T – температура, зависит от x, y, t; Q – функция, характеризующаядополнительные источники тепловыделения, зависит в общем случае от x, y, t, T.X, Y – декартовы координаты, t – время. ρ, с, λ – параметры, характеризующие«материал» области, в которой рассматривается уравнение теплопроводности.

Прирешении задаётся размер сетки и количество шагов по времени. При этом самразмер поля остаётся неизменным.2. Описание метода решения и способа декомпозицииобласти.Для численного решения уравнения область равномерно разбивается междупроцессами ( сетка подбирается таким образом, чтобы обеспечить точноеразбиение ). Каждому процессу в итоге соответствует некоторый прямоугольникиз заданной области, определяемый по координатам процесса в двумерной MPIрешетке.

Это допустимо, поскольку вычислительная сложность каждой ячейкисетки условно одинакова ( в том смысле, что каждая ячейка сетки подлежитрасчёту по одному и тому же алгоритму ).В процессе решения задачи используемые узлы формируют двумерную MPIрешетку. Расчёт новых значений температуры на каждом шаге по временипроизводится в два этапа. На первом этапе каждый процесс построчнорассматривает свою расчётную область. Тепловой поток в направлении оси Yпредставляется в неявной форме ( в момент времени t(i + 1) ), тепловой поток внаправлении оси X игнорируется. На втором полушаге всё происходит наоборот.При этом функция дополнительных источников тепла в обоих полушагах беретсядля момента времени t(i + ½), что заложено в код программы.

Таким образом,получается две разностные схемы вида.1Φ mk −Ψ mk /Δ t /2=v Δ yy Φ mk +QΩmk −Φ mk /Δ t /2=v Δ xx Ωmk +QВ первой из них неявной частью является та, что соответствует Φ, во второй — та,что соответствует Ω.3. Описание модели поведения материала и точного решения.Для проведения тестов и верификации в качестве начального значениятемпературы берется функция sinx + siny. При этом размер рассматриваемойобласти берется кратным 2*π. Тогда на границах области начальная температураравна, соответственно sinx или siny.

Дополнительные источники теплафункционируют одинаково во всей области по закону f = p * cos( t / q ), то естькаждая точка области попеременно нагревается и охлаждается в определеннойстепени. В программу можно встроить и иные параметры. Например, еслипостановить f = 0 в любой момент времени в любой точке области, то будетизвестно точное решение e−t∗sin( x)+e−t sin ( y) , при условии, что граничныеусловия выражаются функциями e−t∗sin x и e−t sin y в каждый момент времени.Это свойство будет применено в дальнейшем для верификации программы.4.

Описание используемой вычислительной системы.Расчёты проводились на вычислительной системе IBM Blue Gene/P, установленнойв суперкомпьютерном комплексе МГУ. Основные её свойства следующие:1) 2048 вычислительных узлов.2) 2048 процессоров ( 1 процессор на узел ).3) 8192 ядра ( 4 ядра на процессор ).4) интерконнект для операций точка-точка — имеет топологиютрехмерного тора, пропускная способность одного соединения — 450MB/s. Латентность - 0.1μс для пакета в 32 байта, 0.8μс для пакета в 256байта, до ближайшего соседа.5) интерконнект для глобальных операций — по 3 соединения междукаждым узлом и I/O картой ( 1 карта на 128 узлов ); пропускнаяспособность одного соединения — 850 MB/s.

Латентность - 3.0μс(полный обход ).Более подробные характеристики этой системы можно найти по адресуhttp://hpc.cmc.msu.ru/bgp . Для расчётов использовалось 256 узлов, т. е. 1024 ядра, атакже 64 узла ( 256 ядер ). Поскольку необходимо сравнивать эффективность2параллельной программы с эффективностью последовательной, пришлосьиспользовать сетки небольших размеров: 1024 * 1024, 2048 * 2048, 4096 * 4096итп, чтобы последовательной программе хватило памяти на узле для оперированиявсей расчётной сеткой, а также, чтобы хватило лимита времени для возможныхтестов с большим числом шагов по времени.5.

Верификация программы,корректности вычислений.сходимость,проверкаКак уже было сказано, установка функции генерации тепла в тестовый режимпринципиально не влияет на вычисления ( изменяются только значенияконкретного числового коэффициента F ). Проверка корректности вычисленийпроизводится в 2 этапа. Сначала показывается корректность последовательнойверсии алгоритма. Затем показывается соответствие результатов работыпоследовательной и параллельной версий алгоритма. Примечание: дляверификации использовались области малого размера, иначе бы долго работалверификатор ( это простая утилита, не предназначенная для запуска на кластернойвычислительной системе ).Рис 2: Второй вариант расчётаРис 1: Первый вариант расчётаПрименяется два варианта расчётной сетки.

Их суть изложена на Рис. 1 и Рис. 2выше. Левый и правый столбцы, верхняя и нижняя строки соответствуют границеисследуемой области. Зеленый прямоугольник — область, для которойпроизводится непосредственный расчёт ( на изображениях параметр размерарасчётной сетки в первом случае равен 4, во втором — 2 ). Все остальные3прямоугольники обозначают области, значения в которых рассматриваются какграничные условия. Полностью корректной является первая схема, однако втораяобладает интересными свойствами погрешности. Для проверки корректностидостаточно взять значения в конкретных точках с конкретного шага по времени исравнить их со значением точного решения при тех же параметрах.

Коэффициентыρ, с, λ, смысл которых заключается в физических характеристиках материала, вкотором рассматривается теплопроводность, приравниваются к единице для болеепростой верификации. На Рис. 3 изображено отклонение от точного решения на100-ом шаге по времени ( параметр t = 0.01, то есть рассматривается моментвремени 1.0 ) согласно результатам работы верификатора на сетках размера 128,256, 384, 512, 640, 768, 1024, для первого и второго варианта расчётов.Погрешность вычисляется как среднее отклонение вычисленного решения отистинного значения в данной точке. Эти значения также совпадают сточностью до машинного нуля для последовательной и параллельной версийалгоритма.

Поэтому соответствующий график интереса не представляет и неприводится. Интересный вывод заключается в том, что хотя погрешность 1варианта уменьшается со сгущением сетки и уже на сетке 2048 * 2048 должнабыть, по крайней мере, сопоставима с погрешностью второго варианта ( котораяпочти не зависит от размера сетки ), второй вариант обеспечивает хорошуюОтклонение от точного решения1Отклонение вариант10.1Отклонение вариант20.010020040060080010001200Размер сеткиРис 3: Отклонение от точного решения в зависимости от размера сетки на 100-ом шаге.Шкала логарифмическая.4точность на сетках малого размера.

В дальнейших расчётах, однако, используетсяпервый вариант.6. Графикивременираспараллеливания итп.решения,эффективностиК сожалению, последовательное решение на Blue Gene / P при более-менеезначительных размерах сеток выполняется долго, вплоть до выхода за лимитвремени. Поэтому последовательный алгоритм запускается для малого числашагов по времени, а параллельный алгоритм — для большего числа шагов повремени. В качестве основной меры времени выполнения, эффективности итп.программы используется среднее время выполнения одного шага, получаемоепростым арифметическим делением общего времени выполнения на количествошагов.

Этот параметр рассматривается для квадратных сеток со стороной 1024,2048, 3072, 4096, 5120, 6144, 7168, 8192. Во всех случаях рассматривается областьодного размера ( 2 * π ), то есть для все сеток шаг по х одинаков с шагом по y иравен ( 2 * π ) / ( data_size – 1 ). Шаг по времени во всех случаях равен 0.01. Вкаждом случае на Рис. 4 приведено среднее время выполнения одного шага для9080Время работыпоследовательного алгоритмаВремя выполнения ( в с )7060Время работына 64 узлах( 64 ядра )504030Время работына 256 узлах (256 ядер )201000100020003000400050006000700080009000Размер сетки ( в ячейках )Рис 4: Время работы алгоритма без openmp на 1 узле, на 64 узлах, на 256 узлах5180160140Ускорение на 64узлах ( 64ядра )Ускорение120100Ускорение на 256узлах( 256ядер )8060402000100020003000400050006000700080009000Размер сеткиРис 5: Ускорение алгоритма без openmp на 64 узлах, на 256 узлах по сравнению с 1 узлом0.8Эффективность ( 1 ~ 100% )0.70.664 узла( 64ядра )0.50.4256 узлов( 256 ядер)0.30.20.100100020003000400050006000700080009000Размер сеткиРис 6: Эффективность алгоритма без openmp на 64 и 256 узлахпоследовательного алгоритма на 1 узле, параллельного алгоритма на 64 узлах,6параллельного алгоритма на 256 узлах.

На Рис. 5 показано ускорение на 64 узлах ина 256 узлах по сравнению с последовательным алгоритмом. Критерий сравненияне меняется, использованные размеры сетки также не меняются. На Рис. 6 указанаэффективность алгоритма согласно определению эффективности ( ускорение /число используемых узлов ). Нужно помнить о том, что рассматриваемыйалгоритм включает в себя параллельную блочную прогонку, эффективностькоторой не может превышать 50%.12Время выполнения ( в с )1064 узла сopenmp ( 256ядер )86256 узлов сopenmp ( 1024ядра )464 узлов безopenmp256 узлов безopenmp200500010000150002000025000Размер сетки ( в ячейках )Рис 7: Сравнение времени работы программы с использованием openmp и без негоПараллельный алгоритм включает в себя использование openmp.

Openmpиспользуется следующим образом: Функция выполнения шага по времени имеетследующую структуру (outer_cycle_1 (inner_1_1) (inner_1_2) (INTERACT)(inner_1_3) )(outer_cycle_1 (inner_1_1) (inner_1_2) (INTERACT) (inner_1_3) ). Здеськаждый из внешних циклов обеспечивает обработку всей области, за которуюотвечает процесс. Их два, поскольку каждый шаг по времени предполагаетвыполнение двух полушагов. Во внешних циклах использование openmpпроблематично, поскольку их внутренняя структура включает в себявзаимодействие узлов. Первый внутренний цикл обеспечивает первоначальныйрасчёт коэффициентов и построение СЛАУ.