Диссертация (Разработка моделей и алгоритмов составления оптимальных расписаний выполнения программных модулей в вычислительной сети на основе эволюционного подхода), страница 3

Диссертация состоит из введения, трёх глав,заключения, списка литературы (110 наименований) и 2 приложений. Содержит11137 с. текста (из них 117 с. основного текста, 13 с. литературы и 7 с. приложений),включает 35 рисунков и 17 таблиц.Краткое содержание работы.Во введении обосновывается актуальность научной задачи, формулируютсяцель и задачи исследования, отмечаются научная новизна и практическая значимостьрезультатов, перечисляются основные положения, выносимые на защиту.ПерваяглавасодержитанализсуществующихРСОД,методовихклассификации и коммуникационных топологий, в ней описываются различныеметоды поиска оптимальных расписаний, применяющиеся в РСОД.

Глава содержитподробное описание классического генетического алгоритма и его операторов.Вовторойглавевыполненапостановказадачидиссертационногоисследования. Глава содержит разработку и обоснование моделей и эволюционныхалгоритмов составления оптимальных расписаний выполнения программныхмодулей в вычислительной сети. В данной главе приводится математическаяформулировка задачи синтеза оптимального расписания на примере общей ичастных моделей. Глава описывает алгоритмы, предложенные в диссертационномисследовании, которые основаны на модификации известных генетическихалгоритмов.Третья глава посвящена оценке работоспособности и эффективностиразработанных алгоритмов и применению разработанного теоретического аппарата.Вданнойглавеприводитсяописаниеэксперимента,которыйдоказываетэффективность модифицированных алгоритмов по сравнению с классическим.

Главасодержит описание разработанного стенда для проведения исследования.Также в данной главе проведена оценка работоспособности алгоритмов напримере распараллеливания задачи умножения матриц большой размерности вгетерогенных РСОД, и разработана методика использования разработанноготеоретического аппарата для класса крупномасштабных информационно-зависимыхзадач.121.

Анализ распределённых систем обработки данныхПотребность проведения крупномасштабных вычислений в областитяжёлого моделирования и других областях науки и техники, а также развитиеоблачных технологий приводят к интенсивному развитию распределенныхмоделей предоставления вычислительных ресурсов [9], [10], [11]. Научнотехнические достижения в области распределённой обработки данных ивычислительных сетей, позволяют проектировать РСОД, которые предоставляютплатформу для решения прикладных задач очень высокого уровня сложности.На сегодняшний день в научно-технической области, включающейразработку программно-аппаратных средств, для решения больших задач,широкоераспространениесовокупностьполучиливычислительныхкластеры.узлов(ВУ),Кластер–объединённыхпредставляетвлокальнуювычислительную сеть, для решения одной общей задачи.

Узлы кластера нераспределены территориально и каждый ВУ может включать один или несколькопроцессоров.ПосравнениюсдругимитипамиРСОД,например,распределёнными средами, кластер характеризуется повышенной надёжностью идетерминированностью конфигурации.В качестве примеров применения кластеров для решения больших задачможно привести проведение расчетов полей течения вокруг компоновкиперспективногопассажирскогомоделированиемработысамолетадвухконтурногонакрейсерскомтурбореактивногорежимесдвигателя,накластере ТТИ ЮФУ описанного в работе [12].Тенденция развития кластеров очевидна и подтверждается выводами,сделанными на основе анализа списка TOP-500, более половины представителей,которого составляют кластеры.ТОП-500 – современный сервис, позволяющий отслеживать развитиекластеров и их производительность.

Первая версия списка вышла в свет в 1993году, его предназначение заключалось в иерархиризации области разработоквысокопроизводительных систем с параллельной архитектурой. Причиной13появления идеи создания списка стало возникновение потребности получениясравнительныххарактеристиктакихсистем.Послепостроенияпервыхэкземпляров было решено продолжить ежегодное сравнение на основеразработанной методики.Современная версия списка обновляется два раза в год в июне и ноябре.Построение списка выполняется на основе выполнения специальной тестовойпрограммы, разработанной в Аргонской национальной лаборатории, котораяназывается LINPACK.Тесты основаны на решении систем линейных алгебраических уравнений спомощью матричных методов.

В 1986 году размерность матрицы увеличена до1000 элементов в каждом измерении, а в 1991-1993 годах были выпущены версии,позволяющие задавать произвольные размеры матриц (HPL - High-performanceLinpack).Привыполнениидополнительныеданнойограничения,программыкоторыекасаютсяТОП-500накладываетразмерностиматриц(допускаются только большие размерности) и представления матричныхэлементов, элементы представляются только в 64-разрядном формате.Благодаря списку ТОП-500 стало значительно легче владеть актуальнойинформацией о максимальной пиковой производительности, самых мощных насегодняшний день кластеров. Россия в июньском списке 2016 года занимает 41,109, 159, 348, 351, 489, 498 позиции.Таблица 1.1 демонстрирует верхние десять пунктов июньского спискаТОП-500 за 2016 год.Таблица 1.1.

Список ТОП-500 июнь 2016 год№ОрганизацияКластерNationalSunway TaihuLight – Sunway MPP,1 Supercomputing Centerin Wuxi ChinaSunway SW26010 260C 1.45GHz,Sunway NRCPCЯдраRmax(TFlop/s)Rpeak(TFlop/s)Power(kW)10 649 60093 014.6125,435.915,37114Продолжение таблицы 1.1№ОрганизацияNational Super2Computer Center inGuangzhou China34КластерЯдраRmax(TFlop/s)Rpeak(TFlop/s)Power(kW)3 120 00033 862.754,902.417,808560 64017 590.027,112.58,2091 572 86417 173.220,132.77,890705 02410 510.011,280.412,660786 4328 586.610,066.33,945196 6085 537.07,235.22,834Tianhe-2 (MilkyWay-2) - TH-IVB-FEPCluster, Intel Xeon E5-2692 12C2.200GHz, TH Express-2, Intel XeonPhi 31S1P NUDTDOE/SC/Oak RidgeTitan - Cray XK7 , Opteron 6274 16CNational Laboratory2.200GHz, Cray Gemini interconnect,United StatesNVIDIA K20x Cray Inc.DOE/NNSA/LLNLSequoia - BlueGene/Q, Power BQCUnited States16C 1.60 GHz, Custom IBMRIKEN Advanced5Institute forK computer, SPARC64 VIIIfx 2.0GHz,ComputationalTofu interconnect FujitsuScience (AICS)JapanDOE/SC/Argonne6National LaboratoryUnited StatesMira - BlueGene/Q, Power BQC 16C1.60GHz, Custom IBMKing Abdullah10University ofShaheen II - Cray XC40, Xeon E5-Science and2698v3 16C 2.3GHz, AriesTechnology Saudiinterconnect Cray Inc.ArabiaНесмотря на то, что таблица отображает максимальную и пиковуюпроизводительность, стоит отметить, что при решении реальных задачдостижение такой производительности является серьёзной проблемой.В соответствии с данными приведёнными в Top 500 на сегодняшний деньсамый производительный кластер находится в Китае и называется Sunway TaihuLight (рисунок 1.1).Sunway Taihu Light в тесте Linpack показывает производительность93.014,6 TFLOPs, но теоретически его производительность может достигать125.435,9 TFLOPs.

Такая вычислительная мощность достигается благодаряспециализированным процессорам, которые являются внутренней разработкой15китайского центра National Research Center of Parallel Computer Engineering &Technology (NRCPC). В Sunway TaihuLight установлены процессоры ShenWei.Процессор SW26010 содержит 260 ядер, один чип обеспечиваетвычислительную производительность 3 TFLOPS. Кластер Sunway TaihuLightсодержит 40960 узлов, каждый из узлов оснащен SW26010.

260 ядер на узел всумме предоставляют 10649600 ядер. С вычислительной производительностью начип3TFLOPSпроцессорSW26010находитсянаодномуровнесвычислительными ускорителями Xeon Phi поколения Knights Landing [13].Рис. 1.1. Кластер Sunway TaihuLightЕмкость оперативной памяти составляет 32 Гбайт на узел, то есть кластероснащен, в общей сложности, 1,3 Петабайтами. Используется память DDR3.Частота ядер процессоров составляет 1,45 ГГц, каждое ядро можетработать только с одним потоком.Пропускная способность каналов между узлами в Sunway Taihu Lighсоставляет 16 Гбайт/с. При организации коммуникаций на основе MPI пропускнаяспособность снижается до 12 Гбайт/с.Энергопотребление кластера Sunway TaihuLight составляет 15,3 МВт принагрузке тестом Linpack.16КластерSunwayTaihuLightрасполагаетсявцентреNationalSupercomputing Center в городе Уси, и на сегодняшний день планируется егоприменение при расчетах климатических изменений и прогноза погоды [13].Нижепредставленоописаниенаиболееизвестныхотечественныхкластеров.

Лидерами на сегодняшний день являются кластеры НаучноИсследовательского Вычислительного Центра МГУ Ломоносов-2 и Ломоносов[14] занимающие 41 и 109 позиции в TOP-500 соответственно. Основныехарактеристики данных кластеров представлены в таблице 1.2 [15], [16].Таблица 1.2. Характеристики кластеров Ломоносов-2 и ЛомоносовХарактеристикиЛомоносов-2РасположениеЛомоносовНИВ Центр МГУПроизводительT-PlatformsT-PlatformsЯдра42,68878,660Производительность (Rmax)2,102 TFlop/s901.9 TFlop/sТеоретическая пиковая производительность (Rpeak) 2,962.25 TFlop/s1,700.21 TFlop/sМощность1,079.00 kW2,800.00 kWПамять94,208 GB99,489 GBПроцессорXeon E5-2697v314C 2.6GHzXeon X5670 6C2.93GHzВычислительная сетьInfiniband FDRInfinibandОперационная системаLinuxLinuxКомпиляторGCCintel-12.0Математические библиотекиMKL, cuBLASMklMPIOpenMPI-1.8.4Intel MPI 4.0Далее следует описание кластера Санкт-Петербургского политехническогоуниверситета«Политехник-RSCпредставлены в таблице 1.3 [17].Торнадо»,характеристикикоторого17Таблица 1.3.

Характеристики кластера Политехник-RSC ТорнадоХарактеристикиЗначенияРасположениеСанкт-Петербургский политехническийуниверситет Петра ВеликогоПроизводительRSC GroupЯдра19,936Производительность (Rmax)658.112 TFlop/sТеоретическая пиковая производительность (Rpeak)829.338 TFlop/sМощность320.00 kWПамять45,568 GBПроцессорXeon E5-2697v3 14C 2.6GHzВычислительная сетьInfiniband FDRОперационная системаCentOSКомпиляторIntel ICCМатематические библиотекиIntel MKLMPIIntel MPIСледующий кластер Межведомственного Суперкомпьютерного ЦентраРоссийской Академии Наук называется МВС-10П и занимает 348 место в ТОП500.Пиковая производительность данного кластера- 523.8 ТФЛОПС,производительность на тесте LINPACK - 375.7 ТФЛОПС. В состав кластеравходит 207 вычислительных узлов.

Каждый ВУ имеет в своем составе 2процессора Xeon E5-2690, 64 ГБ оперативной памяти, два сопроцессора Intel XeonPhi 7110Х.Все ВУ кластера объединяются в три вычислительные сети:коммуникационную и транспортную сеть на базе FDR Infiniband;сеть мониторинга и управления на базе Gigabit Ethernet;управления заданиями на базе Gigabit Ethernet.На комплексе установлены две системы управления прохождением задач:СУППЗ и SLURM [18], [19].18Ниже представлено описание кластера Национального исследовательскогоцентра «Курчатовский институт» HPC4, который занимает 351 позицию, еготехнические характеристики приведены в таблице 1.4.

[20].Таблица 1.4. Характеристики кластера HPC4ХарактеристикиЗначенияРасположениеНИЦ «Курчатовский институт»ПроизводительSuperMicro/MellanoxЯдра11,082Производительность (Rmax)374.1 TFlop/sТеоретическая пиковаяпроизводительность (Rpeak)500.55 TFlop/sПамять48,256 GBПроцессорXeon E5-2680v3 12C 2.5GHzВычислительная сетьInfiniband FDRОперационная системаCentOSДалее приведено подробное описание вычислительного кластера ННГУ(Нижегородского университета), находящегося на 489 строчке ТОП-500оборудование для которого было передано в рамках академической программыкомпании INTEL в 2001 г.Кластер состоит: из двух вычислительных серверов, каждый из которых включает 4процессора Intel Pentium III 700 MHZ, 512 MB RAM, 10 GB HDD, 1 Gbit Ethernetcard; 12-ти вычислительных серверов, каждый из которых состоит из 2-хпроцессоров Intel Pentium III 1000 MHZ, 256 MB RAM, 10 GB HDD, 1 GbitEthernet card; 12-ти рабочих станций на базе процессора Intel Pentium 4 1300 MHZ, 256MB RAM, 10 GB HDD, 10/100 Fast Ethernet card.19Спецификойкластераявляетсяегонеоднороднаяструктура(гетерогенность).