Диссертация (Разработка моделей и алгоритмов составления оптимальных расписаний выполнения программных модулей в вычислительной сети на основе эволюционного подхода), страница 4

В состав кластера входят рабочие места, оснащенныепроцессорами Intel Pentium 4 и соединенные относительно медленной сетью (100Мбит), а также вычислительные двух и четырёх процессорные серверы, обменданными между которыми осуществляются за счёт быстрых каналов передачиданных (1000 Мбит) (рисунок 1.2). Благодаря этим особенностям кластериспользуется не только для решения больших задач, но также и для проведенияразличных экспериментов по исследованию кластерных систем и параллельныхметодов решения научно-технических задач.Кластер работает под управлением операционных систем семействаMicrosoft Windows, но для проведения отдельных экспериментов имеетсявозможность использования ОС Unix. Разработка прикладного программногообеспечения выполняется преимущественно с использованием ОС MicrosoftWindows.Рис.

1.2. Структура вычислительного кластера Нижегородского университета20Кластер использует следующее программное обеспечение: вычислительные серверы работают под управлением ОС MicrosoftWindows 2000 Advanced Server; на рабочих местах разработчиков установлена ОС Microsoft Windows2000 Professional; в качестве сред разработки применяются Microsoft Visual Studio 6.0; длявыполненияисследовательскихэкспериментоввозможноиспользованиекомпилятора Intel C++ Compiler 5.0, встраиваемого в среду Microsoft VisualStudio.В 2006 году в рамках инновационной образовательной программыНижегородскогоуниверситета«Приоритетногонациональногопроекта«Образование» была выполнена модернизация вычислительного кластера ННГУ,в результате его пиковая производительность была доведена до 3000 Gflops [15],[21].ПоследнийотечественныйэкземплярRSCTornadoSUSU,располагающийся на 498 строке списка ТОП-500, находится в Южно-УральскомГосударственном Университете.

Его технические характеристики приведены втаблице 1.5 [22].Таблица 1.5. Характеристики кластера RSC Tornado SUSUХарактеристикиЗначенияРасположениеЮжно-Уральский Государственный УниверситетПроизводительRSC GroupЯдра28,032Производительность (Rmax)288.2 TFlop/sТеоретическая пиковаяпроизводительность (Rpeak)473.641 TFlop/sМощность294.00 kWПамять12,288 GBПроцессорXeon X5680 6C 3.33GHzВычислительная сетьInfiniband QDR21Продолжение таблицы 1.5.Операционная системаCentOSКомпиляторIntel Composer XE 2013Математические библиотекиIntel MKLMPIIntel MPIГлавным достоинством кластеров, которое поддерживает их популярность,являетсяпостроениетакихРСОДнаосновестандартныхмассово-выпускающихся аппаратных и программных компонент.Также возможна организация кластеров на базе уже существующихвычислительных сетей.

При выборе такого подхода рабочие персональныекомпьютеры (ПК) пользователей используются в качестве узлов кластера (вночное время или в выходные дни). РСОД такого типа носят название COW(Cluster of Workstations). Методы построения таких РСОД, предлагаются в работе[23].Один из видов COW – распределённые вычислительные среды рассмотренв работе [1]. Вычислительная среда обладает параллельной архитектурой ираспределенной памятью, что позволяет относить их к кластерам. Однакораспределенные вычислительные среды обладают не характерными для кластеровсвойствами.Распределённые вычислительные среды могут быть организованы наоснове вычислительных сетей, принадлежащих частным предприятиям, где ВУпредставляют машины конечных пользователей.Общая суммарная производительность всех ВУ, входящих в составвычислительной сети, даёт основу для организации РСОД, позволяющую решатьбольшие задачи.Если узлы кластера представляют собой жёстко детерминированнуюструктуру и выполняют вычисления необходимые только пользователю кластера,то к ним соответственно предъявляются максимальные требования.

Компьютеры,входящие в состав грид-систем, предоставляют свои ресурсы на основе22алгоритма, определяющего процент совершаемой ими работы в системе.Распределённые среды имеют совершенно иную организацию. Несмотря на цель,заключающуюся в задействовании максимального числа компьютеров ввычислительномпроцессе,непредоставляетсявозможнымпредъявлятьтребования к режиму их использования, что значительно снижает их надежность.Можно представить вычислительную среду, как объединение множестваненадежных вычислительных узлов, предоставляющих часть своих ресурсов,объём которых может меняться в каждый конкретный момент времени, нокаждый из узлов может в зависимости от конкретной ситуации сделать свойчастичный вклад в производимые расчёты, тем самым формируя мощныйвычислительный ресурс.В отличие от других видов РСОД вычислительные среды представляютэкономически доступное решение.

Применение уже существующих компьютероввычислительной сети, исключает значительные финансовые затраты, чтоувеличивает привлекательность такого подхода. Также положительным моментомявляетсяпостепенноеаппаратно-программноеобновлениераспределённыхвычислительных сред, которое происходит автоматически по мере обновленияаппаратной базы и программного обеспечения вычислительной сети.В этой связи особо важным становится решение задачи, котораязаключаетсянахожденииметодоворганизациипроведениявычисленийодновременно с выполнением индивидуальной работы узлов сети [1].Также нельзя не отметить развитие облачных технологий, которые всовременном мире являются неотъемлемой частью технологий распределённойобработки данных и активно применяются для проведения крупномасштабныхвычислений. Данное применение находят облачные сервисы как инфраструктура.В работе [24] подробно описана взаимосвязь развития виртуализации иоблачных технологий.

Такие сервисы предоставляют пользователю наборвиртуальных машин. Виртуальные машины располагаются на различныхфизических аппаратных ресурсах (возможно разнесенных территориально),связанных между собой сетью и для эффективного выполнения, поступившего от23пользователя крупномасштабного задания так же необходимо рациональноераспределение, с целью которого применяются планировщики.При организации таких облачных вычислений особое внимание уделяетсяреализации системы планирования, в функции которой входит синтез расписаниядля выполнения задания, здесь под заданием понимается требование пользователяна выполнение параллельной программы.

В общем виде система планированиясостоит из таких компонентов, как:- политики планирования;- целевая функция;- алгоритм составления расписания [25 стр.27].В работе [26] описывается применение алгоритма, основанного наэвристиках при организации планировщика, используемого при проведениивычислений в облачном сервисе OpenStack. Для эффективного решения большихзадач в облачных сервисах требуется планирование виртуальных машин,располагающихся на серверах, планировщик должен учитывать особенностипроизводимых вычислений, чтобы сократить потери производительности,которые связанны с задержками передачи данных по сети.

Разработанныйавторами планировщик увеличил производительность системы на 14% [26], [27],[28], [29].Разработка систем планирования актуальна не только для облачныхвычислений, но и для крупномасштабных РСОД типа грид-систем [3]. Здесьсистема планирования, выделяя ресурсы для выполнения задания, заботитсятакже о резерве на случай выхода из строя ВУ [25].

В таких системах проблемапланирования имеет первостепенное значение. Она решается за ограниченноевремя процессором, и заключается в том, каким образом распределитьпрограммные модули по ВУ, чтобы их общее время выполнения быломинимальным.241.1. Анализ классификаций распределённых систем обработки данныхОсновная классификация РСОД, организованных на основе сетевыхтехнологий, проводит их разграничение по степени идентичности узлов икоммуникаций вычислительной сети, а также системного ПО. На основе даннойклассификации все РСОД делятся на:1.

Однородные.2. Неоднородные (гетерогенные).ОднородныеРСОДвключаютоднотипныеузлысодинаковойпроизводительностью и коммуникационные связи с одинаковой пропускнойспособностью.Гетерогенные РСОД содержат ВУ с различной производительностью икоммуникационные связи с различной пропускной способностью. Также вгетерогенных РСОД узлы могут работать под управлением разных операционныхсистем (ОС) [30].Методы и алгоритмы синтеза оптимальной логической структурыкомплекса ИЗЗ различаются в зависимости от вышеизложенной классификации.Алгоритмы распараллеливания программ эффективные для одного класса РСОД,могут быть неэффективны для другого, также данная проблема актуальна дляРСОД динамически меняющих конфигурацию.Проблемы данного характера связаны также с портируемостью ПО.

Онивозникают при переходе с одной аппаратной платформы на другую. Исходя изэтого, в большинстве случаев с точки зрения эффективности разработчикамприходится делать сложный выбор между скоростью выполнения параллельнойпрограммы, либо её переносимостью [31]. В этой связи возникает необходимостьв программах, которые учитывают аппаратные особенности и автоматическиподстраиваются под архитектуру вычислительной сети.Для эффективного применения вычислительных сетей в РСОД прирешении больших задач требуется создание параллельных программ и решениепроблем, связанных с распараллеливаемостью алгоритмов, в связи с чем для25полноценного анализа существующих подходов, рассмотрения одной сетевойклассификации недостаточно.

Для исследования и оценки существующихподходов решения больших задач на основе параллельных вычислений,необходим анализ классификаций параллельных архитектур и соответствие РСОДпредложенным классам. В этой связи далее рассматриваются классификациипараллельных архитектур: Флинна, Ванга и Бриггса, Хокни, Фенга, Хендлера,Скилликорна и Дункана.В области параллельных вычислений, самой распространённой являетсяклассификация, предложенная в 1966 году Майклом Флинном.

Даннаяклассификация опирается на понятия из области разработки программногообеспечения, такие как инструкции и данные.С точки зрения программиста на нижнем уровне программный код,находящийся в оперативной памяти (ОП) подразделяется на код инструкций, т.е.представляющих машинные команды и код данных с которыми работаютинструкции.

Инструкции последовательно поступают в дешифратор, и далее взависимости от типа команды производится выборкаданных, которыезагружаются в регистры, после чего над ними производятся определённыедействия.Существуют два типа процессорных архитектур: принстонская (она жеФон-Неймановская)игарвардская.Гарвардскаяархитектуранагляднодемонстрирует вышеописанное разделение кода, в вычислительных машинах сданной архитектурой присутствует два физических блока ОП: блок памятиинструкций и блок памяти данных, каждый из блоков имеет свою шину.Принстонская архитектура хранит инструкции и данные в одном и том же блокеОП.Классификация Флинна рассматривает процесс выполнения программы,какдвасплошныхпотокаинструкцийиданных.Всоответствиисклассификацией Флинна существует четыре класса архитектурных решений:1.