Автореферат (Математическое и программное обеспечение балансировки вычислительных заданий для распределенных вычислительных комплексов на основе прогнозных моделей)

На правах рукописиАлпатов Алексей НиколаевичМатематическое и программное обеспечение балансировкивычислительных заданий для распределенных вычислительныхкомплексов на основе прогнозных моделей05.13.11 – Математическое и программное обеспечение вычислительных машин,комплексов и компьютерных сетейАВТОРЕФЕРАТдиссертации на соискание ученой степеникандидата технических наукМосква – 2017Работа выполнена на кафедре аппаратного, программного и математическогообеспечения вычислительных систем Физико-технологического институтаМосковского технологического университетаНаучный руководительРощинАлексейВасильевич,кандидат технических наук, профессорпрофессоркафедрыпрограммногоиматематического обеспечения вычислительныхсистемФизико-технологическогоинститутаМосковского технологического университетаОфициальные оппонентыЛеохин Юрий Львович, доктор технических наук,профессор департамента компьютерной инженерииМосковского института электроники и математикиим.

А.Н. Тихонова Национального ИсследовательскогоИнститута Высшая школа экономикиХантимиров Рамиль Ильдарович,кандидат технических наук,технический директор ООО «СТОРМ СИСТЕМС»Ведущая организацияФедеральноегосударственноебюджетноеучреждение науки Институт проблем управленияим.

В. А. Трапезникова Российской академии наукЗащита состоится 22 июня 2017 года в 16-30 часов на заседаниидиссертационного совета Д 212.131.05 при Московском технологическомуниверситете (МИРЭА) по адресу: Москва, Проспект Вернадского, д. 78, Д117С диссертацией можно ознакомиться в библиотеке Московскоготехнологического университета (МИРЭА) и на сайте организации www.mirea.ru.Автореферат разослан «хх» хххххх 2017 г.Ученый секретарь диссертационного совета Д 212.131.05,к.т.н., доцент.Андрианова Елена ГельевнаОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫАктуальность темы исследованияСпроснавысокопроизводительныевычислительныекомплексыпостоянно растёт.

Развитие и усовершенствование математического аппарата,появление новых методов и алгоритмов, требовательных к вычислительнымресурсам и, самое главное, к ресурсам времени — всё это привело кнеобходимости создания и повсеместного внедрения мощных распределённыхвычислительных комплексов. При этом текущие потребности в вычисленияхчасто не могут быть удовлетворены даже самыми мощными вычислительнымицентрами.Совершенствованиеканаловпередачиданныхпривелоквозможности объединения как локальных вычислительных систем, так и, часто,компьютеры простых пользователей сети Интернет, в единую глобальнораспределенную вычислительную среду.

Такая организация распределённыхвычислений получила название грид-вычисления (англ. grid computing).Основные свойства таких комплексов в существенной мере определяютсягетерогенностью входящих в нее компонентов, что необходимо учитывать приреализации РВК.Как и в любых локальных вычислительных системах, в грид-системах,работающих по принципу добровольных вычислений, возникает ряд задач,решение которых необходимо для поддержания оптимальной работы такоговычислительного комплекса.

В связи с большим количеством и разнообразиемкомпонентов, входящих в такой вычислительный комплекс, возникает задачабалансировки потоков данных между узлами комплекса. Так как узлы такоговычислительного комплекса должны одновременно выполнять как внутренниезадачи, которые определяются не только работой операционной системывычислительногоузла,ноипроцессами,которыеинициализированыпользователем вычислительного узла (просмотр видеопотока, математическийрасчёт и т.д.), а также и внешние задачи, поступающие на узел, возникает3задача балансировкивнутренней и внешней загрузки узлов. При этомприходится учитывать тот факт, что приоритет внутреннего задания выше, авыполнение внешнегозаданияможет быть сорваноиз-за неудачнойбалансировки. И хотя срыв такого задания в большой грид-среде можетпоказаться несущественным, срыв выполнения одной из порций вычисленийтекущего пакета может привести к необходимости повторного планированияэтогопакетаи,соответственно,кзадержкеполучениярезультата.Возникновение большого количества таких срывов может приводить ксущественным задержкам в получении результата.

Именно поэтому внешняязагрузка узлов в таких комплексах должна планироваться с учетом имеющейсявнутренней загрузки. Одним из путей решения этой задачи являетсяиспользование различных политик балансировки нагрузки узлов РВК. Однакоразработанные к настоящему времени методы балансировки нагрузки неудовлетворяюттребованиямпопроизводительности,необладаютсоответствующим уровнем адаптивности к возникающим пиковым нагрузкам, атакже не учитывают характер и свойства узловых и сетевых нагрузок, чтоподтверждает необходимость комплексного исследования в данной области.Степень разработанности проблемыВопросами развития и повышения общей эффективности работы РВК,построенных на основе технологии грид-вычислений, а также вопросамисозданияметодоввычислительнойиалгоритмовнагрузкидляпрограммно-аппаратнойданныхкомплексов,балансировкизанимаютсярядотечественных исследователей, таких как, В.

Г. Хорошевский, А. В.Бухановский, С. В. Иванов, А.М. Бершадский, А.С. Хританков, В. Х. Багманов,А. М. Комиссаров, А. Х. Султанов, Е.В. Никульчев, С.Е. Дробнов, В.Я.Цветков, В.М. Баканов, Д.А. Грушин, Н.Н Кузюрин, Е.В. Плужник, А.И.Миков, Е.Б. Замятина, С. В. Паяин, Ю. Б. Тарек, Г. Н. Жолткевич, Ю. В.Соляник и т.д. Среди западных исследователей можно выделить работы G.Cybenko, D Grosu, R. Subrata, A. Y. Zomaya, Peter A. Dinda.

Среди крупных4разработчиков программного обеспечения исследованиями в данной областиактивно занимаются компании производители сетевого оборудования IBM,CISCO, а также ряд компаний занимающихся развитием новых принциповпостроения распределённых комплексов - F5 Networks, Amazon, Mail.По состоянию на 2016 год, большое количество работ посвященоисследованию и разработке различных алгоритмов балансировки нагрузки вРВК, реализующих принципы адаптивной стратегии балансировки. Однако, рядсовременных исследователей, таких как А.

В. Бухановский, Д.А. Хританков,Peter A. Dinda., работы которых посвящены решению данной задачи, указываютна ограниченность имеющихся подходов к балансировке нагрузки узлов.Действительно, существующие адаптивные методы базируются на данных офункциональныххарактеристикахиуровнезагруженностикаждоговычислительного узла, которые далеко не всегда известны, а, кроме того,меняются во времени. Соответственно, использование таких стратегий, можетприводить к возникновению критических ситуаций в некоторых узлах, на чтосистема балансировки нагрузки может не среагировать вовремя, что частоприводит к дисбалансу вычислительной нагрузки всего комплекса.

Также квозникновениюдисбаланса нагрузки в распределённых комплексах можетприводить уменьшение количества узлов и последующая флуктуация сетевоготрафика в вычислительном комплексе. В результате чего, остро встаёт вопроссоздания методов балансировки вычислительной нагрузки, которые были былишены указанных недостатков и позволили бы более оперативно реагироватьна возникающую нагрузку в ходе работы комплекса.Одним из перспективных направлений современных исследований вобласти балансировки вычислительной нагрузки в распределённых комплексах,являетсясозданиеметодов,реализующихпрогностическуюстратегиюбалансировки вычислительной нагрузки. Применительно к решению даннойзадачи были разработаны и активно использовалисьметоды на основерегрессионных (линейная регрессионная модель, множественная регрессионная5модель, модель группового учета аргументов) и авторегрессионных (ARIMA,ARIMAX, GARCH и др) моделей, нейронных сетей, методы на основе фильтраКалмана, методы на основе модели сглаживания.

Методика прогнозированиятелетрафика также была определена в рекомендациях E.506 и E.507Международного консультационного комитета по телефонии и телеграфии(англ. ITU-T). При этом стоит отметить, что данные рекомендацииразрабатывались для прогнозирования ISDN сетей и на сегодняшний моментсущественноустарелииневполнеудовлетворяюттребованиямпопроизводительности и точности построения прогнозов для современныхвычислительныхкомплексов.Этообъясняетсятем,чтобольшинствосуществующих методов, при выполнении прогнозирования, основывается настатистических данных, сбор которых часто затруднён, а также не учитываетинформацию о характере и свойствах возникающей нагрузки, что можетпривести к недооценке вычислительной нагрузки, а также к дополнительнымнакладным расходам. В частности, свойства нестационарности и самоподобиясетевого трафика и узловой нагрузки в современных компьютерных системах исетях с коммутацией пакетов (переход на ISDN, а также последующие развитиесетей NGN), приводят к невозможности применения, для рассматриваемойзадачи, некоторых методов, разработанных для анализа и прогнозированиявременныхрядов.Следовательно,актуальнымдлясовершенствованияалгоритмов балансировки является проведение комплексного исследованияпрогностических стратегий распределения вычислительных заданий и методовпрогнозирования сетевой и узловой нагрузки, которые учитывают характерсетевого трафика и узловой нагрузки в РВК.Объект исследования: глобально распределенный вычислительныйкомплекс, с комплексом диспетчирования загрузки узлов.Предмет исследования: методы балансировки загрузки узлов РВК,реализующиевычислительнойпринципнагрузки.прогностическойПредметстратегииисследования6балансировкиопределёнобластьюисследования №9 «Модели, методы, алгоритмы и программная инфраструктурадля организации глобально распределенной обработки данных» паспортаспециальности 05.13.11, а также перечнем решаемых в диссертационной работезадач.Цель работы: разработка методов, алгоритмов и их программнаяреализация для системы балансировки вычислительной нагрузки в РВК, наоснове прогноза будущей внутренней загрузки.

Достижение данной целипозволит улучшить адаптивность РВК к возникающей нагрузке и, в целом,повысить скорость работы комплекса.Для достижения поставленных целей, необходимо сформулировать ирешить основные задачи диссертационного исследования:1. Провести анализ современных решений и публикаций, посвященныхбалансировке загрузки узлов в распределенных вычислительных комплексах(РВК), построенных по грид–технологии, с целью выявления основныхнедостатков их использования.2. Разработать математическую модель загрузки вычислительных узловРВК, учитывающую свойства протекающих в них процессов и явлений.3. Разработать метод прогнозирования внутренней загрузки узлов РВК сцелью предотвращения срывов выполнения внешних заданий.4.