Диссертация (Математическое и программное обеспечение балансировки вычислительных заданий для распределенных вычислительных комплексов на основе прогнозных моделей), страница 2

Исследованиями в области созданияиорганизацииновыхархитектурраспределённыхкомплексовикомпьютерных сетей, методов и программных средств балансировкинагрузки занимается ряд отечественных и зарубежныхисследователей.Среди них можно выделить работы отечественных исследователей, такихкак, Хорошевский В. Г.[2], А. В. Бухановский [3, 4], С.

В. Иванов [3, 4],8Бершадский А.М. [5], А.С. Хританков [6], В.Я. Цветков [38], В.М.Баканов[112], Е.В. Никульчев [112,114], Д.А. Грушин [7], Н.Н Кузюрин [7],Е.В. Плужник [112,114], С. В. Паяин [112,114], А.И. Миков [8, 9], Е.Б.Замятина [8, 9] и т.д. Среди западных исследователей можно выделитьработы D. Grosu [10, 11], R. Subrata [12], A. Y. Zomaya [13], Peter A. Dinda[14].Средикрупныхразработчиковпрограммногообеспеченияисследованиями в данной области активно занимаются производителисетевого оборудования IBM, CISCO, а также ряд компаний, занимающихсяразвитием новых принципов построения распределённых систем – Amazon,Mail.По состоянию на 2015 год, большое количество работ посвященоисследованию и разработке различных алгоритмов балансировки нагрузки вРВК, реализующих принципы адаптивного динамического балансировки.Однако, ряд современных исследователей, таких как А. В.

Бухановский, Д.А.Хританков, Peter A. Dinda., работы которых посвящены решению даннойзадачи, указывают на ограниченность имеющихся подходов к балансировкенагрузкиузлов.Действительно,существующиеадаптивныеметодыбазируются на данных о функциональных характеристиках и уровнезагруженности каждого вычислительного узла, которые далеко не всегдаизвестны,а,крометого,меняютсявовремени.Соответственно,использование таких стратегий, может приводить к возникновениюкритических ситуаций в некоторых узлах,на что система балансировкинагрузки может не среагировать вовремя, что часто приводит к дисбалансувычислительной нагрузки всего комплекса. Также к возникновениюдисбаланса нагрузки в распределённых комплексах может приводитьуменьшение количества узлов и последующая флуктуация сетевого трафикав вычислительном комплексе. В результате чего, остро встаёт вопроссоздания методов балансировки вычислительной нагрузки, которые были былишены указанных недостатков и позволили бы более оперативнореагировать на возникающую нагрузку в ходе работы комплекса.9Одним из перспективных направлений современных исследований вобластибалансировкивычислительнойнагрузкивраспределённыхкомплексах, является создание методов реализующих прогностическуюстратегию балансировки вычислительной нагрузки.

Применительно крешению данной задачи были разработаны и активно использовалисьметодына основерегрессионных(линейнаярегрессионнаямодель,множественная регрессионная модель, модель группового учета аргументов)и авторегрессионных (ARIMA, ARIMAX, GARCH и др) моделей, нейронныхсетей, методы на основе фильтра Калмана, методы на основе моделисглаживания.определенаМетодикавпрогнозированиярекомендацияхE.506телетрафикаиE.507такжебылаМеждународногоконсультационного комитета по телефонии и телеграфии (англ. ITU-T). Приэтом стоит отметить, что данные рекомендации разрабатывались дляпрогнозирования ISDN сетей и на сегодняшний момент существенноустарели и не вполне удовлетворяют требованиям по производительности иточностипостроенияпрогнозовдлясовременныхкомплексов.Такбольшинство существующих методов, при выполнении прогнозирования,основывается на статистических данных, сбор которых часто затруднён, атакжене учитывает информацию о характере и свойствах возникающейнагрузки, что может привести к недооценке вычислительной нагрузки, атакже к дополнительным накладным расходам.

В частности, свойстванестационарности и самоподобия сетевого трафика и узловой нагрузки всовременных компьютерных системах и сетях с коммутацией пакетов(переход на ISDN, а также последующие развитие сетей NGN), приводят кневозможности применения, для рассматриваемой задачи, некоторыхметодов, разработанных для анализа и прогнозирования временных рядов.Следовательно,балансировкиактуальнымявляетсядляпроведениесовершенствованиякомплексногоалгоритмовисследованияпрогностических стратегий распределения вычислительных заданий и10методов прогнозирования сетевой и узловой нагрузки, которые учитываютхарактер сетевого трафика и узловой нагрузки в РВК.Объект и предмет исследованияОбъект исследования: глобально распределенный вычислительныйкомплекс, с комплексом диспетчирования загрузки узлов.Предмет исследования: методы балансировки загрузки узлов РВК,реализующиепринциппрогностическойстратегиибалансировкивычислительной нагрузки.

Предмет исследования определён областьюисследования№9«Модели,методы,алгоритмыипрограммнаяинфраструктура для организации глобально распределенной обработкиданных» паспорта специальности 05.13.11, а также перечнем решаемых вдиссертационной работе задач.Цель работыЦель работы заключается в разработке методологии, алгоритмов и ихпрограммной реализации для систем балансировки нагрузки узлов РВК, наоснове прогноза возможной будущей их внутренней загрузки. Достижениеданной цели позволит улучшить адаптивность РВК к возникающей нагрузкеи, в целом, повысить скорость работы комплекса.Задачи работыДля достижения поставленных целей, необходимо сформировать ирешить основные задачи диссертационного исследования:1. Провестианализсовременныхрешенийипубликаций,посвященных балансировке загрузки узлов в распределенныхвычислительныхкомплексах(РВК),построенныхпогрид–11технологии,сцельювыявленияосновныхнедостатковихиспользования.2.

Разработать математическую модель загрузки вычислительныхузлов РВК, учитывающую свойства протекающих в них процессов иявлений.3. Разработать метод прогнозирования внутренней загрузки узлов РВКс целью предотвращения срывов выполнения внешних заданий.4. Разработать метод и алгоритм балансировки внешней загрузки узловРВК с учетом их внутренней загрузки, а также разнородностикомпонентов, входящих в их состав.5. ПроизвестикомпьютерноемоделированиеработыРВКсразработанным алгоритмом балансировки нагрузки для оценки егопроизводительностиприиспользованиивсуществующихраспределённых комплексах.6.

Разработать и реализовать в технических примерах математическоеи программное обеспечение балансировки нагрузки для РВК.Методология и методы исследованияВ данном диссертационном исследовании, методологической основойработы являются как общенаучные и философские методы: системныйподход, так и методы фундаментальных и прикладных наук: методы анализа,методыматематическойТеоретическойбазойстатистики,даннойимитационногодиссертационноймоделирования.работыявляютсяисследования отечественных и зарубежных специалистов, занимающихсязадачами повышения скорости работы распределённых вычислительныхкомплексов, за счёт развития методов и алгоритмов балансировкивычислительной нагрузки, применяемых в данных комплексах.

Информация,используемая в диссертационном исследовании, получена в ходе изученияосновных публикаций по теме исследования и данных, полученных в ходе12проведённогоэкспериментапоопределениюпроизводительностиразработанного алгоритма и выявлению степени влияния основныхсистемных параметров РВК на его производительность.Научная новизна диссертационной работыНаучную новизну работы составляют:1. Кусочно-стационарная модель загрузки узлов, идентифицируемая наоснованииэкспериментальныхданныхиобеспечивающаяадекватную оценку вычислительной нагрузки на глубину прогноза.2.

Модифицированный метод балансировки вычислительной нагрузкиузловвраспределённыхвычислительныхкомплексахсгетерогенной структурой, построенных по принципу грид-систем,заключающийся в использовании прогнозных оценок внутреннейзагрузки узлов, что позволить повысить уровень адаптациикомплекса к изменяющимся условиям.3. Метод прогнозирования внутренней загрузки узлов РВК на основеметода квазилинеаризации, с использованием в качестве начальныхусловий результатов, полученных на основе известных решенийдругих авторов, который учитывает динамику нагрузки и обладаетлучшими показателями прогнозирования, что позволить уменьшитьвероятность срывов обработки вычислительных задач узламикомплекса и, следовательно, понизить последующую флуктуациюнагрузки.Теоретическая и практическая значимость работыТеоретическая значимость работы определяется применением методаквазилинеаризациидляреализациипрогностическогоподходакбалансировке вычислительной нагрузки, позволяющей свести нелинейную13стационарнуюзадачукпоследовательностирешенийлинейныхдифференциальных уравнений.Практическаяценностьдиссертациизаключаетсявснижениивероятности срывов выполнения заданий узлами РВК, что с учетом большогоколичества узлов в таких комплексах может привести к существенномуснижению времени выполнения задания в целом.