Диссертация (Математическое и программное обеспечение балансировки вычислительных заданий для распределенных вычислительных комплексов на основе прогнозных моделей), страница 11

Для наших71целей необходимо найти верхнюю и нижнюю границу доверительногоинтервала текущей нагрузки с вероятностью 90% . Так как для установлениятребуемых границ необходимо знать характеристики закона распределения,что не всегда возможно, то, в случае, если объём выборки маленький(порядка n<30), рекомендуют использовать распределение Стьюдента (tраспределение) [101]. Однако, на практике применение t-критерия длясреднего возможно только для генеральной совокупности данных, котораяимеет нормальное распределение, что на практике не всегда может бытьдостигнуто [102,103]. Варианты решения данной проблемы заключаются,либо в непосредственном моделировании расчета доверительного интервала[104], либо в увеличении выборки и применении асимптотически корректныхметодов [102].

Так как, полученные в ходе эксперимента данные можно слёгкостью обрабатывать машинными методами, то второй подход является вданных условиях наиболее предпочтительным. Доверительный интервал длясреднего по совокупности данных, закон распределения вероятностейкоторогоописываетсянепрерывнымнормальнымраспределением,рассчитывается по следующей формуле:sx t /2 n   x ts /2 n(3.5),где x - выборочное среднее арифметическое;t /2- квантиль распределения Стьюдента уровня α;s - несмещённое среднее квадратичное отклонение по выборке;n - размер выборки; - среднее по совокупности.Формулабесконечности)(3.5)применяетсясовокупностейдлябольшихданных.

Длятого(стремящихсячтобыкобеспечитьвозможность работы с относительно небольшими выборками, необходимо72учесть поправку на конечность выборки [104]. Таким образом, формула 3.5может быть переписана следующим образом:x ts /2 n1nsn   x t1 ,/2NNn(3.6)N - объём генеральной совокупности.snВ формуле (3.6) значение t / 2представляет собой точность1Nnинтервальной оценки, которую можно обозначить через, соответственно,формула (3.6) может быть переписана следующим образом:x     x (3.7)Формула (3.6) позволяет найти машинным методом, значениядоверительного интервала для относительно малых выборок генеральнойсовокупности, которые на практике составляют порядка 10  N  200 .В общем виде алгоритм нахождения доверительного интервалапрогнозной нагрузки для конкретного узла состоит из следующих шагов:1. Установить объём генсовокупности N=50 и соответствующий объёмвыборки (число элементов не менее 5% от генсовокупности [см.

104]).2. Проанализироватьполученнуюгенеральнуювыборкузначенийнагрузки по всем узлам за период наблюдения, с целью вычислениявыборочного среднего для каждого узла.3. ПотаблицеквантилейраспределенияСтьюдентанайтисоответствующие значение t / 2 , при уровне α=0,1 (P=0,9) и числестепеней свободы m  n  1. Данная таблица может быть получена спомощью Excel функции «СТЬЮДРАСПОБР». В качестве значенийквантиля распределения при вероятности 90 % примем t / 2 =1,67.4.

Далее, подставляя полученные значения в формулу (3.6) , найдёмграницы доверительного интервала для каждого узла.73sn5. Отдельно вычислим точность интервальной оценки   t / 21 .NnТаким образом, возможно нахождение интервальных оценок длязначений вычислительной нагрузки, что впоследствии, можно использовать вкачестве критерия оценки качества прогнозирования.

Например, полученныезначениядоверительногоинтерваладлязначенийнагрузкиприсоответствующем уровне α=0,1, говорят о том, что с 90% вероятностью,реальная загрузка узла системы должна лежать в тех границах, которыеопределяются формулой (3.6). Соответственно, выход реальной нагрузки израсчётного доверительного интервала говорит не только о качествепрогнозирования, но и позволяет оценить влияние различных факторов наход работы вычислительной системы. Глубокий анализ влияния факторовпозволяет выявить негативные тенденции, которые оказывают сильноевлияние на систему в целом.

В ходе проведённого эксперимента, количествовыхода реальных нагрузок из доверительного интервала составило порядка6,4% для метода экспоненциального сглаживания и 3,1% для методапрогнозирования на основе квазилинеаризации, что позволило говорить овысоком качестве прогнозирования вычислительной нагрузки даннымиметодами.Полученные значения коэффициента вариации по всем узлам, а такжеобщее процентное соотношение количества выходов реальной нагрузки изпредсказанного доверительного интервала, позволили выявить некотороепреимуществоразработанногометода,посравнениюсметодомэкспоненциального сглаживания.

В частности, разработанный метод лучшереагируетнавозникающуюнагрузкуиобладаетлучшейпроизводительностью. Однако, для повышения адаптивности алгоритмовбалансировки нагрузки к резким изменениям нагрузки в РВК, необходимопроизводить периодический мониторинг всей системы и корректировкупараметров прогностических алгоритмов, в соответствии с предсказаннымизначениями.743.3.2. Анализ влияния структуры файловой системыВ результате анализа экспериментальных данных было выявлено [114],что структура файловой системы оказывает существенное влияние напроизводительность алгоритмов балансировки нагрузки. Так, при загрузкесистемы, стремящейся к 1, резко (см.

рисунок 3.4) ухудшалась работасистемы, построенной на основе бездисковой модели структуры файловойсистемы. Разработанный прогностический алгоритм на основе методаквазилинеаризации, так же как и метод на основе экспоненциальногосглаживания, показали наилучшие результаты (см. рисунок 3.3 и рисунок3.4). Данный эффект можно объяснить тем, что при больших нагрузках, аименно при больших количествах операций ввода/вывода, общий файловыйсервер становится «узким» местом всего вычислительного комплекса.

Особоостро данный проблема встаёт на тех узлах, на которых используется файлподкачки (англ. paging).Рисунок 3.3 — Производительность различных алгоритмов при файловойструктуре с локальными дисками (наихудший случай) [114]75Рисунок 3.4 — Производительность различных алгоритмов при файловойструктуре с общим файловым сервером (наихудший случай) [114]3.3.3. Анализ влияния протокола передачи данныхВданномкоммуникационногоэксперименте,протокола,длябылооценкипроизведеновлияниясравнениевыборадвухпротоколов передачи данных TCP и UDP. Предполагалось оценить влияниекоммуникационного протокола для дисковых и бездисковых рабочихстанций. Особое внимание было уделено бездисковым рабочим станциям собщим файловым сервером, так как предполагалось, что при большихнагрузках на систему, происходит большое число обращений к файловомусерверу, что может приводить к флуктуациям сетевого трафика [114].Результаты эксперимента для протокола TCP приведены на рисунке 3.5и рисунке 3.6.

Результаты для бездисковых и систем с локальными дисками спротоколом UDP представлены, соответственно, на рисунке 3.7 и рисунке3.8.76Рисунок 3.5 — Производительность алгоритмов для протокола TCP(бездисковые системы) [114]Рисунок 3.6 — Производительность алгоритмов для протокола TCP(локальная структура) [114]77Рисунок 3.7 — Производительность алгоритмов для протокола TCP(бездисковые системы) [114]Рисунок 3.8 — Производительность алгоритмов для протокола UDP(локальная структура файловой системы) [114]Как видно из графиков, уменьшение времени отклика, как длядисковых, так и бездисковых систем произошло при использовании сетевогопротокола UDP [114].

Данный факт объясняется тем, что протокол UDPорганизуетпередачупакетовбезпредварительногоустановлениясоединения, что приводит к снижению объёма передаваемых данных. Однако78стоит проявлять осторожность при интерпретации полученных результатов.Так, при построении модели не учитывалась внутренняя структура сетейпередачи данных, а именно наличие активного сетевого оборудования(коммутаторы, прокси-серверы и т.д.) в её составе и надёжность данногооборудования. Однако полученные результаты могут быть применены длялокальных комплексов, таких как университетские вычислительные центры.Выводы по 3 главеВрезультатеразработанногопроведенныхметодаэкспериментовбалансировкиивычислительнойтестированиянагрузкинаимитационной модели выявлена возможность его использования дляосуществления процесса балансировки нагрузки. Показано, что особоевлияние на эффективность работы алгоритмов балансировки нагрузки в РВКоказывают системные параметры вычислительного комплекса.

Полученныерезультаты коррелируют с результатами других исследователей, чтопозволяетговоритьокорректностиразработанного метода на практике.ивозможностиприменения79Глава 4. МЕТОДЫ РЕАЛИЗАЦИИ ПРОГРАММНЫХСРЕДСТВ БАЛАНСИРОВКИ ВЫЧИСЛИТЕЛЬНОЙНАГРУЗКИ ДЛЯ РАСПРЕДЕЛЁННЫХ ВЫЧИСЛИТЕЛЬНЫХКОМПЛЕКСОВВ данной главе диссертационного исследования даётся методикавыборасредствреализацииипроектированияразрабатываемогопрограммного обеспечения для системы балансировки вычислительнойнагрузки на основе прогнозных моделей. В результате анализа различныхконцепций проектирования сложных систем сформулирована методологияпроектированияиразработкипрограммногообеспечениясистемыбалансировки вычислительной нагрузки в РВК.

Материалы данной главыиспользованы в работе [111].4.1. Концепция разработки сложных программных системСовременныйэтапразвитиятехнологийпрограммированияхарактеризуется значительным усложнением разрабатываемых программныхсистем [86], что существенно усложняет реализацию разработчикомподобныхсистем.Помимонаписаниясобственноисходногокодапрограммы, разработчику необходимо предусмотреть все возможныеварианты её использования при промышленной эксплуатации. Отсутствиесистематизированного подхода к проектированию программных системможет привести к тому, что разработанное программное средство не будетотвечать ряду требований по безопасности, надёжности, требуемойфункциональности, возможности модернизации и/или адаптации системы.Для решения всех этих задач необходимо разработать и использоватьсоответствующую методологию разработки ПО, которая позволила бызначительно упростить процесс проектирования и реализации и избежатьтипичных ошибок разработки.80Методология разработки тесно связано с таким понятием какжизненный цикл программного обеспечения.

Под жизненным цикломпонимается вся совокупность работ, регламентирующих процесс разработки,эксплуатации,сопровождения,разрабатываемойпрограмме,начинаязаканчиваяотанализазавершениемтребованийкэксплуатацииразработанного приложения [86]. Жизненный цикл определяет задачи, накаждом этапе разработки программной системы. Процесс жизненного циклапрограммногообеспеченияопределяетсямеждународными(ISO/IEC12207:2008) и национальными стандартами (ГОСТ 34.601-90).Для регламентации процесса разработки применяются различныемодели. Одной из ранних и наиболее распространённых на практике методикреализации программной системы является каскадная модель разработки.Каскадная модель формирует ход работ по созданию программных систем влинейно-последовательном виде, что говорит о том, что любой процессразработки начинается только тогда, когда закончилась предыдущийпроцесс. На рисунок 4.1 представлена типовая схема различных этаповкаскадной модели.Рисунок 4.1 — Типовая схема каскадной моделиВ результате дальнейшего усложнения разрабатываемых программ, этамодель стала неудобной в практическом использовании.

В современныхусловиях часто бывает невозможно заранее полностью проработать проект81программной системы на всех стадиях жизненного цикла, так как требованияк функциональности системы, на практике, может постоянно меняться. Дляданной модели, после того как разрабатываемая программа прошла стадиютестирования, изменить или добавить что-то в проектное решение непредоставляется возможным.Одним из решений, позволяющих избежать недостатков каскадноймодели, является применение подхода гибких методологий разработок [87].В отличие от классических моделей, гибкие методологии позволяютразработчикам эффективно производить адаптацию разрабатываемого ПО кразличным изменениям на всех этапах жизненного цикла.