Предсказание потребления процессорного времени в виртуальных средах (1187413)
Текст из файла
Министерство образования и науки Российской ФедерацииФедеральное государственное автономное образовательное учреждениевысшего профессионального образования«Московский физико-технический институт(государственный университет)»Факультет управления и прикладной математикиКафедра теоретической и прикладной информатикиПредсказание потребления процессорного времени ввиртуальных средахВыпускная квалификационная работа(магистерская работа)Направление подготовки: 03.04.01 Прикладные математика и физикаВыполнил:студент 176 группыВеринов Александр АлексеевичНаучный руководитель:кандидат технических наукМелехова Анна ЛеонидовнаМосква20172ОглавлениеСтр.Введение .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4Глава1.11.21.31. Обзор предметной области . . .Разнородность нагрузки . . . . . . . .Параметры для построения прогнозаИзучение параметров нагрузки . . . .................................6667Глава 2. Математические сведения . . .
. . . . .2.1 Регрессионные модели . . . . . . . . . . . . . .2.2 Распределения случайных величин . . . . . . .2.2.1 Функция правдоподобия . . . . . . . . .2.2.2 Распределение Лапласа . . . . . . . . .2.3 Искусственные нейронные сети .
. . . . . . . .2.3.1 Различные приёмы . . . . . . . . . . . .2.3.2 Вариационные нейронные сети . . . . .2.4 Метод Монте-Карло . . . . . . . . . . . . . . .2.4.1 Интергирование методом Монте-Карло2.4.2 Использование выборки по значимости.............................................................................99101010111213141414Глава3.13.23.3............................16161719Глава 4.
Cимуляции . . . . . . . . . . . . . . . . . . . . . . . . .4.1 Выбор симулируемых аспектов системы . . . . . . . . . . .4.2 Реализация . . . . . . . . . . . . . . . . . . . . . . . . . . .202021Глава 5. Содержание работы . . . . . . . . . .
. . . . . . . . .5.1 Постановка задачи . . . . . . . . . . . . . . . . . . . . . . .5.2 Использованные данные . . . . . . . . . . . . . . . . . . . .2323243. Обзор существующих работРегрессионные модели . . . . . . .Байесовский классификатор . . .Фильтр Калмана . . . . .
. . . . .............................................3...........2525262728293131323235Глава 6. Обсуждение результатов . . . . . . . . . . . . . . . .39Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41Список литературы425.35.45.55.65.2.1 Описание данных . . . . . . . .5.2.2 Подготовка данных . . . . . . .5.2.3 Выбор горизонта предсказания5.2.4 Выбор признаков . . . . . .
. .Сравнение моделей предсказания . . .Предсказание распределения . . . . .5.4.1 Особенности обучения . . . . .Прототип планировщика . . . . . . . .5.5.1 Базовый планировщик . . . . .5.5.2 Предложенный планировщик .Результаты симуляции . . . . . . . . ........................................................................................................................... . .
. . . . . . . . . . . . . . . . . . . . . .4ВведениеРаспространение облачных систем, как публичных, так и внутрикорпоративных, увеличение числа физических машин, находящихся подуправлением облачного ПО, вызывает пристальное внимание к системамуправления ресурсов – DRS (dynamic resource scheduling). Для оптимального распределения нагрузки DRS должен ориентироваться не толькона текущие показатели потребления ресурсов, но и заглядывать в будущее. Прогноз призван дать оценку нагруженности серверов в будущем,на основании чего можно делать выводы о их перенагруженности илинедонагруженности.С одной стороны, оценка потребления ресурсов в будущем важнапри запуске новой нагрузке.
Тут важно знать, что выбранный для данной нагрузки сервер с большой вероятностью не будет перегружен последобавления нагрузки. С другой стороны, оценка потребления ресурсовнужна при перебалансировке нагрузки. В случае, если некоторый сервервсё же оказался перенагруженным, необходимо мигрировать часть егонагрузки на другие сервера. И выбор нагрузки для миграции, и выборнаправления миграции, требуют представление о будущем потребленииресурсов отдельными нагрузками и их совокупностями.Конечно, избежать нехватки ресурсов можно оценивая сверху квотой уровень потребления ресурсов, но тогда может остаться неиспользованной значительная часть производительности системы. Таким образом, мы подходим к задаче прогнозирования процессорной нагрузки каквлияющей на общую производительность распределённой вычислительной системы.Предсказание потребления процессорного времени в виртуализованных средах тесно связано с задачей повышения энергоэффективностиоблачной системы.
В этой задаче оценка нагрузки позволяет предельно плотно группировать виртуальные среды на физических машинах,обесточивая неиспользуемые сервера. Своевременное отключение электропитания значительно снижает энергозатраты, которые, согласно ста-5тьям [1–3], составляют существенную часть расходов по поддержаниюсерверов.6Глава 1. Обзор предметной областиВ этой главе будут описаны рассматриваемые нами параметры системы и особенности нагрузок в виртуальных средах.1.1Разнородность нагрузкиВ виртуальных средах могут выполняться разнородные задачи. Этаразнородность может послужить причиной различного качества предсказания для каждого отдельного метода на различных видах нагрузки.Например, задания, выполняемые на Google Compute Cloud, оказываются более короткими и имеют больший уровень интерактивности, чемобычно выполняемые на grid-системах [4;5]. Более короткие задания приводят к более частым и сильным колебаниям в нагрузке.Кроме общего характера нагрузки, точность предсказания можетзависеть от адаптированности метода к конкретной ситуации.
Например,если среди исполняемых в виртуальных средах задач есть взаимозависимые, то учёт возможности такой взаимосвязи открывает перспективыдля уточнения предсказания [6–8]. В случае отсутствия такой зависимости, её поиск не может дать выигрыша в точности предсказания, однаковполне может негативно сказаться на вычислительной сложности метода, и ухудшить точность за счёт ложно-положительных срабатываний.1.2Параметры для построения прогнозаВ подавляющем большинстве статей, посвященных предсказаниюпроцессорной нагрузки [2–21], предсказание основывается на единственном параметре - загруженности процессора (CPU load). В различныемоменты времени собираются значения загруженности процессора, фор-7мирующие временной ряд.
Однако, это не единственный возможный метод. Например, в работе [1] при использовании кластеризации для повышения точности используется ряд дополнительных параметров: количество исполняемых за цикл процессора инструкций - IPC (Instructions percycle), количество обращений к памяти - MPC (Memory access per cycle),количество обращений к кэшу - CTPC (Cache transactions per cycle). Вмультирегрессионных моделях [22–24] в качестве параметров рассматривались значения всевозможных счётчиков производительности процессора, а также частоты разнообразных системных вызовов.
Среди счётчиков производительности особое внимание уделялось IPC, но использовались и счётчики промахов кэша, промахов TLB, операций с плавающейточкой. Не исключено, что эти параметры окажутся полезными и припрогнозировании процессорной нагрузки.Нагрузка на процессор обычно измеряется в процентном соотношении времени, которое он провел в активном (не idle) состоянии, к общему времени за определенный период (т.е.
CPU utilization). Относительная нагрузка - отношение существующей нагрузки к максимально возможной. В статьях, как правило, измеряется относительная нагрузка нафизическую машину, представленная как сумма нагрузок, создаваемыхвсеми выполняемыми на ней заданиями, разделенная на максимальнуюпроизводительность машины.1.3Изучение параметров нагрузкиПрежде чем приступать к разбору методов прогнозирования процессорной нагрузки, сначала следует оценить основные ее параметры,выяснить, какими свойствами обладает временной ряд, по которомустроится предсказание.На этот вопрос довольно подробно отвечает статья [12], в которойизучается реальная процессорная нагрузка на машины в распределеннойсистеме, состоящей из 38 машин, за одну неделю в августе 1997 года.8В этой статье было проведено обширное исследование характеристик временного ряда процессорной нагрузки. Приведем некоторые изних:– Ряд имел небольшие средние значения при высокой дисперсии.– Величина дисперсии зависела от среднего значения: чем большесреднее значение, тем больше дисперсия.– Величина нагрузки имела довольно сложное распределение, однако, в некоторым приближении, ее можно считать нормальнораспределенной.– Наблюдалась высокая корреляция значений нагрузки во времени.– Временной ряд нагрузки не является стационарным.
Он проявляет «эпохальное» поведение: нагрузка остается стабильной наопределенных отрезках времени, при этом резко изменяясь, когда эти отрезки заканчиваются.Как уже было сказано во введении, характеристики нагрузки значительно отличаются для различных систем и типов задач. Варьируетсяизменчивость нагрузки, размер промежутка, на котором ее можно считать постоянной и т.д. Кроме того, конечно же, с 1997 года многое изменилось. Однако статья [12] дает хорошее представление о структуревременного ряда нагрузки в целом.
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
