Главная » Просмотр файлов » Предсказание потребления процессорного времени в виртуальных средах

Предсказание потребления процессорного времени в виртуальных средах (1187413), страница 5

Файл №1187413 Предсказание потребления процессорного времени в виртуальных средах (Предсказание потребления процессорного времени в виртуальных средах) 5 страницаПредсказание потребления процессорного времени в виртуальных средах (1187413) страница 52020-09-11СтудИзба
Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 5)

Итерации этих двух процессов обучения проводились на однойсети попеременно. Для реализации такой особенности обучения, обратное распределение градиента через выходы сети условным образом прерывалось. Включая распространение градиента через часть предсказываемых параметров распределения, можно добиться уточнения оценкиименно этих выходов. Такая техника необходима, так как на тренировных примерах ошибки оказываются заниженными, и для оценки степенинеопределённости на новых данных необходимо использовать отдельныеобучающие примеры.В этой сети также были использованы все приёмы, описанные вразделе 2.3. Особенно большой прирост к точности дало использованиеdropout-слоёв.Коэффициент детерминации обученной модели, если использоватьпредсказание средним от полученного распределения, оказался равным0.4522.

Для сравнения, нейронная сеть, напрямую обученная для минимизации среднеквадратичной ошибки, показала 2 = 0.4554.5.5Прототип планировщикаЗаключительным этапом работы является проверка применимостипредсказываемых вероятностных распределений для распределения нагрузки.

В главе 4 про симуляцию описана и обоснована симуляционнаясреда. Её устройство таково, что планировщик имеет максимально ограниченный набор возможных действий. Всё, что может делать планиров-32щик - это бинарные решения о запуске очередной нагрузки на единственной симулируемой физической машине. Возможности выбрать нагрузкуили физическую машину для запуска у планировщика нет. В действительности, у планировщика будет больше свободы, и, соответственно,больше потенциала для оптимизации.5.5.1Базовый планировщикВ качестве базового планировщика был взят планировщик, который запускает очередную нагрузку только в момент, когда после её добавления суммарная квота не будет превышать ресурсы сервера.

Этаполитика консервативна, при ней заведомо невозможна перегрузка. Доля использованных ресурсов будет сравниваться с долей использованияпроцессорного времени этой базовой политикой.5.5.2Предложенный планировщикРазрабатываемый планировщик располагает оценками распределения потребления процессора в разные интервалы времени в будущем, 4вероятностных распределения для каждой нагрузки. На основании этойинформации, и описания нового кандидата на исполнение, необходимопринять решение о запуске или откладывании запуска в данный момент.Планировщик принимает свое решение на основании оценки вероятности перегрузки в любой из четырёх горизонтов прогнозирования, порог вероятности является единственным параметром алгоритма, требующим настройки.

Потребление нагрузок, для которых ещё не набралосьни единой записи в истории, предсказывается верхней границей квоты.Так происходит и с нагрузкой, которая является кандидатом на запуск.Требуется оценить вероятность превышения заданного значения суммойслучайных величин известных распределений.33Одним из рассмотренных и отвергнутых подходов было использование череды свёрток гистограмм распределений. Используется векторвероятностей попадания текущей суммы случайных величин в ячейкидостаточно частой сетки, для прибавления очередной нагрузки производится свёртка её распределения и распределения текущей суммы.

Дляработы этого подхода сетка должна быть настолько частой, чтобы быловозможно достаточно детально приблизить распределения потреблениянагрузок даже с малыми квотами. Число одновременно работающих нагрузок измеряется десятками, и может достигать 50-60. В этих условиях,вычислительные затраты на работу такого варианта планировщика оказались неприемлемыми.Одновременно получить высокую скорость выполнения и приемлемую точность аппроксимации удалось при помощи метода Монте-Карло.В ходе работы, из каждого распределения генерирует заданное количество реализаций (использовалось 10000), эти реализации суммируютсядля всех нагрузок, и вычисляется доля превышающих порог сумм.

В таком виде, для получения оценки порядка 10−6 необходимо использоватьот 106 реализаций, что снова оказывается слишком затратным. Однако,при использовании выборки по значимости (стр. 14), это ограничениеснимается.Опишем алгоритм оценки вероятности перегрузки для отдельногогоризонта предсказания поподробнее. Вначале алгоритму доступны пераметры распределения будущих потреблений процессорного времени,эти распределения имеют различные носители (согласно квотам). Обозначим плотность распределения для нагрузки как , порог суммарного потребления обозначим через . В этих обозначениях, искомая вероятность записывается как:quota∫︁ 1quota∫︁ ···=1 =0[︃1 (1 ) · · · ( ) =0∑︁=1]︃ > d1 · · · d34где⎧⎨1, if [] =⎩0, elseИспользование выборки по значимости предполагает модификациюраспределений.

Для получения реализаций будущего потребления процессорного времени отдельными нагрузками, было использовано распределение с плотностью:(︂)︂21˜ ( ) = ( ) · 1 +quotaПереходя к преобразованным распределениям, искомую вероятность можно эквивалентно переписать как:quota∫︁ 1quota∫︁ ···=1 =0 =0[︁∑︀]︁=1 > ˜1 (1 ) · · · ˜ ( ) ∏︀ (︁d1 · · · d)︁2−1=1 1 + quotaДля вычисления нормировочных констант преобразованных распределений использовалось суммирование по сетке из 10000 точек на отрезках [0, quota ].Хотя интеграл аналитически и остался в точности таким же, приего оценке методом Монте-Карло большие значения имеют увеличенную вероятность реализации, а значит индикаторная функция в числителе будет ненулевой для существенной доли примеров, даже если изначально величина [∑︀1 >] была много меньше количества использу=1 емых реализаций.Итоговый алгоритм оценки состоит из генерации{ ∼ ˜ }=1..,=1..

(M = 10000), и вычисления:≈1∑︁=1[︁∑︀=1 ∏︀ (︁=11+]︁>)︁2quota−1355.6Результаты симуляцииСимулировался сервер, имеющий максимальную в кластере производительность процессора. Нагрузки подавались на исполнение в зафиксированном случайном порядке, они брались из тестовой части выборки,уже после завершения всех нагрузок, использованных при обучении модели.На рисунке 5.4 показано сравнение суммарного потребления процессорного времени при управлении базовым планировщиком, и предложенным планировщиком с порогом вероятности перегрузки 10−3 . Награфике 5.5 представлено изменение количества единовременно исполняемых нагрузок для тех же выполнений симуляции.Сравнение хода симуляции для всех рассмотренных планировщиков приведено на графиках 5.6 и 5.7. На них изображены бегущее среднеесуммарного потребления процессорного времени и количество одновременно выполняемых нагрузок.В таблице 5.1 приведено сравнение показателей работы планировщиков.

Видно, что доля моментов времени с перегруженным серверомследует за выставляемым порогом, и по порядку величины совпадает сним. Это подтверждает высокую информативность параметра разработанного прототипа планировщика.ПланировшикСреднееиспользованиеЦПУСреднеепревышениедоступного ЦПУДоля моментов временис превышениемдоступного ЦПУБазовыйПрототип, p=10−3Прототип, p=10−4Прототип, p=10−50.5290.7570.7180.68704.87 · 10−53.34 · 10−67.35 · 10−801.65 · 10−34.13 · 10−46.89 · 10−5Таблица 5.1Сравнение результатов симуляцииТаким образом, использование предложенного планировщика позволило увеличить использование ресурса процессорного времени на 29.843.0 %, явно контролируя риск нехватки ресурсов.36Рисунок 5.4 — Сравнение суммарного потребления процессорноговремени37Рисунок 5.5 — Сравнение количества выполняемых нагрузок38Рисунок 5.6 — Сравнение суммарного потребления процессорноговремениРисунок 5.7 — Сравнение количества выполняемых нагрузок39Глава 6. Обсуждение результатовВ ходе работы был получен ряд результатов.1.

Выполнен обзор применяемых методов предсказания потребления процессорного времени в виртуальных средах, как для отдельных нагрузок, так и для совокупного потребления ресурсовсервером. В большинстве случаев предпочтение отдавалось линейным моделям и/или моделям, использующим лишь одномерный ряд истории потребления процессорного времени.2. Обработаны и структурированы для дальнейшей работы публично доступные данные месячной активности кластера из 12.5тыс. серверов компании Google.

Произведён выбор полезных дляпредсказания признаков.3. Оценено качество работы алгоритмов в рассматриваемом приложении, предложены их модификации, проведено сравнение.Нелинейные модели и многофакторные модели, учитывающиеразличные показатели работы нагрузки, оказались существенноточнее альтернатив.4. Реализована симуляционная среда с прототипом алгоритма планирования нагрузки, оценивающая применимость вероятностных моделей предсказания процессорной нагрузки на исторических данных.5.

Предложен алгоритм расчёта распределения вероятностей будущего потребления процессорного времени. Разработан прототип планировщика запуска нагрузок, использующий предсказанные распределения. По результатам тестирования алгоритмовприрост среднего использования процессорного времени хостомоказался в диапозоне 29-42% на исторических тестовых данных,причём без существенной потери качества обслуживания.

Характеристики

Список файлов ВКР

Свежие статьи
Популярно сейчас
Как Вы думаете, сколько людей до Вас делали точно такое же задание? 99% студентов выполняют точно такие же задания, как и их предшественники год назад. Найдите нужный учебный материал на СтудИзбе!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
6367
Авторов
на СтудИзбе
309
Средний доход
с одного платного файла
Обучение Подробнее