Высокопроизводительные парал. вычисления на кластерных системах. Воеводин (2005) (1186026), страница 32
Текст из файла (страница 32)
Рассмотрим новый временной рядxt = (1 – α)at + Θ(B)xt−1. Спектр нового ряда получается из спектрастарого путем воздействия на него фильтра.Простейшим примером такого преобразования рядов является метод сглаживания, предложенный в [4]:yt = yt−1 + α(xt – yt−1) = (1 – α)yt−1 + αxtДанный метод был получен автором работы [4] из электротехнических соображений, в теории временных рядов этот метод называется158прогнозом с экспоненциально взвешенным скользящим средним и является рекуррентной записью усреднения всех членов ряда с экспоненциальными коэффициентами:yt = (1 – α)(xt + αxt−1…, αn xt−n + …).На практике имеет смысл работать не с самими значениями загруженности процессора, а с их разностями.
Дискретный оператор разности является аналогом производной первого порядка для непрерывныхфункций. Преимущества такого подхода заключается в том, что, вопервых, разностная величина уже центрирована, во-вторых, симметрична, и, в-третьих, с ее помощью лучше видна случайная составляющая процесса. Используя разностную схему, можно добиться лучшихрезультатов прогнозирования.ЗаключениеНа основе проведенных экспериментальных исследований в рамках созданной системы граф-схемного потокового параллельного программирования [2] нами разработаны алгоритмы и программные модули измерения указанных параметров загруженности компьютеров кластера и прогнозирования их изменения. Также разработан модуль дляуправления загруженностью кластера в целом. В настоящее время программные средства проходят экспериментальную проверку.Литература1.
Кутепов В.П. Об интеллектуальных компьютерах и больших компьютерных системах нового поколения. М: Из-во РАН, Теория и системыуправления, 1996, №5.2. Котляров Д.В., Кутепов В.П., Осипов М.А., Граф-схемное потоковоепараллельное программирование и его реализация на кластерных системах. М: Из-во РАН, Теория и системы управления, 2005, №1.3. Кутепов В.П., Котляров Д.В. Управление загруженностью кластерных вычислительных систем. Матер. IV Международ.
научно-практического семинара и Всероссийской молодежной школы, Изд-во СНЦ РАН,2004.4. Dr. Neil Gunther, UNIX Load Average Part 1: How It Works. TeamQuest Corporation, 2005.159ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ВЫЧИСЛЕНИЯКАК WEB-СЕРВИС ПЛАТФОРМЫ MICROSOFT . NETД.Ю. ЛабутинНижегородский государственный университет им. Н.И. ЛобачевскогоУдаленный доступКак правило, удаленный доступ к Linux-кластерам предоставляется с помощью SSH (Secure Shell) с интерфейсом командной строки.Рассмотрим положительные и отрицательные стороны данного подхода.Основным достоинством данного подхода является то, что большинство вспомогательных утилит для управления и мониторингомкластера, разработанных или адаптированных под особенности конкретной архитектуры вычислительного комплекса администраторами,становятся доступными пользователям. Благодаря этому в распоряжении пользователя имеется богатый инструментарий, облегчающий егоработу. Например, это могут быть утилиты пакетного запуска заданий.Так же администраторы кластера, часто используют следующий«трюк» – подменяют стандартные утилиты на свои собственные, т.о.их использование для конечного пользователя становится прозрачным.Например, если на кластере для написания параллельных программиспользуется библиотека MPI, то стандартная команда mpirun можетбыть заменена собственной версией, которая задачу не отправляет непосредственно на исполнение, а помещает в очередь задач.Недостатком такого подхода является не очень дружественнаясреда для пользователя.
Ему необходимо помнить названия команд, ихпараметры и т.п. Да и работа с командной строкой в эпоху графических приложений является непривычной.Можно разработать графическое приложение, которое будет выполняться на стороне клиента и обеспечит ему удобную среду работы,транслируя действия пользователя в команды запуска тех или иныхутилит на удаленном кластере. Наряду с очевидными плюсами в данном решении есть два недостатка. Первый – это проблемы с возможными брандмауэрами, установленными на стороне клиента, которыемогут существенно затруднить механизм создания удаленного соединения между графическим приложением и кластером. Второй – этонеобходимость установки дополнительного программного обеспеченияна стороне клиента.
Проблему могут создать следующие ситуации: упользователя установлена операционная система, для которой не суще160ствует реализации графической среды работы с кластером; пользователь часто работает с кластером с разных компьютеров, на которых невозможности каждый раз устанавливать нужное приложение.В качестве решения описанных проблем, при реализации системыудаленного доступа к вычислительному кластеру ННГУ, было приняторешение, что графическим клиентом на стороне пользователя будетстандартный Интернет браузер (Web-интерфейс), который существуетв любой операционной системе.Очевидно, что для тех, кто пользуется кластером регулярно, вероятнее всего удобней будет пользоваться интерфейсом командной строки, т.к.
это в большинстве случаев ускоряет процедуру подготовки задания и размещения его в очереди задач. А для тех пользователей, ктопользуется кластером нечасто – идеальным будет именно Web-доступ синтуитивно-понятным интерфейсом, т.к. для его использования нетнеобходимости изучать документацию и выяснять какие именно команды и с какими параметрами нужно запускать для выполнения техили иных действий.Для создания возможности разработки различных типов клиентовдля системы управления кластером, был выделен модуль, представляющий собой точку входа в систему (Диспетчер доступа). Данныймодуль осуществляет прием команд от пользовательской программы –клиента, их передачу соответствующим модулям системы и возвратклиенту результатов выполнения команд.
Это единственный модульсистемы, непосредственно взаимодействующий с пользователем, иэтот модуль может быть выполнен в виде Web-сервиса.Диспетчер доступа на основе Web-сервисаВ последнее время механизм Web-сервисов становится все болеепопулярным. Практически во всех языках программирования, дажетех, которые не ориентированы под Microsoft .NET Framework, имеются библиотеки, необходимы для разработки приложений, использующих функциональность Web-сервисов. Предоставляя в качестве внешнего открытого интерфейса функциональность Web-сервиса диспетчера доступа, открывается возможность разработки клиентов системыпод любые платформы не только разработчиками системы, но любомужелающему.
Кроме того, популяризация Web-сервисов ведет к новомуподъему интереса к GRID-технологиям.Так как диспетчер доступа является единственной точкой взаимодействия с пользователем (клиентским приложением), то создаетсявпечатление, что вся функциональность системы управления класте161ром заложена именно в нем. Но, как было отмечено выше, на самомделе часть команд просто передается другим модулям системы. Естественно, что подобная передача осуществляется только в том случае,если пользователь предварительно прошел аутентификацию.Основные функциональные возможности менеджера доступа следующие:• Аутентификация пользователей при работе с системой управления вычислительным кластером.
Каждый пользовать в начале работы должен ввести «Имя пользователя» и «пароль», известные толькоему, которые передаются методу аутентификации, который создаетсессию для взаимодействия с клиентом. После этого можно однозначно сопоставлять производимые действия на кластере с конкретнымпользователем.• Выделение независимого файлового пространства.
Каждомупользователю выделяется индивидуальное место для хранения файлов,необходимых для проведения вычислительных экспериментов. Приэтом накладываются определенные ограничения на хранимые файлы(максимальный суммарный размер хранимых файлов, максимальныйразмер каждого файла в отдельности), индивидуальные для каждогопользователя системы.• Система задач. После того как пользователь загрузил необходимые файлы для проведения вычислительных экспериментов, он создает именованные задачи, т.е.
задает необходимые параметры (имязадачи, исполняемый модуль, приоритет, имя файла с результатами,необходимое количество вычислительных мощностей, параметры командной строки для исполняемого модуля). Затем пользователь можетставить задачу в очередь на исполнения неоднократно, не утруждаясебя повторным заданием параметров. В случае необходимости владелец задачи может снять ее с исполнения или убрать из очереди.• Мониторинг. После того, как одна или более задач поставлены вочередь на исполнение, пользователь может посмотреть их состояние(выполняется, ожидает выполнения в очереди, выполнилась). Так доступна информация о загруженности вычислительного кластера в целом.• Протоколирование действий. Все производимые пользователемсистемы действия протоколируются. Анализируя протокол можно определить, какие системные ресурсы выделяются тому или иному пользователю.• Административный интерфейс.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
