Высокопроизводительные парал. вычисления на кластерных системах. Воеводин (2005) (1186026), страница 2
Текст из файла (страница 2)
Системное программное обеспечение кластераВажной частью вычислительного кластера является его системного программное обеспечение, от выбора которого, правильной установки и конфигурации зависят не только его технические характеристики (производительность, эффективность масштабируемость), но итакие потребительские качества как удобство эксплуатации, надежность, безопасность. Известно, что не существует специализированныхоперационных систем для кластеров.
Узлы кластерной вычислительной системы работают под управлением собственной независимой локальной копии операционной системы, в качестве которой, как правило, используется тот или иной дистрибутив ОС Linux. С учетом этихособенностей, для решения задачи по обеспечению возможности пользователей работать с кластером как с единой вычислительной системойколлективного пользования в настоящее время предлагается использовать специализированные системы управления кластерами. Такие системы работают совместно с базовой, установленной на узлы операционной системой и предлагают средства по инсталляции кластера, централизованного управления и мониторинга кластером, по обеспечениюуправления потоком заданий пользователей, выделению ресурсов кластера для их решения и т.д.В своих работах связанных с построением высокопроизводительных кластеров мы используем системное программное обеспечение,построенное на базе операционной системы Linux RedHat и системыуправления кластерами OSCAR[2].
В состав OSCAR входят средствапозволяющие решать следующие задачи:1. Инсталляция и модернизация кластера. Поддержание целостности системного окруженияСистемное окружение (ОС и средства обеспечивающие работу7кластера), вычислительных узлов кластера устанавливается с использованием средств, входящих состав OSCAR. Особенностью используемых пакетов является то, что инсталляция операционного окруженияосуществляется с единого, заранее настроенного по производительности и надежности работы образа ОС. Это позволяет:• обеспечить максимально возможную однородность системногоокружения вычислительных узлов;• проводить модернизацию кластера, обеспечивая принцип однородности системного окружения;• обеспечить максимально быстрое восстановление системногоокружения вычислительных узлов в случаях сбоев.2.
Централизованное управление и администрированиеOSCAR предлагает средства, которые позволяют управлять кластером и производить его администрирование из единого центра –управляющего узла. Это обеспечивает централизованное:• выполнение коллективных операций;• управление параллельным окружением;• управление бюджетами пользователей.3. Коллективный доступ к ресурсам кластераКоллективный доступ к ресурсам кластера в OSCAR обеспечивается использованием системы пакетной обработки заданий OpenPBS ипланировщик заданий MAUI, особенностями которых являются:• поддержка системы очередей заданий;• возможность разделять общее вычислительное поле кластера налогические подмножества;• возможности реализации гибких политик по выделению ресурсов в зависимости от требований задачи к ресурсам, загрузкикластера, времени суток, дня недели и т.д.;• существующая система приоритетов позволяет реализовать различные сценарии доступа к ресурсам кластера для разных групппользователей;• наличие backfill алгоритмов обеспечивающих максимально равномерную загрузку ресурсов кластера.4.
Мониторинг кластераСистема управления кластером OSCAR предоставляет средствамониторинга уровня операционной системы и уровня системы пакетной обработки заданий. Первое обеспечивается системой Ganglia ипозволяет получать информацию о загрузке процессоров вычислительных узлов, памяти, сетевых интерфейсов использовании локальных8дисков и т.д. В качестве средств мониторинга кластера уровня системыпакетной обработки в OSCAR предлагается система CLUMON котораяработает совместно с OpenPBS и позволяет получать информацию озанятости ресурсов кластера, состоянии очередей заданий, прохождении заданий пользователей, и т.д. Обе системы имеют Web интерфейс.Как член ассоциации Gelato [3] ИСП РАН ведет работу по интеграции собственных программных продуктов в систему управленияOSCAR.
В дополнение к стандартным, входящим в OSCAR пакетам накластеры устанавливаются разработанные в ИСП РАН средства:• активного мониторинга аппаратуры кластера;• обеспечения доступа к ресурсам кластера через Web.Система активного мониторинга аппаратной части кластера позволяет определять параметры аппаратуры кластера влияющие на его работоспособность: температуры процессоров, материнской платы, винчестеров и др., частоту вращения вентиляторов процессоров, корпуса,и др., наиболее критичные рабочие напряжения: напряжение ядра процессора, и пр. Администратор кластера имеет возможность выбратьинтересующие его параметры аппаратуры кластера, выбрать узел илиузлы кластера и передав запрос получить таблицу в которой отражаются режимы работы узлов кластера.
При этом зеленый фон в таблицеозначает то, что параметр находится в допустимых пределах, красныйцвет фона сигнализирует об аварийной ситуации, желтый говорит отом, что информация, о данном параметре не доступна.В настоящее время, для того чтобы получить ресурсы кластерапользователь должен иметь непосредственный доступ к управляющемуузлу кластера через один из протоколов удаленного доступа, напримерssh.
При этом взаимодействие с кластером происходит через терминальный вызов процедур командного интерпретатора и системы пакетной обработки заданий. Это не всегда удобно и безопасно. Для повышения удобства и безопасности эксплуатации кластера, необходимообеспечить более высокий уровень абстракции взаимодействия пользователя и системы управления кластером.Clusterweb – система разработана в ИСП РАН и обеспечивает доступ к ресурсам кластера в нотациях функционирующей системы пакетной обработки заданий, при этом внутренняя архитектура кластерадля пользователя остается «черным ящиком» [4].
Поскольку системаимеет Web интерфейс, нет необходимости, заботится об организациитерминального доступа на управляющую машину кластера по тем илииным протоколам, решать административные вопросы, связанные с9возможностью их использования, достаточно иметь Web-броузер. Clusterweb позволяет: создавать сценарии выполнения задания пользователя, выбирать требуемое параллельное окружение, обеспечить отправкуи постановку в очередь на выполнение заданий пользователя, транспортировку стандартных потоков вывода на рабочую станцию пользователя.
Clusterweb реализован на основе Java и XML с использованиемсервера Tomcat. ClusterWeb может использоваться с различными системами управления кластерами, которые имеют интерфейс команднойстроки или API.4. Высокопроизводительные кластеры, построенные ИСП РАНИСП РАН совместно с компанией C.I.Technology были разработаны и построены несколько высокопроизводительных кластерных систем малой и средней мощности [5].
Построение кластеров включает всебя полный цикл работ связанных с проектированием, наладкой аппаратной части, установкой и настройкой системного программногообеспечения, тестирования, документирования, введения в эксплуатацию, обучения персонала, обеспечения дальнейшей поддержки функционирования и развития систем.Первый кластер был установлен и введен в ИСП РАН в марте 2002г. Система построена на базе процессоров AMD Athlon 1800+ с использованием в качестве вычислительной сети Myrinet 2000. Кластер имеет8 двухпроцессорных вычислительных узлов (всего 16 процессоров), 8GB оперативной памяти, 72 GB дисковой памяти на управляющем узлеи 160 GB на локальных дисках вычислительных узлов.
Пиковая производительность (Rpic) кластера составляет 48 Gflops, максимальнаяпроизводительность по HPL(Rmax) составляет 29.5 Gflops и эффективность (Rmax/Rpic) 61,4%. Доступ к ресурсам кластера через ClusterWebоткрыт по адресу: http://omega-new.ispras.ru:8080/clusterweb/, к системемониторинга http://omega-new.ispras.ru/clumon/, к системе мониторингааппаратуры: http://omega-new.ispras.ru/cgi-bin/hmon.cgi.В июне 2003 построен и введен в эксплуатацию кластер Вычислительного центра им.
А.А. Дородницына РАН. Кластер построен на базепроцессоров Intel Xeon 2.6 с использованием в качестве вычислительной сети Myrinet 2000. Кластер состоит из 8 двухпроцессорных вычислительных узлов (всего 16 процессоров), 32 GB оперативной памяти,144 GB дисковой памяти на управляющем узле и 288 GB дисковой памяти на локальных накопителях вычислительных узлов. Пиковая производительность (Rpic) кластера составляет 83.2 Gflops, максимальнаяпроизводительность по HPL (Rmax) составляет 59.27 Gflops и эффек10тивность (Rmax/Rpic) 71,2%.В 2003 году был выигран государственный тендер и построен кластер для Кубанского Университета.
Система построена на базе процессоров AMD Athlon 2400+ с использованием в качестве вычислительнойсети Myrinet 2000. Кластер состоит из 8 двухпроцессорных вычислительных узлов (всего 16 процессоров), 16 GB оперативной памяти, 40GB дисковой памяти на управляющем узле и 320 GB на локальныхдисках вычислительных узлов.
Пиковая производительность (Rpic)кластера составляет 64 Gflops, максимальная производительность поHPL(Rmax) составляет 35,54 Gflops и эффективность (Rmax/Rpic) 55%.В марте 2004 года был выигран международный конкурс на получение гаранта МНТЦ (Международный научно-технический центр) напостроение кластера для Национальной академии наук Армении. В мае2004 года кластер построен и введен в эксплуатацию. Кластер установлен в Институте информатики и проблем автоматизации НациональнойАкадемии Наук Армении. Система построена на базе процессоров IntelXeon 3.06 с использованием в качестве вычислительной сети Myrinet2000.
Вычислительные узлы построены на базе серверной материнскойплаты SW7501CW2, важной особенностью которой является наличиевысокоскоростной шины PCI–X (64-bit/133MHz), обеспечивающей эффективное согласование производительности узлов с вычислительнойсетью Myrinet 2000, а также наличие интегрированного интерфейсаGigabit Ethernet. Вычислительные узлы собраны в конструкционныхмодулях размерностью 2U. При построении вычислительных узловкластера было применено оригинальное техническое решение, позволяющее исключить использование «райзеров», что значительно повысило надежность.
Кластер состоит из 64 двухпроцессорных вычислительных узлов (всего 128 процессоров), 64 GB оперативной памяти,240 GB дисковой памяти на управляющем узле и 2.56 TB на локальныхдисках вычислительных узлов. Пиковая производительность (Rpic)кластера составляет 783,36 Gflops, максимальная производительностьпо HPL(Rmax) составляет 483,6 Gflops и эффективность (Rmax/Rpic)61,7%. В ближайшее время планируется расширить оперативную память кластера, что позволит достичь эффективности 70%.В настоящее время ведутся работы по построению высокопроизводительного вычислительного Myrinet кластера для Тамбовского Государственного Университета, который планируется ввести в эксплуатацию до конца текущего года.11Литература1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
