Высокопроизводительные парал. вычисления на кластерных системах. Воеводин (2005) (1186026), страница 46
Текст из файла (страница 46)
Фактически эту структуру можно назвать кластером, но на самом деле есть много различий.Каждая машина вправе отказать в приеме задания, если она занятаили пользователь запретил в данное время выполнение задач. Вовторых высокопроизводительной сетевой инфраструктуры не требуется, ведь сеть используется для посылки задания и возвращения результата, а не для постоянного обмена информации. Для высокопаралельных алгоритмов технология grid может дать выигрыш в стоимости машинного часа по сравнению с суперкомпьютером до 2 раз. Да, производительность сегмента grid много меньше суперкомпьютера при малом распараллеливании.
Но для поточных алгоритмов производительность может быть увеличена почти до бесконечности, ограничиваясьтолько производительностью сервера и сети. Это определяет более высокую степень масштабируемости системы. Примером такой технологии может быть всероссийская сеть взлома паролей НТВ+. Более10 000 компьютеров включено в эту программу, большинство из них –домашние пользователи.
Они, работая в Интернете даже иногда, и незнают, что их компьютер используется для вычисления паролей НТВ+.Ни один суперкомпьютер не может похвастаться наличием 10 000 процессоров с автономной памятью. И, конечно же, взломом хеша пароляза 6 дней. Конечно, не все процессоры всегда доступны, но их количество определяет надежность такой сети. Если учесть, что сам серверявляется такой же сетью grid, то отказоустойчивость системы и ееготовность будет просто потрясающей.Но есть и существенные недостатки GRID структур.
Время ответаотдельной машины может меняться в широких пределах, она можетбез уведомления покинуть сеть, выгрузить задание и т.д. Также при228просчете больших автономных пакетов заданий сеть будет очень нагружена при передаче и приеме заданий. Например, если распределенокодировать фильм. Сеть из 20 компьютеров, по идее, должна перекодировать фильм в 20 раз быстрее, чем 1 компьютер минус транспортные расходы. Но, так как объем задания велик, то при сети 100 мбит на20 компьютеров задание будет уходить со скоростью 5 мбит на компьютер, то есть при размере файла 4,7 ГБ это теоретически 8 минут.
Возвращение задания тоже потребует около 2 минут. Зато процесс кодирования займет всего 5 минут против 100 на 1 компьютере. То есть наэтом задании выгода достигает 600 процентов. И это при том, что ненадо ни настраивать ОС, ни устанавливать ПО, достаточно в автозагрузке прописать 1 файл, запускающий по сети клиента. Для сетей организаций, где занимаются в основном учебной или канцелярской деятельностью это реальная экономия денег на серверах вычислений.Особенно, если это какой либо проект по обработке экспериментальных данных. Обычно такие задачи очень ресурсоемки, однако, специальные алгоритмы позволяют итерационно разбивать на блоки и распараллеливать вычисления.Но есть один критический момент в высоконагруженных gridсетях (при больших объемах передаваемой информации).
Если каналыданных имеют малую скорость но и приемлемое время ответа, нецелесообразно использовать TCP/IP протоколы, которые до 30 процентовтрафика используют на служебные цели. Тут можно использовать магистральную технологию АТМ, которая, ко всему прочему позволяетболее экономно расходовать широковещательный трафик. Но, есликорпоративные пользователи могут позволить себе АТМ (просто установив требуемые драйверы АТМ over Ethernet) и использовать , например, голосовой шлюз, то домашние пользователи не имеют поддержку АТМ со стороны провайдера.
Тут приходят на помощь поточные технологии вещания. Можно последовательно вещать в сеть задание, части которого помечены маркером и иметь отдельный потокмаркеров, показывающий текущую часть. Каждый компьютер имеетсвой маркер и ждет только свою часть, не принимая все остальное.Маркеры он принимает все. Такая технология используется при спутниковой связи.Другой способ повышения эффективности - это локализация трафика заданий в одной рабочей группе. Один из клиентов становится«прокси-сервером» для заданий, то есть сохраняет несколько пакетовдля разных компьютеров, являясь при этом также активным клиентом.229При такой организации трафик локализуется в рабочих группах намного больше времени, чем на магистрали, что влечет более полное использование локальной сети и разгрузку магистрали.Единая операционная среда, созданная на базе сети Grid, можетбыть использована для большого круга вычислительных, и не только,задач.
Структурные преобразования, использование других протоколов, высокая степень параллельности алгоритмов может повысить (илипонизить) эффективность системы до 50 процентов. Сложность первоначальной настройки и интеграции средств разработки с grid системами, невозможность запуска традиционных приложений в этой системеделают пока ее не такой распространенной, как кластеры, но использования кроссплатформенных виртуальных машин (технологии PVM)позволяют решать эти проблемы. Пока еще нет широко известных пакетов для полной интеграции всех этих средств со средами разработкитипа Delphi или C++. Однако, простота работы с клиентами и масштабируемость таких систем не могут не подкупать перспективами.К сожалению, очень сложно написать программу, эффективно работающую на 100 или более процессорах.
Для проектирования алгоритмов можно применять UML средства для параллельного программирования, но генерация кода тоже будет нелегка. Библиотеки параллельного программирования эффективно не справляются даже с 50процессами, языки параллельного программирования базирующиеся наС++, тоже требуют особых навыков параллельного программирования.Только последние реализации Fortran, незаслуженно не используемогов России в последние годы, могут похвастаться более простой и понятной реализацией языка для параллельных вычислений. Fortran успешнозагружал все 50 тестовых компьютеров при обработке экспериментальных данных объемом 10 Гб со сложными математическими вычислениями рядов Фурье и Колмогорова.
В тестовом стенде использовались 2 рабочие группы, 50 компьютеров Celeron 1.7, 256 ОЗУ с ОСWindows 2000 professional, сеть 100 Мбит, 1 главный сервер. Для поддержки сети GRID использовалось обеспечение Condor 6.6.10. Общеевремя распределения заданий с лимитом размера 100 мб на компьютерза 1 раз было равно 21 минуту, при этом первые результаты началипоступать уже через 1 минуту.
И начали формироваться следующиезадания по обработке уже полученных результатов. В результате весьтест был закончен за 31 минуту при средней загрузке процессора 60-80процентов и памяти 30-40 мбайт. На выделенном сервере 2xXeon 2.6,8 Гб ОЗУ обработка происходила 82 минуты при загрузке процессоров230100% и памяти 6 Гб. Выигрыш составил более 2 раз. И это при том, чтокомпьютеры не изымались из учебного процесса и мало кто заметилнагрузку.На рис. 1 показан график производительности сети GRID, на рисунке 2 – критическая точка, когда транспортные расходы превышаютвыигрыш в производительности. Однако, при большом превышениивремени транспортирования над временем работы выигрыш производительности сводится на нет уже к 12-ому компьютеру (рис. 2).
Приповышении трудоемкости задания в 100 раз нужно уже в 2 раза большекомпьютеров, а для гарантированного взлома пароля (на 1 компьютереоколо 140000 лет) за неделю нужно более 1 000 000 компьютеров. Иэто при минимальной сетевой загрузке. Такие суперсистемы уже существуют, например проект НАСА для расшифровки звездного шума,взлом НТВ+ и т.д.Производительность сети GRIDВремя выполнения450040003500300025002000150010005000-500Задержка передачиобщее время4943373125197131ПриростпроизводительностиКол-во компьютеровРис. 1.
График производительности сети GRID при 100 мбит сетиОбщее время143514301425142014151410140523 25 27 29 31 33 35 37 39 41 43 45 47Рис. 2. Критическая точка231МОДЕЛИРОВАНИЕ СТОЛКНОВЕНИЙ АВТОМОБИЛЕЙ НАМНОГОПРОЦЕССОРНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХС.К. Черников, А.Н. Ашихмин, А.М.ФайзуллинКазанский физико-технический институтВведениеПроектирование кузова автомобиля, удовлетворяющего в полноймере современным требованиям обеспечения пассивной безопасности– сложная инженерная задача. Решение этой задачи только экспериментальной доводкой конструкции практически невозможно из-за высокой стоимости и отсутствия в нужном количестве натурных образцов, особенно на ранних стадиях проектирования, а также из-за большого количества параметров, влияющих на результаты. При этом натурный эксперимент часто может дать лишь конечные характеристикиразрушения конструкции при отсутствии информации о характере протекания процессов деформирования.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
