Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 6)

Grid (метакомпьютинг) - растущая инфраструктура, которая в скором будущем видимо фундаментально изменит наше представление о вычислительных сетях и их возможностях. Grid призвана объединить множество региональных и национальных сетей, создав, таким образом, универсальный источник вычислительных ресурсов, доступных широкому кругу пользователей. Авторами идеи являются сотрудник Аргонской Национальной Лаборатории Университета города Чикаго Ян Фостер (Ian Foster) и сотрудник Института Информатики Университета Южной Калифорнии Карл Кессельман (Carl Kesselman). Слово grid (сетка) для названия новой технологии было выбрано по аналогии с термином "электрическая сеть", которая в свое время предоставила всепроникающий доступ к источникам электроэнергии, и, подобно компьютерной технике, оказала огромное воздействие на человеческое общество. Создатели grid предположили, что, обеспечение надежного и недорогого доступа к вычислительным сетям инициирует похожий преобразовательный эффект и стимулирует появление новых классов сетевых компьютерных приложений.

Использование компьютеров для решения актуальных задач давно уже стало естественной средой человеческого существования. Современные вычислительные системы применяются для моделирования сложнейших научных и технических проблем, медицинской диагностики, управления промышленным оборудованием, прогнозирования погоды и многого другого. Тем не менее, интенсивность и эффективность использования компьютерной техники до сих пор мала. Ограниченность использования вычислительных ресурсов объясняется множеством причин, включая нехватку соответствующего образования у пользователей и средств на приобретение достаточно мощной компьютерной техники. Поэтому, практически с момента возникновения компьютеров ставился вопрос об объединении большого количества вычислительных ресурсов. Реальная возможность для такого объединения появилась только в последнее время. Её появление обусловило: развитие компьютерных архитектур и непрерывный рост производительности, улучшение пропускной способности коммуникационных сред, а также новые технологии разработки программ. Что важно, метакомпьютер может не иметь постоянной конфигурации - отдельные компоненты могут включаться в его конфигурацию или отключаться от нее; при этом технологии метакомпьютинга обеспечивают непрерывное функционирование системы в целом. Современные исследовательские проекты в этой области направлены на обеспечение прозрачного доступа пользователей через Интернет к необходимым распределенным вычислительным ресурсам, а также прозрачного подключения простаивающих вычислительных систем к метакомпьютерам.

Очевидно, что наилучшим образом для решения на метакомпьютерах подходят задачи переборного и поискового типа, где вычислительные узлы практически не взаимодействуют друг с другом и основную часть работы производят в автономном режиме: задача исследования генома, дешифрация, обработка результатов физических испытаний, проект CETI. Основная схема работы в этом случае примерно такая: специальный агент, расположенный на вычислительном узле (компьютере пользователя), определяет факт простоя этого компьютера, соединяется с управляющим узлом метакомпьютера и получает от него очередную порцию работы (область в пространстве перебора). По окончании счета по данной порции вычислительный узел передает обратно отчет о фактически проделанном переборе или сигнал о достижении цели поиска.

Далее на данной странице будут вкратце описаны и приведены ссылки на основные исследовательские проекты в области мета-компьютинга, разработанные программные технологии, конкретные примеры мета-компьютеров. Нет централизованного управление, основные архитектуры – Legion (объектно-ориентир), Globus (в терминах предоставления сервисов).

1. Кластерные архитектуры.

Вычислительные кластеры (cluster) – группа ЭВМ (серверов), связанная между собой системной сетью и функционирующая с точки зрения пользователя как единый вычислительный узел. Локальные сети отличаются от кластеров тем, что узлы локальной сети используются индивидуально, в соответствии со своим назначением. В свою очередь кластеры разделяются на Высокоскоростные (High Performance, HP) и Системы Высокой Готовности (High Availability, HA), кластеры с балансировкой нагрузки (Load balancing clusters), а также Смешанные Системы. Высокоскоростные системы предназначены для задач, которые требуют больших вычислительных мощностей: обработка изображений, научные исследования, математическое моделирование и т. д.

Кластеры высокой готовности используются в банковских операциях, электронной коммерции и т д.

Другой источник:

Архитектура Набор рабочих станций (или даже ПК) общего назначения, используется в качестве дешевого варианта массивно-параллельного компьютера. Для связи узлов используется одна из стандартных сетевых технологий (Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора. При объединении в кластер компьютеров разной мощности или разной архитектуры, говорят о гетерогенных (неоднородных) кластерах.

Узлы кластера могут одновременно использоваться в качестве пользовательских рабочих станций. В случае, когда это не нужно, узлы могут быть существенно облегчены и/или установлены в стойку.

Примеры NT-кластер в NCSA, Beowulf-кластеры.

Операционная система Используются стандартные для рабочих станций ОС, чаще всего, свободно распространяемые - Linux/FreeBSD, вместе со специальными средствами поддержки параллельного программирования и распределения нагрузки.

Модель программирования Программирование, как правило, в рамках модели передачи сообщений (чаще всего - MPI). Дешевизна подобных систем оборачивается большими накладными расходами на взаимодействие параллельных процессов между собой, что сильно сужает потенциальный класс решаемых задач.

1. Симметричные мультипроцессорные системы.

Системы данного класса: SMP (Scalable Parallel Processor) состоят из нескольких однородных процессоров и массива общей памяти (разделяемой памяти – shared memory): любой процессор может обращаться к любому элементу памяти. По этой схеме построены 2,4 процессорные SMP сервера на базе процессоров Intel, НР и т. д., причем процессоры подключены к памяти с помощью общей шины. Системы с большим числом процессоров (но не более 32) подключаются к общей памяти, разделенной на блоки, через не блокирующийся полный коммутатор: crossbar. Любой процессор системы получает данное по произвольному адресу памяти за одинаковое время, такая структура памяти называется: UMA - Uniform Memory Access (Architecture). Пример:НР-9000. Дальнейшее масштабирование (увеличение числа процессоров системы) SMP систем обеспечивается переходом к архитектуре памяти: NUMA - Nоn Uniform Memory Access. По схеме, называемой, этой иногда, кластеризацией SMP, соответствующие блоки памяти двух (или более) серверов соединяются кольцевой связью, обычно по GCI интерфейсу. При запросе данного, расположенного вне локального с сервере диапазона адресов, это данное по кольцевой связи переписывается дублируется в соответствующий блок локальной памяти, ту часть его, которая специально отводится для буферизации глобальных данных и из этого буфера поставляется потребителю. Эта буферизация прозрачна (невидима) пользователю, для которого вся память кластера имеет сквозную нумерацию, и время выборки данных, не локальных в сервере, будет равно времени выборки локальных данных при повторных обращениях к глобальному данному, когда оно уже переписано в буфер. Данный аппарат буферизации есть типичная схема кэш памяти. Так как к данным возможно обращение из любого процессора кластера, то буферизация, размножение данных требует обеспечение их когерентности. Когерентность данных состоит в том, что при изменении данного все его потребители должны получать это значение. Проблема когерентности усложняется дублированием данных еще и в процессорных кэшах системы. Системы, в которых обеспечена когерентность данных, буферизуемых в кэшах, называются кэш когерентными (cc-cache coherent), а архитектура памяти описываемого кластера: cc- NUMA (cache coherent Nоn Uniform Memory Access). Классической архитектурой принято считать систему SPP1000.

Другой источник:

Архитектура Система состоит из нескольких однородных процессоров и массива общей памяти (обычно из нескольких независимых блоков). Все процессоры имеют доступ к любой точке памяти с одинаковой скоростью. Процессоры подключены к памяти либо с помощью общей шины (базовые 2-4 процессорные SMP-сервера), либо с помощью crossbar-коммутатора (HP 9000). Аппаратно поддерживается когерентность кэшей.

Примеры HP 9000 V-class, N-class; SMP-cервера и рабочие станции на базе процессоров Intel (IBM, HP, Compaq, Dell, ALR, Unisys, DG, Fujitsu и др.).

Масштабируемость Наличие общей памяти сильно упрощает взаимодействие процессоров между собой, однако накладывает сильные ограничения на их число - не более 32 в реальных системах. Для построения масштабируемых систем на базе SMP используются кластерные или NUMA-архитектуры.

Операционная система Вся система работает под управлением единой ОС (обычно UNIX-подобной, но для Intel-платформ поддерживается Windows NT). ОС автоматически (в процессе работы) распределяет процессы/нити по процессорам (scheduling), но иногда возможна и явная привязка.

Модель программирования Программирование в модели общей памяти. (POSIX threads, OpenMP). Для SMP-систем существуют сравнительно эффективные средства автоматического распараллеливания.

1. Матричные мультипроцессорные системы.

Архитектура Система состоит из однородных вычислительных узлов (объединенных в матрицы или гиперкубы), включающих:

• один или несколько центральных процессоров (обычно RISC),

• локальную память (прямой доступ к памяти других узлов невозможен),

• коммуникационный процессор или сетевой адаптер

• иногда - жесткие диски (как в SP) и/или другие устройства В/В

К системе могут быть добавлены специальные узлы ввода-вывода и управляющие узлы. Узлы связаны через некоторую коммуникационную среду (высокоскоростная сеть, коммутатор и т.п.)

Примеры IBM RS/6000 SP2, Intel PARAGON/ASCI Red, CRAY T3E, Hitachi SR8000, транспьютерные системы Parsytec.

Масштабируемость Общее число процессоров в реальных системах достигает нескольких тысяч (ASCI Red, Blue Mountain).

Операционная система Существуют два основных варианта:

• Полноценная ОС работает только на управляющей машине (front-end), на каждом узле работает сильно урезанный вариант ОС, обеспечивающие только работу расположенной в нем ветви параллельного приложения. Пример: Cray T3E.

• На каждом узле работает полноценная UNIX-подобная ОС (вариант, близкий к кластерному подходу, однако скорость выше, чем в кластере). Пример: IBM RS/6000 SP + ОС AIX, устанавливаемая отдельно на каждом узле.

Модель программирования Программирование в рамках модели передачи сообщений (MPI, PVM, BSPlib)

1. Классификации вычислителей по Флинну.

Исходная схема: АЛУ + УУ <кд.....кд......кд> ОЗУ

Данная классификация иллюстрируется схемами повышения производительности классического процессора путем увеличения количества функциональных устройств.

Увеличив число АЛУ, получим схему:

АЛУ + УУ <кд.....кд......кд> ОЗУ

АЛУ <д.....д......д> ОЗУ

По такой схеме создавалась система Эллиак 4 (отечественный аналог - ПС-2000), суперскалярные микропроцессоры.

Увеличив число УУ , то получим следующую схему:

АЛУ + УУ <кд.....кд......кд> ОЗУ

УУ <к.....к......к> ОЗУ

Некоторые исследователи отказывают данной схеме в праве на существование, другие, в качестве примера данной схемы приводят конвейерные АЛУ. (Например, сложение вещественных чисел можно реализовать последовательностью команд: выровнять мантиссы, сложить мантиссы, провести нормализацию результата.)

Наконец, можно просто умножать исходную схему:

АЛУ + УУ <кд.....кд......кд> ОЗУ

АЛУ + УУ <кд.....кд......кд> ОЗУ

По такой схеме реализуются все современные суперЭВМ

Кроме функционального различия, схемы отличаются характером нагрузки на ОЗУ- плотностью потоков команд и данных. По Флинну эта особенность и является главной чертой и она характеризует архитектуры ЭВМ по структуре используемых потоков (Stream) команд (Instruction) и данных (Data), каждый из которых может быть одиночным и множественным. Множественный поток определяется как возможность одновременной обработки сразу нескольких элементов соответствующего потока. Комбинация признаков дает четыре вида архитектур.

ОКОД одиночный поток команд, одиночный поток данных,

ОКМД одиночный поток команд, множественный поток данных,

МКОД множественный поток команд, одиночный поток данных,

МКМД множественный поток команд, множественный поток данных

1. Масштабируемость мультипроцессорных вычислителей.

См. Вопросы 28-30.

• Если память не общая, то масштабируемость очень высокая. Для MPP- общее число процессоров в реальных системах достигает нескольких тысяч (ASCI Red, Blue Mountain). Для кластеров и тем более гетерогенных вычислительных систем и тем более для GRID-систем масштабируемость очень высокая.

• Для систем с общем памятью все сложнее: если UMA, то масштабируемость низкая (не более 32 процессоров), если же сделать NUMA, то масштабируемость также становится высокой, однако ниже, чем в системах с локальной памятью, так как сложность организации когерентности (cc-NUMA) данных возрастает.

1. Управление памятью в мультипроцессорных системах.

UMA, NUMA, cc-NUMA. Подробнее см. Вопрос 28.

1. Когерентность данных.

Когерентность данных состоит в том, что при изменении данного все его потребители должны получать это значение. Проблема когерентности усложняется дублированием данных еще и в процессорных кэшах системы. Системы, в которых обеспечена когерентность данных, буферизуемых в кэшах, называются кэш когерентными (cc-cache coherent), а архитектура памяти описываемого кластера: cc- NUMA (cache coherent Nоn Uniform Memory Access). Классической архитектурой принято считать систему SPP1000. Подробнее см. Вопрос 28

Другой источник:

Характеристики

Список файлов лекций