СКИПОДы 2007 полная версия (1127795), страница 21
Текст из файла (страница 21)
Во втором варианте на каждоммодуле работает полноценная UNIX-подобная ОС, устанавливаемая отдельно.Рис. 3.2. Схематический вид архитектуры с раздельной памятьюГлавным преимуществом систем с раздельной памятью является хорошаямасштабируемость: в отличие от SMP-систем, в машинах с раздельной памятью каждыйпроцессор имеет доступ только к своей локальной памяти, в связи с чем не возникаетнеобходимости в потактовой синхронизации процессоров. Практически все рекорды попроизводительности на сегодня устанавливаются на машинах именно такой архитектуры,состоящих из нескольких тысяч процессоров (ASCI Red, ASCI Blue Pacific).Недостатки:отсутствие общей памяти заметно снижает скорость межпроцессорного обмена, посколькунет общей среды для хранения данных, предназначенных для обмена между процессорами.Требуется специальная техника программирования для реализации обмена сообщениямимежду процессорами;66каждый процессор может использовать только ограниченный объем локального банкапамяти;вследствие указанных архитектурных недостатков требуются значительные усилия длятого, чтобы максимально использовать системные ресурсы.
Именно этим определяетсявысокая цена программного обеспечения для массивно-параллельных систем с раздельнойпамятью.Системами с раздельной памятью являются суперкомпьютеры МВС-1000, IBM RS/6000 SP,SGI/CRAY T3E, системы ASCI, Hitachi SR8000, системы Parsytec.Машины последней серии CRAY T3E от SGI, основанные на базе процессоров Dec Alpha21164 с пиковой производительностью 1200 Мфлопс/с (CRAY T3E-1200), способнымасштабироваться до 2048 процессоров.При работе с MPP-системами используют так называемую Massive Passing ProgrammingParadigm – парадигму программирования с передачей данных (MPI, PVM, BSPlib).Гибридная архитектура NUMA.
Главная особенность гибридной архитектуры NUMA(nonuniform memory access) – неоднородный доступ к памяти.Гибридная архитектура совмещает достоинства систем с общей памятью и относительнуюдешевизну систем с раздельной памятью. Суть этой архитектуры – в особой организациипамяти, а именно: память физически распределена по различным частям системы, нологически она является общей, так что пользователь видит единое адресное пространство.Система построена из однородных базовых модулей (плат), состоящих из небольшого числапроцессоров и блока памяти. Модули объединены с помощью высокоскоростногокоммутатора. Поддерживается единое адресное пространство, аппаратно поддерживаетсядоступ к удаленной памяти, т.е.
к памяти других модулей. При этом доступ к локальнойпамяти осуществляется в несколько раз быстрее, чем к удаленной. По существу,архитектура NUMA является MPP (массивно-параллельной) архитектурой, где в качествеотдельных вычислительных элементов берутся SMP (cимметричная многопроцессорнаяархитектура) узлы. Доступ к памяти и обмен данными внутри одного SMP-узлаосуществляется через локальную память узла и происходит очень быстро, а к процессорамдругого SMP-узла тоже есть доступ, но более медленный и через более сложную системуадресации.Структурная схема компьютера с гибридной сетью: четыре процессора связываются междусобой при помощи кроссбара в рамках одного SMP-узла. Узлы связаны сетью типа"бабочка" (Butterfly):Рис.
3.3. Структурная схема компьютера с гибридной сетью67Впервые идею гибридной архитектуры предложил Стив Воллох, он воплотил ее в системахсерии Exemplar. Вариант Воллоха – система, состоящая из восьми SMP-узлов. Фирма HPкупила идею и реализовала на суперкомпьютерах серии SPP. Идею подхватил Сеймур Крей(Seymour R.Cray) и добавил новый элемент – когерентный кэш, создав так называемуюархитектуру cc-NUMA (Cache Coherent Non-Uniform Memory Access), котораярасшифровывается как "неоднородный доступ к памяти с обеспечением когерентностикэшей". Он ее реализовал на системах типа Origin.Организация когерентности многоуровневой иерархической памятиПонятие когерентности кэшей описывает тот факт, что все центральные процессорыполучают одинаковые значения одних и тех же переменных в любой момент времени.Действительно, поскольку кэш-память принадлежит отдельному компьютеру, а не всеймногопроцессорной системе в целом, данные, попадающие в кэш одного компьютера, могутбыть недоступны другому.
Чтобы этого избежать, следует провести синхронизациюинформации, хранящейся в кэш-памяти процессоров.Для обеспечения когерентности кэшей существует несколько возможностей:использовать механизм отслеживания шинных запросов (snoopy bus protocol), в которомкэши отслеживают переменные, передаваемые к любому из центральных процессоров и принеобходимости модифицируют собственные копии таких переменных;выделять специальную часть памяти, отвечающую за отслеживание достоверности всехиспользуемых копий переменных.Наиболее известными системами архитектуры cc-NUMA являются: HP 9000 V-class в SCAконфигурациях, SGI Origin3000, Sun HPC 15000, IBM/Sequent NUMA-Q 2000.
На сегоднямаксимальное число процессоров в cc-NUMA-системах может превышать 1000 (серияOrigin3000). Обычно вся система работает под управлением единой ОС, как в SMP.Возможны также варианты динамического "подразделения" системы, когда отдельные"разделы" системы работают под управлением разных ОС. При работе с NUMA-системами,так же, как с SMP, используют так называемую парадигму программирования с общейпамятью (shared memory paradigm).Гетерогенные распределенные вычислительные системы.Наибольшее число существующих в настоящее время распределенных систем построено посхеме гетерогенных мультикомпьютерных.
Это означает, что компьютеры, являющиесячастями этой системы, могут быть крайне разнообразны, например, по типу процессора,размеру памяти и производительности каналов ввода-вывода. На практике роль некоторыхиз этих компьютеров могут исполнять высокопроизводительные параллельные системы,например мультипроцессорные или гомогенные мультикомпьютерные.Соединяющая их сеть также может быть сильно неоднородной.
Так, например, авторы этойкниги помогали разрабатывать самодельную распределенную компьютерную систему,названную DAS, состоящую из четырех кластеров мультикомпьютерных систем,соединенных высокопроизводительными ATM-коммутируемыми каналами. Фотографииэтой системы и ссылки на исследования, проводимые на ней, можно найти по адресуhttp://Www.cs.vu.nll-balldas.html. Кластеры также были связаны между собой черезстандартные Интернет-соединения. Каждый кластер содержал одинаковые процессоры(Pentium III) и соединяющую их сеть (Myrinet), но различался по числу процессоров (64–128).68Другим примером гетерогенности является создание крупных мультикомпьютерных системс использованием существующих сетей и каналов.
Так, например, не является чем-тонеобычным существование кампусных университетских распределенных систем,состоящих из локальных сетей различных факультетов, соединенных между собойвысокоскоростными каналами. В глобальных системах различные станции могут, в своюочередь, соединяться общедоступными сетями, например сетевыми службами,предлагаемыми коммерческими операторами связи, например SMDS или Frame relay.В отличие от систем, обсуждавшихся в предыдущих пунктах, многие крупномасштабныегетерогенные мультикомпьютерные системы нуждаются в глобальном подходе. Этоозначает, что приложение не может предполагать, что ему постоянно будет доступнаопределенная производительность или определенные службы. Так, в проекте I-way [147]несколько высокопроизводительных компьютерных центров были связаны через Интернет.Согласно общей модели системы предполагалось, что приложения будут резервировать ииспользовать ресурсы любого из центров, но полностью скрыть от приложений разницумежду центрами оказалось невозможно.Переходя к вопросам масштабирования, присущим гетерогенным системам, и учитываянеобходимость глобального подхода, присущую большинству из них, заметим, чтосоздание приложений для гетерогенных мультикомпьютерных систем требуетспециализированного программного обеспечения.
С этой проблемой распределенныесистемы справляются. Чтобы у разработчиков приложений не возникало необходимостиволноваться об используемом аппаратном обеспечении, распределенные системыпредоставляют программную оболочку, которая защищает приложения от того, чтопроисходит на аппаратном уровне (то есть они обеспечивают прозрачность).Метакомпъютинг.Что такое мета-компьютинг? Этот термин возник вместе с развитием высокоскоростнойсетевой инфраструктуры в начале 90-х годов и относился к объединению несколькихразнородных вычислительных ресурсов в локальной сети организации для решения однойзадачи. Основная цель построения мета-компьютера в то время заключалась в оптимальномраспределении частей работы по вычислительным системам различной архитектуры иразличной мощности. Например, предварительная обработка данных и генерация сеток длясчета могли производится на пользовательской рабочей станции, основное моделированиена векторно-конвейерном суперкомпьютере, решение больших систем линейных уравнений- на массивно-паралллельной системе, а визуализация результатов - на специальнойграфической станции.В дальнейшем, исследования в области технологий мета-компьютинга были развиты всторону однородного доступа к вычислительным ресурсам большого числа (вплоть донескольких тысяч) компьютеров в локальной или глобальной сети.
Компонентами "метакомпьютера" могут быть как простейшие ПК, так и мощные массивно-параллельныесистемы. Что важно, мета-компьютер может не иметь постоянной конфигурации отдельные компоненты могут включаться в его конфигурацию или отключаться от нее; приэтом технологии мета-компьютинга обеспечивают непрерывное функционированиесистемы в целом. Современные исследовательские проекты в этой области направлены наобеспечение прозрачного доступа пользователей через Интернет к необходимымраспределенным вычислительным ресурсам, а также прозрачного подключенияпростаивающих вычислительных систем к мета-компьютерам.69Очевидно, что наилучшим образом для решения на мета-компьютерах подходят задачипереборного и поискового типа, где вычислительные узлы практически не взамодействуютдруг с другом и основную часть работы производят в автономном режиме.
Основная схемаработы в этом случае примерно такая: специальный агент, расположенный навычислительном узле (компьютере пользователя), определяет факт простоя этогокомпьютера, соединяется с управляющим узлом мета-компьютера и получает от негоочередную порцию работы (область в пространстве перебора). По окончании счета поданной порции вычислительный узел передает обратно отчет о фактически проделанномпереборе или сигнал о достижении цели поиска.Далее на данной странице будут вкратце описаны и приведены ссылки на основныеисследовательские проекты в области мета-компьютинга, разработанные программныетехнологии, конкретные примеры мета-компьютеров.Одно из самых больших объединений пользователей Интернет, предоставляющих своикомпьютеры для решения крупных переборных задач.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
