ПОД (пособие) (1184372), страница 22
Текст из файла (страница 22)
Причиной плохой масштабируемости является то, что в данный моментшина способна обрабатывать только одну транзакцию, вследствие чего возникаютпроблемы разрешения конфликтов при одновременном обращении нескольких процессоров65к одним и тем же областям общей физической памяти. Вычислительные элементыначинают друг другу мешать. Когда произойдет такой конфликт, зависит от скорости связии от количества вычислительных элементов. В настоящее время конфликты могутпроисходить при наличии 8-24 процессоров.
Кроме того, системная шина имеетограниченную (хоть и высокую) пропускную способность (ПС) и ограниченное числослотов. Все это очевидно препятствует увеличению производительности при увеличениичисла процессоров и числа подключаемых пользователей. В реальных системах можнозадействовать не более 32 процессоров. Для построения масштабируемых систем на базеSMP используются кластерные или NUMA-архитектуры. При работе с SMP-системамииспользуют так называемую парадигму программирования с разделяемой памятью (sharedmemory paradigm).MPP (massive parallel processing) – массивно-параллельная архитектура. Главнаяособенность такой архитектуры состоит в том, что память физически разделена. В этомслучае система строится из отдельных модулей, содержащих процессор, локальный банкоперационной памяти (ОП), коммуникационные процессоры (рутеры) или сетевыеадаптеры, иногда – жесткие диски и/или другие устройства ввода/вывода. По сути, такиемодули представляют собой полнофункциональные компьютеры (см.
рис.3.2). Доступ кбанку ОП из данного модуля имеют только процессоры (ЦП) из этого же модуля. Модулисоединяются специальными коммуникационными каналами. Пользователь можетопределить логический номер процессора, к которому он подключен, и организовать обменсообщениями с другими процессорами. Используются два варианта работы операционнойсистемы (ОС) на машинах MPP-архитектуры.
В одном полноценная операционная система(ОС) работает только на управляющей машине (front-end), на каждом отдельном модулефункционирует сильно урезанный вариант ОС, обеспечивающий работу толькорасположенной в нем ветви параллельного приложения. Во втором варианте на каждоммодуле работает полноценная UNIX-подобная ОС, устанавливаемая отдельно.Рис. 3.2. Схематический вид архитектуры с раздельной памятьюГлавным преимуществом систем с раздельной памятью является хорошаямасштабируемость: в отличие от SMP-систем, в машинах с раздельной памятью каждыйпроцессор имеет доступ только к своей локальной памяти, в связи с чем не возникаетнеобходимости в потактовой синхронизации процессоров.
Практически все рекорды попроизводительности на сегодня устанавливаются на машинах именно такой архитектуры,состоящих из нескольких тысяч процессоров (ASCI Red, ASCI Blue Pacific).Недостатки:отсутствие общей памяти заметно снижает скорость межпроцессорного обмена, посколькунет общей среды для хранения данных, предназначенных для обмена между процессорами.Требуется специальная техника программирования для реализации обмена сообщениямимежду процессорами;66каждый процессор может использовать только ограниченный объем локального банкапамяти;вследствие указанных архитектурных недостатков требуются значительные усилия длятого, чтобы максимально использовать системные ресурсы.
Именно этим определяетсявысокая цена программного обеспечения для массивно-параллельных систем с раздельнойпамятью.Системами с раздельной памятью являются суперкомпьютеры МВС-1000, IBM RS/6000 SP,SGI/CRAY T3E, системы ASCI, Hitachi SR8000, системы Parsytec.Машины последней серии CRAY T3E от SGI, основанные на базе процессоров Dec Alpha21164 с пиковой производительностью 1200 Мфлопс/с (CRAY T3E-1200), способнымасштабироваться до 2048 процессоров.При работе с MPP-системами используют так называемую Massive Passing ProgrammingParadigm – парадигму программирования с передачей данных (MPI, PVM, BSPlib).Гибридная архитектура NUMA. Главная особенность гибридной архитектуры NUMA(nonuniform memory access) – неоднородный доступ к памяти.Гибридная архитектура совмещает достоинства систем с общей памятью и относительнуюдешевизну систем с раздельной памятью.
Суть этой архитектуры – в особой организациипамяти, а именно: память физически распределена по различным частям системы, нологически она является общей, так что пользователь видит единое адресное пространство.Система построена из однородных базовых модулей (плат), состоящих из небольшого числапроцессоров и блока памяти. Модули объединены с помощью высокоскоростногокоммутатора. Поддерживается единое адресное пространство, аппаратно поддерживаетсядоступ к удаленной памяти, т.е.
к памяти других модулей. При этом доступ к локальнойпамяти осуществляется в несколько раз быстрее, чем к удаленной. По существу,архитектура NUMA является MPP (массивно-параллельной) архитектурой, где в качествеотдельных вычислительных элементов берутся SMP (cимметричная многопроцессорнаяархитектура) узлы. Доступ к памяти и обмен данными внутри одного SMP-узлаосуществляется через локальную память узла и происходит очень быстро, а к процессорамдругого SMP-узла тоже есть доступ, но более медленный и через более сложную системуадресации.Структурная схема компьютера с гибридной сетью: четыре процессора связываются междусобой при помощи кроссбара в рамках одного SMP-узла. Узлы связаны сетью типа"бабочка" (Butterfly):Рис.
3.3. Структурная схема компьютера с гибридной сетью67Впервые идею гибридной архитектуры предложил Стив Воллох, он воплотил ее в системахсерии Exemplar. Вариант Воллоха – система, состоящая из восьми SMP-узлов. Фирма HPкупила идею и реализовала на суперкомпьютерах серии SPP. Идею подхватил Сеймур Крей(Seymour R.Cray) и добавил новый элемент – когерентный кэш, создав так называемуюархитектуру cc-NUMA (Cache Coherent Non-Uniform Memory Access), котораярасшифровывается как "неоднородный доступ к памяти с обеспечением когерентностикэшей". Он ее реализовал на системах типа Origin.Организация когерентности многоуровневой иерархической памятиПонятие когерентности кэшей описывает тот факт, что все центральные процессорыполучают одинаковые значения одних и тех же переменных в любой момент времени.Действительно, поскольку кэш-память принадлежит отдельному компьютеру, а не всеймногопроцессорной системе в целом, данные, попадающие в кэш одного компьютера, могутбыть недоступны другому.
Чтобы этого избежать, следует провести синхронизациюинформации, хранящейся в кэш-памяти процессоров.Для обеспечения когерентности кэшей существует несколько возможностей:использовать механизм отслеживания шинных запросов (snoopy bus protocol), в которомкэши отслеживают переменные, передаваемые к любому из центральных процессоров и принеобходимости модифицируют собственные копии таких переменных;выделять специальную часть памяти, отвечающую за отслеживание достоверности всехиспользуемых копий переменных.Наиболее известными системами архитектуры cc-NUMA являются: HP 9000 V-class в SCAконфигурациях, SGI Origin3000, Sun HPC 15000, IBM/Sequent NUMA-Q 2000.
На сегоднямаксимальное число процессоров в cc-NUMA-системах может превышать 1000 (серияOrigin3000). Обычно вся система работает под управлением единой ОС, как в SMP.Возможны также варианты динамического "подразделения" системы, когда отдельные"разделы" системы работают под управлением разных ОС. При работе с NUMA-системами,так же, как с SMP, используют так называемую парадигму программирования с общейпамятью (shared memory paradigm).Гетерогенные распределенные вычислительные системы.Наибольшее число существующих в настоящее время распределенных систем построено посхеме гетерогенных мультикомпьютерных.
Это означает, что компьютеры, являющиесячастями этой системы, могут быть крайне разнообразны, например, по типу процессора,размеру памяти и производительности каналов ввода-вывода. На практике роль некоторыхиз этих компьютеров могут исполнять высокопроизводительные параллельные системы,например мультипроцессорные или гомогенные мультикомпьютерные.Соединяющая их сеть также может быть сильно неоднородной. Так, например, авторы этойкниги помогали разрабатывать самодельную распределенную компьютерную систему,названную DAS, состоящую из четырех кластеров мультикомпьютерных систем,соединенных высокопроизводительными ATM-коммутируемыми каналами.
Фотографииэтой системы и ссылки на исследования, проводимые на ней, можно найти по адресуhttp://Www.cs.vu.nll-balldas.html. Кластеры также были связаны между собой черезстандартные Интернет-соединения. Каждый кластер содержал одинаковые процессоры(Pentium III) и соединяющую их сеть (Myrinet), но различался по числу процессоров (64–128).68Другим примером гетерогенности является создание крупных мультикомпьютерных системс использованием существующих сетей и каналов.
Так, например, не является чем-тонеобычным существование кампусных университетских распределенных систем,состоящих из локальных сетей различных факультетов, соединенных между собойвысокоскоростными каналами. В глобальных системах различные станции могут, в своюочередь, соединяться общедоступными сетями, например сетевыми службами,предлагаемыми коммерческими операторами связи, например SMDS или Frame relay.В отличие от систем, обсуждавшихся в предыдущих пунктах, многие крупномасштабныегетерогенные мультикомпьютерные системы нуждаются в глобальном подходе.
Этоозначает, что приложение не может предполагать, что ему постоянно будет доступнаопределенная производительность или определенные службы. Так, в проекте I-way [147]несколько высокопроизводительных компьютерных центров были связаны через Интернет.Согласно общей модели системы предполагалось, что приложения будут резервировать ииспользовать ресурсы любого из центров, но полностью скрыть от приложений разницумежду центрами оказалось невозможно.Переходя к вопросам масштабирования, присущим гетерогенным системам, и учитываянеобходимость глобального подхода, присущую большинству из них, заметим, чтосоздание приложений для гетерогенных мультикомпьютерных систем требуетспециализированного программного обеспечения. С этой проблемой распределенныесистемы справляются. Чтобы у разработчиков приложений не возникало необходимостиволноваться об используемом аппаратном обеспечении, распределенные системыпредоставляют программную оболочку, которая защищает приложения от того, чтопроисходит на аппаратном уровне (то есть они обеспечивают прозрачность).Метакомпъютинг.Что такое мета-компьютинг? Этот термин возник вместе с развитием высокоскоростнойсетевой инфраструктуры в начале 90-х годов и относился к объединению несколькихразнородных вычислительных ресурсов в локальной сети организации для решения однойзадачи.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
