Лекции 2010 года, страница 3

Достижение этого требует существенного усложненияпрограммирования вычислений. В противном случае “масштабирование” NUMA –системы будет ограничено. Примерами NUMA-систем являются системы SGIOrigin2000, Sun HPC 10000, IBM/Sequent NUMA-Q 200Имеются вычислительные системы, содержащие в узлах NUMA – системыSMP – подсистемы (SMP - “кирпичи”). Примером такой системы является комплексSPP-1200, где SMP–подсистемы (“гиперузлы”) объединяются в топологии “двойнойтор”.9 МВК с разделенной памятью.Если в каждом вычислительном узле использовать только “собственную”оперативную память, то не будет ограничений на “масштабирование” такой системыи, соответственно, на количество параллельно выполняемых ветвей (процессов)решаемой задачи, выполняемых в узлах системы. В то же время общее времярешения задачи может существенно зависеть от эффективности передачи данныхмежду ветвями (процессами) через объединяющую процессоры коммуникационнуюсистему.Естественно, что размещение программ и данных задачи по вычислительнымузлам и организация передач данных (поддерживаемых операционной системой)между узлами вызывает определенные затруднения при программировании решениязадачи.Описанные системы образуют подкласс MPP (Massively Parallel Processor).Многие из них содержат тысячи и десятки тысяч процессоров.

Имеется многоразличных топологий объединения процессоров в MPP- системах: “линейка”, “кольцо”, “решетка”, многомерные “торы”, “гиперкуб”, “полный граф” соединений идр.Представляет интерес сравнение двух последних указанных топологий:гиперкуба и полного графа соединений. Гиперкуб ранга n имеет число вершин(вычислительных узлов), равное 2 в степени n. Отношение числа связей (объемовоборудования) гиперкуба к полному графу при одинаковом числе узлов при ростевеличины n определяет существенное преимущество гиперкуба.

Максимальнаядлина “транзита” данных в гиперкубе (число проходимых связей при передачесообщения) равна n (в полном графе она всегда равна 1). Эта величина(соответственно и время передачи данных) растет не столь быстро по сравнению сростом объема оборудования для полного графа. Поэтому во многих случаяхреальные MPP – системы строились по топологии гиперкуба.78Примерами MPP–систем являются системы IBM RS/6000 SP2, IntelPARAGON/ASCI Red, CRAY T3E, Hitachi SR8000.Успешным оказалось построение фирмой IBM MPP–системы сиспользованием центрального коммутатора (система IBM RS/6000 SP2).

К немуподсоединяются до 128 вычислительных узлов, в качестве которых использовалисьрабочие станции RS6000 (без внешних устройств и, соответственно, оборудованиясвязи с ними или с полным комплектом оборудования для обеспечения вводаинформации в систему и вывода результатов вычислений). Такое гибкое решениепозволяло также реализовать в системе с одним коммутатором какмногопроцессорные, так и многомашинные подсистемы.Другим интересным примером организации MPP – системы являютсясозданные под руководством академика Левина Владимира Константиновичаотечественные системы МВС-100 и МВС-1000 (различаются лишь типомиспользуемого процессора), вычислительные модули которых состоят из 16 узлов,соединяемых по топологии “решетка” с дополнительными двумя связями междупротивоположными “угловыми” узлами.

Каждый узел содержит основнойвычислительный процессор и его оперативную память, а также “связной” процессорс собственной памятью, обеспечивающий в узле прием-передачу данных. Свободныесвязи узлов используются для соединения вычислительных модулей друг с другом иподключения к системе «внешних» компьютеров.Решение проблемы ввода-вывода информации в многопроцессорныхвычислительных системах любого типа (SMP, NUMA, MPP) осуществляется за счетподключения к системе внешних (дополнительных) компьютеров, обеспечивающихвыполнение этой функции, с соответствующим согласованием работы их системногопрограммногообеспеченияссистемнымпрограммнымобеспечениеммультипроцессора.Следует отметить, что одной из первых в мире MPP–систем быларазработанная в Киеве в Институте кибернетики им.

В.М.Глушкова“макроконвейерная ЭВМ” (ЕС-2701), в которой вычислительные узлы на базестандартных процессоров ЕС ЭВМ (на них выполнялись основные вычисления)объединялись через систему коммутаторов с так называемыми специальными“логическими” узлами, в которых выполнялись части программы решения задачи,обеспечивающие управление процессом ее решения.В MPP-системах Cray T3E и Cray T3D процессорные узлы объединены втопологии трехмерного тора. Каждая элементарная связь между двумя узлами - этодва однонаправленных канала передачи данных, что допускает одновременныйобмен данными в противоположных направлениях.MPP-системы строятся и на базе векторно-конвейерных процессоров(параллельные векторные системы - PVP).

К этому подклассу относится линиявекторно-конвейерных компьютеров CRAY: CRAY J90/T90, CRAY SV1, CRAY X1,системы NEC SX-4/SX-5, серия Fujitsu VPP.В некоторых MPP–системах виртуальная память, предоставляемая задаче ииспользуемая процессором вычислительного узла лишь в физической памяти этогоузла, может быть отражена в оперативных памятях многих узлов. Привозникновении в каком-либо узле потребности в конкретной части виртуальнойпамяти задачи эта часть передается по внутрисистемным коммуникациям вфизическую оперативную память данного узла.10 Кластерные вычислительные системы.89Стремление обеспечить высокую величину отношения производительностивычислительной системы к ее стоимости сделало актуальной задачу осуществленияMPP – подхода с использованием более дешевого серийного вычислительного икоммуникационного оборудования. При этом вычислительным оборудованием узламожет быть и обычный персональный компьютер, а коммуникационнымоборудованием широко выпускаемые промышленностью сети Fast/Gigabit Ethernet,Myrinet, InfinyBand, SCI и др.

Вместе с набором программного обеспеченияпараллельной работы узлов такие системы стали называть «кластерными».Стремление получить большой экономический эффект привело к созданию многихтипов кластеров и их широкому распространению. В то же время эффективноерешение появляющихся новых типов задач, в том числе задач с нерегулярнымобращением к ячейкам памяти очень большого объема, требует появления новыхархитектурных и структурных решений в построении вычислительных систем и ихреализации в разработках новых “заказных” систем.Организация памяти вычислительных систем.Совершенствование организации памяти вычислительных систем всегда былосвязано с достижением более высокой производительности работы системы,развитием параллелизма обработки данных.Основными проблемами в организации памяти являются организацияиерархии ее уровней и предоставление для задачи виртуальной памяти,отображающейся на различные компоненты и уровни физической памяти.11 Иерархия памятиИерархия уровней памяти используется для размещения часто используемойинформации (программ и данных) в более быстродействующих (“верхних”) уровняхпамяти с возможностью в случае необходимости передачи в них информации изменее быстродействующих уровней существенно большего объема.

Результатыобработки информации, которые подлежат хранению на более длительный срок,также размещаются менее быстродействующей (“нижних”) уровнях.При длительной обработке информации и, естественно, ее изменении вверхних уровнях памяти (в которых она не сохраняется при отключенииэлектропитания) желательным является ее периодическое сохранение в нижнихуровнях (в которых осуществляется запись на магнитные носители). Наличиеодинаковойинформациинаразличныхуровняхпамятиназывается“когерентностью” памяти.Основными уровнями в иерархии памяти являются:- уровни быстродействующей памяти относительно небольшого объема посравнению с объемом следующего основного уровня – оперативной памяти.

Какправило, используются наборы “сверхбыстродействующих регистров” для выбораданных из них (для выполнения операций в процессорах) и записи данных в них(результатов выполнения операций в процессорах) практически без задержки.Информация на эти уровни при необходимости передается из следующего основногоуровня существенно большего объема – оперативной памяти (или передается вобратном направлении).

Сверхбыстродействующие памяти и оперативная памятьфизически реализуются на интегральных схемах, но быстродействие этих схемразное. Объемы указанных уровней памяти изменяются в обратнойпропорциональности по отношению к изменению их быстродействия.910- уровень оперативной памяти физически эффективно используется приразделении ее на набор параллельно работающих блоков (“расслоение ” памяти).Эффективное использование оперативной памяти для информации нескольких задач,выполняемых в многозадачном (многопрограммном) режиме реализуется за счетотображения на нее “виртуальных” памятей этих задач. При этом при отсутствииместа в оперативной памяти для такого отображения приходится использовать дляразмещения виртуальной памяти задач и “нижний” уровень иерархии памяти(магнитные диски).- уровень памяти на магнитных дисках может иметь несколько каналов(“направлений”) считывания/записи информации и по несколько устройств,подключаемых к каждому из этих каналов.В ряде случаев вводится промежуточный уровень “массовой” памяти,располагаемый между оперативной памятью и памятью на магнитных дисках, дляразмещения в нем “активных” файлов, используемых в задачах, требующихбольшого числа передач данных из этих файлов (и записи в них) и осуществляющихотносительно небольшой объем их обработки процессором.