Курс лекций - конспект от Томилина в ворде (1156246), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Для многих задач (аэрогидродинамики, физики твердого тела, геологоразведки, обработки телеметрии и др.) характерно выполнение одинаковых вычислений над различными группами данных (например, вычисления в узлах “сеток” при решении дифференциальных уравнений). Для реализации таких вычислений создавались вычислительные системы также “узловой” топологии – в узлах этих систем размещались указанные группы данных и оборудование для их обработки (арифметико-логические устройства – АЛУ).

Из одного потока команд текущая команда (через общее устройство управления - УУ) передавалась во все узлы системы для одновременного выполнения над имеющимися там данными, то есть обеспечивалась работа OKMD – системы. Наличие в каждом узле системы лишь АЛУ и оперативной памяти (ОП) не позволяет считать аппаратуру узла “полноправным ” процессором, хотя в ряде случаев в литературе такое название используется.

Широко известным историческим примером такой OKMD – системы является разработанная в Иллинойском университете система ILLIAC – IV (1971 г.), в которой 64 вычислительных узла, описанных выше, параллельно работали и объединялись в топологии “решетка” для передачи данных друг другу. Данные в память узлов передавались из универсальной ЭВМ “Burroughs”. Из нее же передавалась в ILLIAC-IV программа вычислений.

Следует отметить отечественную вычислительную систему этого класса ПС-2000, использовавшуюся для решения задач геологоразведки и обработки телеметрии.

MKMD – системы.

Класс MKMD – систем состоит из двух подклассов: подкласс многопроцессорных вычислительных комплексов (МВК) и подкласс многомашинных вычислительных комплексов (ММВК).

Многопроцессорные вычислительные комплексы.

Рассмотренные выше OKMD – системы плохо приспособлены для параллельного выполнения различных потоков команд (разных программных ветвей одной задачи или программ разных задач). Такое выполнение стало осуществляться на нескольких параллельно работающих “полноправных” процессорах (содержащих УУ, АЛУ), использующих общую для них память или имеющих доступ лишь к собственной оперативной памяти. В последнем случае взаимодействие программ, выполняющихся на процессорах, осуществлялось за счет передачи (с поддержкой операционной системы) сообщений друг другу по коммуникациям, связывающим такие вычислительные узлы.

МВК с общедоступной памятью

Под организацией общедоступной оперативной памяти МВК понимается возможность доступа за данными к любой ее ячейке при выполнении операций в любом процессоре комплекса.

Объединение процессоров на общей оперативной памяти с обеспечением одинакового времени доступа от всех процессоров определяет подкласс SMP (Symmetric multiprocessor). Преимуществом такой организации является простота программирования задач даже с учетом необходимости синхронизации и взаимного исключения программ ветвей (параллельных процессов) этих задач. Недостатком такого подхода является неэффективность подключения к общей памяти большого числа процессоров из-за возрастающих задержек выполнения операций в них в связи с увеличением, несмотря на значительное “расслоение” оперативной памяти, числа конфликтов при обращении к ней и, соответственно, времен ожидания данных при одновременном обращении к блокам памяти от многих процессоров. Объединение на общей памяти даже нескольких десятков процессоров становилось нерациональным.

Примером SMP – комплекса является отечественная вычислительная система “Эльбрус-2”, в котором через матричный коммутатор осуществляется эффективный доступ к памяти десяти процессоров. Через этот же коммутатор осуществлялось подключение к общей памяти специальных процессоров ввода-вывода, через которые осуществлялось подключение внешних устройств.

Другим вариантом использования общедоступной памяти для процессоров является ее распределение по многим вычислительным узлам, объединенных общей магистралью передачи данных, через которую процессор в каждом вычислительном узле при выполнении операций может иметь доступ к ячейкам памяти других вычислительных узлов. При этом время обращения к памяти увеличивается с удалением от процессора того вычислительного узла, к памяти которого происходит обращение. Такая организация вычислительной системы с общедоступной памятью носит название NUMA (Non Uniform Memory Access). Если при выполнении программы процессорами основное количество обращений за данными будет выполняться к памяти “своего” узла или близко расположенных узлов, то использование NUMA-системы будет эффективным при значительном числе вычислительных узлов. Достижение этого требует существенного усложнения программирования вычислений. В противном случае “масштабирование” NUMA –системы будет ограничено. Примерами NUMA-систем являются системы SGI Origin2000, Sun HPC 10000, IBM/Sequent NUMA-Q 200

Имеются вычислительные системы, содержащие в узлах NUMA – системы SMP – подсистемы (SMP - “кирпичи”). Примером такой системы является комплекс SPP-1200, где SMP–подсистемы (“гиперузлы”) объединяются в топологии “двойной тор”.

МВК с разделенной памятью.

Если в каждом вычислительном узле использовать только “собственную” оперативную память, то не будет ограничений на “масштабирование” такой системы и, соответственно, на количество параллельно выполняемых ветвей (процессов) решаемой задачи, выполняемых в узлах системы. В то же время общее время решения задачи может существенно зависеть от эффективности передачи данных между ветвями (процессами) через объединяющую процессоры коммуникационную систему.

Естественно, что размещение программ и данных задачи по вычислительным узлам и организация передач данных (поддерживаемых операционной системой) между узлами вызывает определенные затруднения при программировании решения задачи.

Описанные системы образуют подкласс MPP (Massively Parallel Processor). Многие из них содержат тысячи и десятки тысяч процессоров. Имеется много различных топологий объединения процессоров в MPP- системах: “линейка”, “ кольцо”, “решетка”, многомерные “торы”, “гиперкуб”, “полный граф” соединений и др.

Представляет интерес сравнение двух последних указанных топологий: гиперкуба и полного графа соединений. Гиперкуб ранга n имеет число вершин (вычислительных узлов), равное 2 в степени n. Отношение числа связей (объемов оборудования) гиперкуба к полному графу при одинаковом числе узлов при росте величины n определяет существенное преимущество гиперкуба. Максимальная длина “транзита” данных в гиперкубе (число проходимых связей при передаче сообщения) равна n (в полном графе она всегда равна 1). Эта величина (соответственно и время передачи данных) растет не столь быстро по сравнению с ростом объема оборудования для полного графа. Поэтому во многих случаях реальные MPP – системы строились по топологии гиперкуба.

Примерами MPP–систем являются системы IBM RS/6000 SP2, Intel PARAGON/ASCI Red, CRAY T3E, Hitachi SR8000.

Успешным оказалось построение фирмой IBM MPP–системы с использованием центрального коммутатора (система IBM RS/6000 SP2). К нему подсоединяются до 128 вычислительных узлов, в качестве которых использовались рабочие станции RS6000 (без внешних устройств и, соответственно, оборудования связи с ними или с полным комплектом оборудования для обеспечения ввода информации в систему и вывода результатов вычислений). Такое гибкое решение позволяло также реализовать в системе с одним коммутатором как многопроцессорные, так и многомашинные подсистемы.

Другим интересным примером организации MPP – системы являются созданные под руководством академика Левина Владимира Константиновича отечественные системы МВС-100 и МВС-1000 (различаются лишь типом используемого процессора), вычислительные модули которых состоят из 16 узлов, соединяемых по топологии “решетка” с дополнительными двумя связями между противоположными “угловыми” узлами. Каждый узел содержит основной вычислительный процессор и его оперативную память, а также “связной” процессор с собственной памятью, обеспечивающий в узле прием-передачу данных. Свободные связи узлов используются для соединения вычислительных модулей друг с другом и подключения к системе «внешних» компьютеров.

Решение проблемы ввода-вывода информации в многопроцессорных вычислительных системах любого типа (SMP, NUMA, MPP) осуществляется за счет подключения к системе внешних (дополнительных) компьютеров, обеспечивающих выполнение этой функции, с соответствующим согласованием работы их системного программного обеспечения с системным программным обеспечением мультипроцессора.

Следует отметить, что одной из первых в мире MPP–систем была разработанная в Киеве в Институте кибернетики им. В.М.Глушкова “макроконвейерная ЭВМ” (ЕС-2701), в которой вычислительные узлы на базе стандартных процессоров ЕС ЭВМ (на них выполнялись основные вычисления) объединялись через систему коммутаторов с так называемыми специальными “логическими” узлами, в которых выполнялись части программы решения задачи, обеспечивающие управление процессом ее решения.

В MPP-системах Cray T3E и Cray T3D процессорные узлы объединены в топологии трехмерного тора. Каждая элементарная связь между двумя узлами - это два однонаправленных канала передачи данных, что допускает одновременный обмен данными в противоположных направлениях.

MPP-системы строятся и на базе векторно-конвейерных процессоров (параллельные векторные системы - PVP). К этому подклассу относится линия векторно-конвейерных компьютеров CRAY: CRAY J90/T90, CRAY SV1, CRAY X1, системы NEC SX-4/SX-5, серия Fujitsu VPP.

В некоторых MPP–системах виртуальная память, предоставляемая задаче и используемая процессором вычислительного узла лишь в физической памяти этого узла, может быть отражена в оперативных памятях многих узлов. При возникновении в каком-либо узле потребности в конкретной части виртуальной памяти задачи эта часть передается по внутрисистемным коммуникациям в физическую оперативную память данного узла.

Кластерные вычислительные системы.

Стремление обеспечить высокую величину отношения производительности вычислительной системы к ее стоимости сделало актуальной задачу осуществления MPP – подхода с использованием более дешевого серийного вычислительного и коммуникационного оборудования. При этом вычислительным оборудованием узла может быть и обычный персональный компьютер, а коммуникационным оборудованием широко выпускаемые промышленностью сети Fast/Gigabit Ethernet, Myrinet, InfinyBand, SCI и др. Вместе с набором программного обеспечения параллельной работы узлов такие системы стали называть «кластерными». Стремление получить большой экономический эффект привело к созданию многих типов кластеров и их широкому распространению. В то же время эффективное решение появляющихся новых типов задач, в том числе задач с нерегулярным обращением к ячейкам памяти очень большого объема, требует появления новых архитектурных и структурных решений в построении вычислительных систем и их реализации в разработках новых “заказных” систем.

Организация памяти вычислительных систем.

Совершенствование организации памяти вычислительных систем всегда было связано с достижением более высокой производительности работы системы, развитием параллелизма обработки данных.

Основными проблемами в организации памяти являются организация иерархии ее уровней и предоставление для задачи виртуальной памяти, отображающейся на различные компоненты и уровни физической памяти.

Иерархия памяти

Иерархия уровней памяти используется для размещения часто используемой информации (программ и данных) в более быстродействующих (“верхних”) уровнях памяти с возможностью в случае необходимости передачи в них информации из менее быстродействующих уровней существенно большего объема. Результаты обработки информации, которые подлежат хранению на более длительный срок, также размещаются менее быстродействующей (“нижних”) уровнях.

При длительной обработке информации и, естественно, ее изменении в верхних уровнях памяти (в которых она не сохраняется при отключении электропитания) желательным является ее периодическое сохранение в нижних уровнях (в которых осуществляется запись на магнитные носители). Наличие одинаковой информации на различных уровнях памяти называется “когерентностью” памяти.

Основными уровнями в иерархии памяти являются:

• уровни быстродействующей памяти относительно небольшого объема по сравнению с объемом следующего основного уровня – оперативной памяти. Как правило, используются наборы “сверхбыстродействующих регистров” для выбора данных из них (для выполнения операций в процессорах) и записи данных в них (результатов выполнения операций в процессорах) практически без задержки. Информация на эти уровни при необходимости передается из следующего основного уровня существенно большего объема – оперативной памяти (или передается в обратном направлении). Сверхбыстродействующие памяти и оперативная память физически реализуются на интегральных схемах, но быстродействие этих схем разное. Объемы указанных уровней памяти изменяются в обратной пропорциональности по отношению к изменению их быстродействия.

• уровень оперативной памяти физически эффективно используется при разделении ее на набор параллельно работающих блоков (“расслоение ” памяти).

Эффективное использование оперативной памяти для информации нескольких задач, выполняемых в многозадачном (многопрограммном) режиме реализуется за счет отображения на нее “виртуальных” памятей этих задач. При этом при отсутствии места в оперативной памяти для такого отображения приходится использовать для размещения виртуальной памяти задач и “нижний” уровень иерархии памяти (магнитные диски).

• уровень памяти на магнитных дисках может иметь несколько каналов (“направлений”) считывания/записи информации и по несколько устройств, подключаемых к каждому из этих каналов.

В ряде случаев вводится промежуточный уровень “массовой” памяти, располагаемый между оперативной памятью и памятью на магнитных дисках, для размещения в нем “активных” файлов, используемых в задачах, требующих большого числа передач данных из этих файлов (и записи в них) и осуществляющих относительно небольшой объем их обработки процессором. Массовая память большого объема реализуется, естественно, на более медленных интегральных схемах, чем оперативная память. Уровень массовой памяти помогает сгладить дисбаланс между высоким быстродействием процессора и относительно небольшой скоростью работы магнитных дисков. Естественно при этом стремиться к обеспечению когерентности массовой памяти и памяти на магнитных дисках.

В связи с существенным увеличением объема памяти на магнитных дисках использование памяти на магнитных лентах резко сократилось. В некоторых вычислительных центрах осуществляется периодическое (например, один раз в сутки) сохранение изменившихся файлов с магнитных дисков на “магнитные катушки”.

Сверхоперативная память

Наборы регистров, образующих такую память, бывают двух назначений:

• программируемые в командах “прямоадресуемые” регистры (регистры “общего назначения”), предназначенные для размещения в них данных, часто используемых процессором;

• группы регистров, в которых автоматически (аппаратно) сохраняются часто используемые данные (“кэш (cache) - памяти”).

Использование одного типа регистров в процессоре не исключает использования другого типа регистров.

Характеристики

Список файлов лекций