Максимов Н.В., Партыка Т.Л., Попов И.И. Архитектура ЭВМ и вычислительных систем (2005) (1186253), страница 63
Текст из файла (страница 63)
Свободные vвыходов и v входов каждого вычислительного модуля соединяютсялиниями «точка—точка» с входами и выходами других коммутаторов, образуя граф межмодульных связей.Наиболее эффективным графом межмодульных связей с точкизрения организации обмена данными между вычислительными мо-318Глава 3. Вычислительные системы *дулями является полный граф. В этом случае между каждой паройвычислительных модулей существует прямое соединение. При этомвозможны одновременные соединения между произвольными вычислительными модулями.Однако обычно создать полный граф межмодульных связей невозможно по различным причинам. Обмен данными приходитсяпроизводить через цепочки транзитных модулей.
Из-за этого увеличиваются задержки и ограничивается возможность установления одновременных соединений. Таким образом, эффективный граф межмодульных связей должен минимизировать время межмодульныхобменов и максимизировать количество одновременно активизированных соединений. Кроме того, на выбор графа межмодульныхсвязей влияет учет отказов и восстановлений вычислительных модулей и линий связи.Матричный коммутатор состоит из множества одинаковых коммутирующих элементов (рис.
3.45). На два входа каждого из них подаются блоки данных, которые в зависимости от адресов назначения, необходимо передать на один из выходов элемента. Число коммуникационных элементов как минимум равно произведению числавходов на число выходов коммутатора. Поэтому, матричные коммуКоммутирующий элементВыходыРис.
3.45. Матричный коммутатор3.7. Коммутаторы для многопроцессорных ЕС319|Процессор + памяпПроцессор + памя:таторы применяются в интегральной коммутации, число входов/выходов в которых невелико.Граф межмодульных связей Convex Exemplar SPP1000. В качествепримера реального графа межмодульных связей рассмотрим структуру системы Convex Exemplar SPP10QO (рис.
3.46). В основе каждого составного блока системы лежит прямоугольный коммутатор(5 х 5), до 16 подобных блоков объединяются каналами «точка—точка» в кольцо (одномерный тор), состоящее из четырех независимыхподканалов.Внутри каждого блока четыре входа и выхода прямоугольногокоммутатора (5 х 5) используются для взаимодействия устройстввнутри блока (при этом в каждом блоке располагается по два процессора), пятые вход и выход используются для объединения блоковв кольцо.
При этом каждый из четырех кольцевых каналов рассматривается как независимый ресурс, и система сохраняет работоспо-|гг гV V VКольцевойканалкогерентногоинтерфейсаSCIПроцессор + памятьПроцессор + памятьКоммутатор 5 x 5111пV V V1КольцевойканалкогерентногоинтерфейсаSCI1_Коммутатоо 5 x 5Рис. 3.46. Граф межмодульных связей Convex Exemplar SPP1000320Глава 3. Вычислительные системысобность до тех пор, пока существует хотя бы один функционирующий кольцевой канал.Граф межмодульных связей МВС-100. Система МВС-100 предлагает блочный подход к построению архитектуры параллельной вычислительной системы. Структурный модуль системы состоит из16 вычислительных узлов, образующих матрицу 4 x 4 (рис. 3.47).
Угловые узлы соединяются попарно по диагонали, таким образом,максимальная длина пути между любой парой элементов равнатрем. В исходной же матрице 4 x 4 эта длина равна шести. Каждыйблок имеет 12 выходов, что позволяет объединять их в более сложные структуры.Рис. 3.47. Структурный модуль МВС-100Для МВС-100 базовый вычислительный блок содержит 32 узла.Такой блок строится из двух структурных модулей в соответствии сосхемой, приведенной на рис.
3.48, а. В этом случае максимальнаядлина пути между любой парой вычислительных узлов равна пяти.При этом остается 16 свободных связей, что позволяет продолжитьобъединение. При объединении двух базовых блоков по схеме, приведенной на рис. 3.48, б (64 вычислительных узла), максимальнаядлина пути составит шесть, как и в гиперкубе, количество свободных связей будет равно 16.Граф межмодульных связей МВС-1000. Архитектура системыМВС-1000 аналогична архитектуре МВС-100.
Основой системы является масштабируемый массив процессорных узлов. Каждый узелсодержит вычислительный микропроцессор Alpha 21164 с произво-3.7. Коммутаторы для многопроцессорных ВС321Рис. 3.48. Базовый вычислительный блок (а),объединение двух блоков (б) МВС-100дительностью 2 Гфлопс при тактовой частоте 500 МГц и оперативную память объемом 128 Мбайт с возможностью расширения. Процессорные узлы взаимодействуют через коммуникационные процессоры TMS320C44 производства Texas Instruments, имеющие почетыре внешних канала (линка) с общей пропускной способностью80 Мбайт/с (20 Мбайт/с каждый). Также разрабатывается вариантсистемы с использованием коммуникационных процессоровSHARC (ADSP 21060) компании Analog Devices, имеющих по шестьканалов с общей пропускной способностью до 240 Мбайт/с(40 Мбайт/с каждый).Процессорные узлы связаны между собой по оригинальной схеме, сходной с топологией двухмерного тора (для 4-линковых узлов).Аналогично МВС-100, структурный модуль МВС-1000 состоит из 16вычислительных модулей, образующих матрицу 4 х 4, в которой четыре угловых элемента соединяются через транспьютерные линкипо диагонали попарно.
Оставшиеся 12 линков предназначаются дляподсоединения внешних устройств (четыре линка угловых ВМ) исоединений с подобными ВМ.Конструктивным образованием МВС-1000 является базовыйвычислительный блок, содержащий 32 вычислительных модуля.Максимальная длина пути между любыми из 32 вычислительныхмодулей равна пяти, при этом число свободных линков после комплектации блока составляет 16, что позволяет продолжить процеду11 «Архитектура ЭВМ»322Глава 3. Вычислительные системыБазовый блок 32 ВМпIП I1 пнДополнительный,, транспьютерI MБазовый блок 32 ВМРис. 3.49.
Структура 128-процессорной системы МВС-1000,четыре базовых блокару объединения. Возможная схема объединения четырех базовыхблоков в 128-процессорную систему приведена на рис. 3.49.3.8. Кластерные и массивно-параллельные системыразличных производителейРазвитие сетевых технологий привело к появлению недорогих,но эффективных коммуникационных решений. Это и предопределило появление кластерных вычислительных систем, фактическиявляющихся одним из направлений развития компьютеров с массовым параллелизмом.
Классические суперкомпьютеры, использующие специализированные процессоры таких фирм, как, например,Cray, NEC (векторно-параллельные или массивно-параллельные),обычно недешевы, поэтому и стоимость подобных систем не сравнима со стоимостью систем, находящихся в массовом производстве.Вычислительные системы, создаваемые из массово-выпускаемых компонентов, стали притягательной альтернативой традиционным суперкомпьютерным системам. При выполнении многих прикладных задач такие ВС, даже с небольшим или средним (до128—256) числом вычислительных модулей, показывают производительность, не уступающую или даже превосходящую производитель-3.8.
Кластерные и массивно-параллельные системы...323ность традиционных суперкомпьютеров как с распределенной, так ис разделяемой памятью. Наряду с этим, эти ВС обладают рядомпреимуществ, среди которых: более низкая стоимость, короткийцикл разработки и возможность оперативно использовать наиболееэффективные вычислительные и коммуникационные компонентыиз имеющихся на рынке во время создания системы.
Поэтому неудивительно, что ведущие фирмы-разработчики высокопроизводительной техники приступили к созданию кластерных систем.Отечественные суперкомпьютеры семейства МВССоздание и использование суперкомпьютеров в мире относится к факторам стратегического значения и входит в первую десятку приоритетов «ключевых» технологий развитых стран. В настоящее время в США эксплуатируются суперкомпьютеры с производительностью более триллиона операций в секунду, что даетвозможность ускорения работ в области фундаментальных исследований, решения прикладных задач народнохозяйственного иоборонного комплекса. США, Япония и страны Западной Европырезко ограничивают возможность приобретения Россией мощныхвычислительных систем.
Кроме того, зарубежные вычислительныесистемы такого уровня непомерно дороги и их эксплуатационноеосвоение затруднено.Проблема создания конкретных суперкомпьютеров требуемогоуровня мощности для наиболее крупных российских вычислительных центров решается на основе сбалансированного целенаправленного сочетания закупок новейших комплектующих изделий,создания на этой основе отечественных суперкомпьютерных систем, их интеграции в информационно-вычислительные сети и необходимых усилий в области применения, т.
е. в разработке прикладных программ и методов математического моделирования. Этаконцепция реализована в мультипроцессорной вычислительнойсистеме МВС-100, которая создана в кооперации научно-исследовательских институтов Российской академии наук и промышленности (головные организации НИИ «Квант» РАСУ и ИПМ РАН).Система построена на основе микропроцессоров с быстродействием порядка 100 миллионов операций в секунду, межпроцессорноевзаимодействие осуществляется с помощью транспьютеров. Установки МВС-100 с суммарной производительностью более 50 миллиардов операций в секунду в течение нескольких лет успешно эксплуатируются в вычислительных центрах РАН (в Москве, Екатеринбурге, Новосибирске, Владивостоке) и в отраслевых ВЦ.
С их|']•1;I\i||'Iiя324Глава 3. Вычислительные системыпомощью решены сложные прикладные задачи качественно новогоуровня из области аэродинамики для самолетостроения и созданияреактивных двигателей, ядерной физики, управления динамическими системами, распознавания изображений при навигации движущихся объектов, сейсмогеологоразведки, нефтедобычи, метеорологии, биоинженерии и др. Показана возможность эффективногораспараллеливания вычислений и обработки данных.В сложившейся кооперации проведены работы по созданиюсистемы нового поколения — МВС-1000 на микропроцессорахAlpha с технологическими нормами 0,35 мкм и быстродействием до1—2 млрд оп./с. В течение 1998 г.
на эксплуатируемых установкахэтого типа отрабатывалось программное обеспечение и решен рядновых сложных реальных вычислительных задач. К настоящемувремени введена в действие система с производительностью200 млрд оп./с для Межведомственного суперкомпьютерного центра(Миннауки, Минобразования, РАН, РФФИ); предполагается дальнейшее наращивание мощности. Освоен режим телекоммуникационного доступа к МВС, в том числе по Internet, с обеспечением требований защиты информации. Предстоят дальнейшие разноплановые работы по техническому и математическому освоениюсозданных систем, развитию их программного обеспечения.