Курс лекций - конспект от Томилина в PDF

ВведениеЦелью курса “Архитектура параллельных вычислительных систем” являетсярассмотрение способов организации параллелизма обработки информации на различныхуровнях вычислительных систем. Будут рассмотрены концептуальные (архитектурные)решения такой организации и структурные решения, позволяющие реализовать предложенныеконцепции. Следует отметить, что области сущностей вычислительных систем, покрываемыепонятиями “архитектура” и “структура”, заметно пересекаются, и в данном курсе не будетпреследоваться их строгое разделение там, где в этом нет необходимости.Понятие архитектуры параллельной вычислительной системы является достаточношироким, поскольку под архитектурой понимается и общая организация параллельнойобработки данных, используемая в системе, и особенности системы команд процессоров, иорганизация памяти, и топология связи между процессорами.Попытки систематизировать все множество архитектур предпринимались, начиная с 60х годов прошлого века, и продолжаются сейчас.Часто используют два понимания термина “архитектура” – в ”узком” и “широком”аспекте.С термином “архитектура” в “узком” аспекте связываются все те сущностивычислительной системы, которые определяют особенности программирования для нее, впервую очередь, система команд, выполняемых процессорами.С термином “архитектура” в “широком” аспекте связывается разделениевычислительной системы на уровни с определением интерфейсов между ними (например,уровни организации аппаратуры, функций системного программного обеспечения –операционных систем и систем программирования, прикладного программного обеспечения).В 1966 г.

М.Флинном (M.Flynn) был предложен подход к классификациивычислительных систем, основанный на понятии последовательностей (потоков) команд иданных.В классификации Флинна описываются четыре архитектурных класса:OKOD (SISD) - одиночный поток команд и одиночный поток данных;OKMD (SIMD) - одиночный поток команд и множественные потоки данных;MKOD (MISD) - множественные потоки команд и одиночный поток данных;MKMD (MIMD) – множественные потоки команд и множественные потоки данных.OKOD. К этому классу относятся компьютерные системы, которые имеют одинпроцессор, способный обрабатывать один поток последовательно исполняемых инструкций.OKMD.

В этих системах одна и та же инструкция параллельно выполняется надразными данными.Подклассом OKMD – систем являются векторные компьютеры. Команды векторныхкомпьютеров оперируют массивами данных подобно тому, как команды “скалярных” машиноперируют отдельными элементами таких массивов.MKOD. Теоретически в этом классе машин множество потоков инструкций должновыполняться над единственным потоком данных. Реальных машин этого класса создано небыло.MKMD. Эти машины параллельно выполняют несколько потоков инструкций надразличными потоками данных.

Этими потоками инструкций могут быть программы ветвей(параллельных процессов) одной задачи или программы разных задач.Подробная организация параллелизма в вычислительных системах классов OKOD,OKMD и MKMD будет являться предметом рассмотрения в представляемом курсе.Внутрипроцессорный параллелизм2В процессе совершенствования процессоров вычислительных машин было пройдено многоэтапов развития внутрипроцессорного параллелизма:- организация параллельной работы основных устройств – арифметико-логическогоустройства (АЛУ), устройства управления (УУ), оперативной памяти (ОП) за счетвведения устройств промежуточного хранения обрабатываемой информации –возникновение конвейера исполнения команд;- разделение АЛУ на функциональные устройства (ФУ) выполнения отдельныхопераций (например, сложения, умножения, деления) и организация параллельнойработы ФУ;- организация конвейерного выполнения операций в ФУ;- организация совмещенного выполнения нескольких потоков команд вобрабатывающем узле процессора за счет чередования выборки команд длявыполнения из разных потоков для эффективной загрузки ФУ;- организация параллельного выполнения нескольких потоков команд вобрабатывающем узле процессора за счет использования в нем несколькихкомплектов оборудования (“многоядерность”)Параллелизм работы основных устройств ЭВМ.В самых первых ЭВМ основные устройства – ОП, УУ, АЛУ работали последовательно.Вначале осуществлялся выбор текущей команды программы из оперативной памяти.Устройства УУ и АЛУ простаивали.Затем выполнялась дешифрация в УУ выбранной команды и определялись адресанахождения в ОП операндов, необходимых для ее выполнения в АЛУ (или адрес в ОПкоманды, на которую следует передать управление).

ОП и АЛУ простаивали.На следующем этапе снова работала ОП – выполнялся выбор операндов или первойуказанной команды из новой последовательности команд. УУ и АЛУ простаивали.Затем с использованием выбранных операндов команда выполнялась в АЛУ (если онане являлась командой передачи управления). ОП и УУ простаивали.Последним этапом было осуществление записи в ОП результата выполненной в АЛУкоманды (если запись предусматривалась в команде).

УУ и АЛУ простаивали.После осуществления указанных этапов выполнения команды начинался аналогичныйцикл действий для выполнения следующей команды. Простои в работе основных устройствЭВМ были весьма значительными.Введение двух новых структурных решений позволило ликвидировать простои в работеосновных устройств ЭВМ и обеспечить их параллельную работу. Этими решениями были:- организация параллельной работы нескольких блоков оперативной памяти(“расслоение” памяти);- организация буферного хранения информации, передаваемой между основнымиустройствами ЭВМ.Одновременно существенному уменьшению количества команд в программе иобращений к оперативной памяти послужило:- введение в устройстве управления индексных регистров, используемых дляавтоматической модификации адресов операндов (например, для работы смассивами данных в программных циклах);- организация автоматического повторного выбора из буферных устройствпромежуточного хранения информации (без обращения к оперативной памяти)часто используемых команд и данных – организация “кэш-памяти”.Уменьшению числа обращений к оперативной памяти способствовало также введениедля часто используемых данных регистров, непосредственно указываемых в командах(регистров “общего назначения”).Реализация параллелизма работы основных устройств ЭВМ удачно осуществлена вотечественной универсальной ЭВМ БЭСМ-6 (1967г.), созданной в Институте точной механики23и вычислительной техники (ИТМ и ВТ) под руководством академика Сергея АлексеевичаЛебедева.Образовавшийся в БЭСМ-6 “конвейер команд” - параллельное выполнение команд наразных стадиях их исполнения (от выборки из ОП до выполнения в АЛУ и записи результатавыполнения в ОП) позволил в 4 раза увеличить быстродействие машины по сравнению сиспользованием последовательной работы ее основных устройств при той же элементной базеи конструкции ЭВМ.Использование в командах “прямо адресуемых” регистров было реализовано в рядеЭВМ IBM-360 и затем в производимых в СССР и странах Совета экономическойвзаимопомощи (СЭВ) ЭВМ “единой серии” (ЕС ЭВМ).Множественность функциональных устройств процессораРазделение универсального арифметико-логического устройства (АЛУ), выполнявшегоширокий набор операций, на набор устройств выполнения отдельных операций или групп“родственных” операций (сложения-вычитания, умножения, деления, сдвига, операцийалгебры логики и т.п.) – «функциональных» устройств позволило организовать ихпараллельную работу.

Получившееся при этом заметное увеличение объема оборудованиядолжно было компенсироваться существенной эффективностью такого параллелизма. Дляэтого в идеале нужно было обеспечить параллельную подачу команд для выполнения на этихустройствах и готовность операндов, необходимых для выполнения команд.Задержки при последовательной подаче из УУ на ФУ независимых по операндам“векторных” команд работы с массивами данных (“векторами”) при большой длине массивовне сильно сказываются на возможности параллельного выполнения этих команд (при этом,конечно, должны быть готовы операнды).В случае последовательности “скалярных” команд эффективность параллелизма работыФУ может быть достигнута только за счет одновременной загрузки ФУ этими командами.

Этореализуется за счет выбора из ОП “длинного командного слова”, содержащего набор команд,соответствующий имеющемуся в процессоре набору ФУ. С определенными ограничениямиэтот подход реализуется в современных «скалярных» процессорах.Конвейерное выполнение операцийОдновременно с организацией параллельной работы функциональных устройствудалось достичь ускорения работы каждого функционального устройства в несколько раз засчет разделения выполнения операции в ФУ на автономные этапы (“ступени”) и организациипоследовательного выполнения этих этапов в конвейерном режиме (это, естественно,потребовало некоторого увеличения оборудования ФУ).

Принимая время выполнения каждогоэтапа операции за такт (для многих процессоров это реально так) и принимая на первуюступень в каждый такт данные для выполнения очередной операции, после выполнения всехэтапов первой операции и получения ее результата результаты остальных операцийполучаются на выходе ФУ каждый такт. Таким образом в ФУ осуществляется параллелизмвыполнения нескольких операций (по числу этапов выполнения операции) на разных этапах(стадиях, “ступенях”) их выполнения.Эффективное использование конвейерных ФУ достигается при наличии каждый тактоперандов для выполнения операции. Это возможно при предварительной (до выполненияоперации) загрузке их (как правило, массивов данных – “векторов”) из ОП в группуспециальных регистров и последующем приеме их из регистров на вход конвейерных ФУ беззадержки. Возможен и прием каждый такт операндов из ОП за счет необходимого для этого“расслоения” памяти.34При разделении ФУ на K ступеней выполнение N операций на нем будет осуществлено заK+(N-1) тактов.Примером конвейерного выполнения операций в ФУ может служитьчетырехступенчатый конвейер выполнения операции умножения чисел, представленных вдвоичной системе счисления с “плавающей запятой”.

На первой ступени конвейервыполняется сложение “порядков” операндов (степеней двойки – основания системысчисления), на второй ступени выполняется перемножение мантисс операндов. На третьейступени выполняется “нормализация” результата (приведение значения мантисс вустановленный диапазон значений с соответственным изменением порядка результата), начетвертой ступени – округление результата.В случае выполнения нескольких связанных “векторных” операций возможнаорганизация их конвейерного выполнения без запоминания на регистрах или в ОПпромежуточных результатов.