Курс лекций - конспект от Томилина в ворде (1156246)

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

17

Введение

Целью курса “Архитектура параллельных вычислительных систем” является рассмотрение способов организации параллелизма обработки информации на различных уровнях вычислительных систем. Будут рассмотрены концептуальные (архитектурные) решения такой организации и структурные решения, позволяющие реализовать предложенные концепции. Следует отметить, что области сущностей вычислительных систем, покрываемые понятиями “архитектура” и “структура”, заметно пересекаются, и в данном курсе не будет преследоваться их строгое разделение там, где в этом нет необходимости.

Понятие архитектуры параллельной вычислительной системы является достаточно широким, поскольку под архитектурой понимается и общая организация параллельной обработки данных, используемая в системе, и особенности системы команд процессоров, и организация памяти, и топология связи между процессорами.

Попытки систематизировать все множество архитектур предпринимались, начиная с 60-х годов прошлого века, и продолжаются сейчас.

Часто используют два понимания термина “архитектура” – в ”узком” и “широком” аспекте.

С термином “архитектура” в “узком” аспекте связываются все те сущности вычислительной системы, которые определяют особенности программирования для нее, в первую очередь, система команд, выполняемых процессорами.

С термином “архитектура” в “широком” аспекте связывается разделение вычислительной системы на уровни с определением интерфейсов между ними (например, уровни организации аппаратуры, функций системного программного обеспечения – операционных систем и систем программирования, прикладного программного обеспечения).

В 1966 г. М.Флинном (M.Flynn) был предложен подход к классификации вычислительных систем, основанный на понятии последовательностей (потоков) команд и данных.

В классификации Флинна описываются четыре архитектурных класса:

OKOD (SISD) - одиночный поток команд и одиночный поток данных;

OKMD (SIMD) - одиночный поток команд и множественные потоки данных;

MKOD (MISD) - множественные потоки команд и одиночный поток данных;

MKMD (MIMD) – множественные потоки команд и множественные потоки данных.

OKOD. К этому классу относятся компьютерные системы, которые имеют один процессор, способный обрабатывать один поток последовательно исполняемых инструкций.

OKMD. В этих системах одна и та же инструкция параллельно выполняется над разными данными.

Подклассом OKMD – систем являются векторные компьютеры. Команды векторных компьютеров оперируют массивами данных подобно тому, как команды “скалярных” машин оперируют отдельными элементами таких массивов.

MKOD. Теоретически в этом классе машин множество потоков инструкций должно выполняться над единственным потоком данных. Реальных машин этого класса создано не было.

MKMD. Эти машины параллельно выполняют несколько потоков инструкций над различными потоками данных. Этими потоками инструкций могут быть программы ветвей (параллельных процессов) одной задачи или программы разных задач.

Подробная организация параллелизма в вычислительных системах классов OKOD, OKMD и MKMD будет являться предметом рассмотрения в представляемом курсе.

Внутрипроцессорный параллелизм

В процессе совершенствования процессоров вычислительных машин было пройдено много этапов развития внутрипроцессорного параллелизма:

• организация параллельной работы основных устройств – арифметико-логического устройства (АЛУ), устройства управления (УУ), оперативной памяти (ОП) за счет введения устройств промежуточного хранения обрабатываемой информации – возникновение конвейера исполнения команд;

• разделение АЛУ на функциональные устройства (ФУ) выполнения отдельных операций (например, сложения, умножения, деления) и организация параллельной работы ФУ;

• организация конвейерного выполнения операций в ФУ;

• организация совмещенного выполнения нескольких потоков команд в обрабатывающем узле процессора за счет чередования выборки команд для выполнения из разных потоков для эффективной загрузки ФУ;

• организация параллельного выполнения нескольких потоков команд в обрабатывающем узле процессора за счет использования в нем нескольких комплектов оборудования (“многоядерность”)

Параллелизм работы основных устройств ЭВМ.

В самых первых ЭВМ основные устройства – ОП, УУ, АЛУ работали последовательно.

Вначале осуществлялся выбор текущей команды программы из оперативной памяти. Устройства УУ и АЛУ простаивали.

Затем выполнялась дешифрация в УУ выбранной команды и определялись адреса нахождения в ОП операндов, необходимых для ее выполнения в АЛУ (или адрес в ОП команды, на которую следует передать управление). ОП и АЛУ простаивали.

На следующем этапе снова работала ОП – выполнялся выбор операндов или первой указанной команды из новой последовательности команд. УУ и АЛУ простаивали.

Затем с использованием выбранных операндов команда выполнялась в АЛУ (если она не являлась командой передачи управления). ОП и УУ простаивали.

Последним этапом было осуществление записи в ОП результата выполненной в АЛУ команды (если запись предусматривалась в команде). УУ и АЛУ простаивали.

После осуществления указанных этапов выполнения команды начинался аналогичный цикл действий для выполнения следующей команды. Простои в работе основных устройств ЭВМ были весьма значительными.

Введение двух новых структурных решений позволило ликвидировать простои в работе основных устройств ЭВМ и обеспечить их параллельную работу. Этими решениями были:

• организация параллельной работы нескольких блоков оперативной памяти (“расслоение” памяти);

• организация буферного хранения информации, передаваемой между основными устройствами ЭВМ.

Одновременно существенному уменьшению количества команд в программе и обращений к оперативной памяти послужило:

• введение в устройстве управления индексных регистров, используемых для автоматической модификации адресов операндов (например, для работы с массивами данных в программных циклах);

• организация автоматического повторного выбора из буферных устройств промежуточного хранения информации (без обращения к оперативной памяти) часто используемых команд и данных – организация “кэш-памяти”.

Уменьшению числа обращений к оперативной памяти способствовало также введение для часто используемых данных регистров, непосредственно указываемых в командах (регистров “общего назначения”).

Реализация параллелизма работы основных устройств ЭВМ удачно осуществлена в отечественной универсальной ЭВМ БЭСМ-6 (1967г.), созданной в Институте точной механики и вычислительной техники (ИТМ и ВТ) под руководством академика Сергея Алексеевича Лебедева.

Образовавшийся в БЭСМ-6 “конвейер команд” - параллельное выполнение команд на разных стадиях их исполнения (от выборки из ОП до выполнения в АЛУ и записи результата выполнения в ОП) позволил в 4 раза увеличить быстродействие машины по сравнению с использованием последовательной работы ее основных устройств при той же элементной базе и конструкции ЭВМ.

Использование в командах “прямо адресуемых” регистров было реализовано в ряде ЭВМ IBM-360 и затем в производимых в СССР и странах Совета экономической взаимопомощи (СЭВ) ЭВМ “единой серии” (ЕС ЭВМ).

Множественность функциональных устройств процессора

Разделение универсального арифметико-логического устройства (АЛУ), выполнявшего широкий набор операций, на набор устройств выполнения отдельных операций или групп “родственных” операций (сложения-вычитания, умножения, деления, сдвига, операций алгебры логики и т.п.) – «функциональных» устройств позволило организовать их параллельную работу. Получившееся при этом заметное увеличение объема оборудования должно было компенсироваться существенной эффективностью такого параллелизма. Для этого в идеале нужно было обеспечить параллельную подачу команд для выполнения на этих устройствах и готовность операндов, необходимых для выполнения команд.

Задержки при последовательной подаче из УУ на ФУ независимых по операндам “векторных” команд работы с массивами данных (“векторами”) при большой длине массивов не сильно сказываются на возможности параллельного выполнения этих команд (при этом, конечно, должны быть готовы операнды).

В случае последовательности “скалярных” команд эффективность параллелизма работы ФУ может быть достигнута только за счет одновременной загрузки ФУ этими командами. Это реализуется за счет выбора из ОП “длинного командного слова”, содержащего набор команд, соответствующий имеющемуся в процессоре набору ФУ. С определенными ограничениями этот подход реализуется в современных «скалярных» процессорах.

Конвейерное выполнение операций

Одновременно с организацией параллельной работы функциональных устройств удалось достичь ускорения работы каждого функционального устройства в несколько раз за счет разделения выполнения операции в ФУ на автономные этапы (“ступени”) и организации последовательного выполнения этих этапов в конвейерном режиме (это, естественно, потребовало некоторого увеличения оборудования ФУ). Принимая время выполнения каждого этапа операции за такт (для многих процессоров это реально так) и принимая на первую ступень в каждый такт данные для выполнения очередной операции, после выполнения всех этапов первой операции и получения ее результата результаты остальных операций получаются на выходе ФУ каждый такт. Таким образом в ФУ осуществляется параллелизм выполнения нескольких операций (по числу этапов выполнения операции) на разных этапах (стадиях, “ступенях”) их выполнения.

Эффективное использование конвейерных ФУ достигается при наличии каждый такт операндов для выполнения операции. Это возможно при предварительной (до выполнения операции) загрузке их (как правило, массивов данных – “векторов”) из ОП в группу специальных регистров и последующем приеме их из регистров на вход конвейерных ФУ без задержки. Возможен и прием каждый такт операндов из ОП за счет необходимого для этого “расслоения” памяти.

При разделении ФУ на K ступеней выполнение N операций на нем будет осуществлено за K+(N-1) тактов.

Примером конвейерного выполнения операций в ФУ может служить четырехступенчатый конвейер выполнения операции умножения чисел, представленных в двоичной системе счисления с “плавающей запятой”. На первой ступени конвейер выполняется сложение “порядков” операндов (степеней двойки – основания системы счисления), на второй ступени выполняется перемножение мантисс операндов. На третьей ступени выполняется “нормализация” результата (приведение значения мантисс в установленный диапазон значений с соответственным изменением порядка результата), на четвертой ступени – округление результата.

В случае выполнения нескольких связанных “векторных” операций возможна организация их конвейерного выполнения без запоминания на регистрах или в ОП промежуточных результатов. Результаты выполнения операций будут поступать с выходов одних ФУ на входы ФУ, выполняющих операции, связанные с предшествующими. Фактически образуется длинный конвейер с числом ступеней, равным сумме количеств ступеней во всех связанных таким образом ФУ. Такая организация называется “зацеплением” ФУ. Соответственно дополнительно многократно увеличивается производительность процессора при выполнении последовательности связанных векторных операций (достигается так называемая “супервекторная” производительность). Например, при выполнении векторного оператора E =(A+B) x C/ D реализуемого последовательностью трех векторных операций на ФУ, имеющих по 4 ступени, работающие за 1 такт, общее время вычисления оператора E будет равно

12+(N-1), где N – число компонент векторов A,B,C,D и E То есть, для векторов, содержащих по 64 компонента, данное вычисление, требующее выполнения 192-х двуместных операций, будет выполнено всего за 75 тактов.

Удачным примером организации “векторно-конвейерной” ЭВМ является ЭВМ “Cray-1” (1976 г.), созданная компанией Cray Research руководством Сеймура Крея (эту машину называют первым суперкомпьютером в мире).

Представляет также интерес организация векторно-конвейерной ЭВМ без регистров промежуточного хранения «векторных» данных (ЭВМ Cyber-205 фирмы CDC и созданная в ИТМ и ВТ под руководством Андрея Андреевича Соколова отечественная ЭВМ МКП (“модульный конвейерный процессор”), объединяющая архитектурные решения ЭВМ Cray-1 и Cyber-205 c организацией многопоточных вычислений (последнее будет рассмотрено также в следующем разделе курса).

Совмещение выполнения нескольких потоков команд. Многоядерность.

Особенности последовательности команд, реализующей некоторый алгоритм обработки данных, могут не позволить использовать параллельно весь набор функциональных устройств процессора (даже после машинно-зависимой оптимизации программы, выполненной транслятором).

Вероятность параллельного использование ФУ в такой ситуации увеличивается при обеспечении в любой момент возможности взятия команд на выполнение из других последовательностей команд, предназначенных к выполнению на этом же процессоре. Это могут быть, в первую очередь, программы различных ветвей (параллельных процессов) решения одной задачи (Hyper – Threading).

Размещение в одном кристалле микропроцессора нескольких комплектов оборудования для выполнения операций (многоядерность) при сохранении использования общей оперативной памяти (возможно и кэш-памяти) позволяет естественно увеличить многопоточность обработки данных в процессоре. Забота о назначении потоков команд для выполнения на различных ядрах процессора, также как и об организации указанного выше режима Hyper-Threading, ложится на операционную систему ЭВМ.

Многопроцессорность.

Параллельное выполнение операций в OKMD – системах.

Характеристики

Тип файла документ

Документы такого типа открываются такими программами, как Microsoft Office Word на компьютерах Windows, Apple Pages на компьютерах Mac, Open Office - бесплатная альтернатива на различных платформах, в том числе Linux. Наиболее простым и современным решением будут Google документы, так как открываются онлайн без скачивания прямо в браузере на любой платформе. Существуют российские качественные аналоги, например от Яндекса.

Будьте внимательны на мобильных устройствах, так как там используются упрощённый функционал даже в официальном приложении от Microsoft, поэтому для просмотра скачивайте PDF-версию. А если нужно редактировать файл, то используйте оригинальный файл.

Файлы такого типа обычно разбиты на страницы, а текст может быть форматированным (жирный, курсив, выбор шрифта, таблицы и т.п.), а также в него можно добавлять изображения. Формат идеально подходит для рефератов, докладов и РПЗ курсовых проектов, которые необходимо распечатать. Кстати перед печатью также сохраняйте файл в PDF, так как принтер может начудить со шрифтами.

Список файлов лекций