Основные тенденции в развитии современных вычислительных систем

1. ПРОБЛЕМЫ АНАЛИЗА И СИНТЕЗА СТРУКТУР ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

1.1. Основные тенденции в развитии современных вычислительных систем

            Недостатки архитектуры фон Неймана заключаются не только в ограниченной производительности соответствующих ЭВМ. Существует ряд других недостатков, которые определяются как семантический разрыв между архитектурой ЭВМ и средой, в которую ее помещают для использования [40]. Семантический разрыв обуславливает возникновение ряда проблем, к которым относятся высокая стоимость разработки программного обеспечения, его ненадежность и эксплуатационная неэффективность, чрезмерный объем программ, сложность компиляторов и операционных систем и др. [40].

            Семантический разрыв оказывает косвенное влияние и на понятие производительности ЭВМ, которое разные разработчики понимают по-разному. Основная причина неправильной интерпретации производительности заключается в том, что ее можно определять как на макро-, так и на микроуровне. Многие разработчики, используя традиционный подход к проектированию "снизу-вверх"[53] и стремясь минимизировать стоимость аппаратных средств, концентрируют свое внимание только на микроуровне и возлагают на плечи программистов решение всех остальных трудных проблем. В качестве примера подобного несоответствия возьмем данные из работы [40]. Какая вычислительна система (ВС) имеет более высокую производительность: система, выполняющая программу Х за 1 минуту, но требующая 10 человеко-недель для программирования, или система Y, выполняющая ту же программу Х за 2 минуты при затратах на программирование 2 человеко-недели? С позиций микроуровня быстродействие первой системы по сравнению со второй в два раза выше, с позиций макроуровня - в пять раз ниже. Если же исходить из широко известных статистических данных о том, что 85% всех программ выполняется только один раз, то такая характеристика архитектуры ЭВМ, как простота программирования, является более важной, чем скорость выполнения команд.

            Изложенное выше не означает, что скорость выполнения программы является несущественным фактором. Важно понимать, что быстродействие ВС зависит как от структурных особенностей, так и от вида представления выполняемой программы.

            В работах [10,11,14,15,40,57,66] рассмотрены основные вопросы проектирования современных параллельных ЭВМ и дан анализ новых подходов и достижений в данной области. В данных работах показывается, что, во-первых, традиционная технология проектирования универсальных ЭВМ снизу-вверх, т.е. от архитектуры к численным методам и программам решения задач, неэффективна при разработке параллельных ВС; во-вторых, на заданном наборе алгоритмов максимальная производительность может быть гарантирована только в проблемно-ориентированной ВС и только при проектировании ее сверху-вниз; в-третьих, для эффективного проектирования параллельных ВС необходима единая форма описания как алгоритмов, так и структур ВС.

            Рассмотрим современные подходы к построению параллельных ВС, которые сведены в Таблице 1.1.

Таблица 1.1

СОВРЕМЕННЫЕ ПОДХОДЫ К ПРОЕКТИРОВАНИЮ

Рекомендуемые материалы

ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

            Локальность связей

            Традиционный способ построения параллельных ВС и языков программирования не подходит для системы обработки данных в реальном масштабе времени из-за большого числа вспомогательных операций, связанных с распределением вычислительных ресурсов и препятствующих повышению производительности [52,57]. Поэтому в многопроцессорных системах стало целесообразно использовать локальные связи, что позволяет уменьшить взаимную зависимость процессоров и задержки, вносимые длинными соединениями. Такой подход привел к разработке нескольких специализированных устройств обработки данных с локальными связями и с архитектурой, ориентированной на исполнение в виде СБИС: трансверсальная фильтрация, систолические матрицы, потоковые процессорные матрицы [16,38,69,73].

            Использование локальных связей существенно упрощает процесс проектирования архитектуры ВС и взаимодействия между процессорными элементами (ПЭ). Однако данное преимущество достигается за счет ограничения области применения ВС.

            Программируемая архитектура и динамическая реконфигурация

            вычислительных систем

            Из многочисленных архитектур построения суперЭВМ необходимо отметить как одно из весьма перспективных направлений создание многопроцессорных систем (МПС). Начало работам в данном направлении положено отечественными разработками ВС с перестраиваемой архитектурой [17,18,23].

            Поиски путей совершенствования проектирования и создания ЭВМ привели к созданию фирмой MEIKO Ltd. (Великобритания) новой технологии разработки суперЭВМ, опирающейся на "бесшовную" архитектуру, позволяющую плавно наращивать вычислительную мощность системы для точного соответствия требованиям заказчика ("обычные" суперЭВМ допускают расширение только модулями, причем довольно большими и дорогими). Линейность архитектуры позволяет создавать ВС семейства CS (Computing Surface - вычислительная среда) в любой конфигурации из готовых процессорных и периферийных схемных плат, благодаря чему сокращаются сроки проектирования разработки, изготовления и поставок.

            МПС с перестраиваемой архитектурой можно разделить на два основных класса: МПС с программируемой архитектурой и МПС с динамической реконфигурацией. В МПС с программируемой архитектурой [42,61] нужная конфигурация определяется программным путем, когда пользователь, например, может создавать необходимую группу процессоров с требуемой длиной слова. Передача и распределение информации между множествами процессоров и комплексов памяти происходит через программируемый параллельный коммутатор, называемый иногда коммутационной структурой (КС) [23]. Однако на настоящий момент реализация программируемых коммутаторов сопряжена с определенными трудностями, основная из которых заключается в том, что время передачи данных от одного микропроцессора (МП) к другому через КС существенно больше времени обработки информации в самом МП [11]. Предлагаемые приемы для уменьшения времени передачи данных связаны либо с изменением "покрывающего" алгоритма, либо с поиском более эффективного алгоритма, что приводит к достижению поставленной цели, но либо за счет повышения трудоемкости программирования, либо за счет увеличения времени построения "покрывающего" алгоритма, что не является удовлетворительным.

            Под динамической реконфигурацией МПС [13,52,64,70] понимается способность системы к динамическому перераспределению параллельных ресурсов каждого типа (памяти, центральных процессоров, однородных решающих полей из однотипных ПЭ и др.) между задачами и их параллельными ветвями. Данное перераспределение осуществляется автоматически в результате анализа выполнения программ аппаратными средствами в соответствии с текущими, заранее не предсказуемыми требованиями процессов на вычислительные ресурсы. Средства реконфигурации необходимы в больших распределенных системах, в которых не всегда может существовать возможность или экономическая оправданность останова всей системы с целью внесения модификаций в часть ее аппаратного либо программного обеспечения. Кроме того, в процессе производства систем удобно иметь средства наращивания и интерпретации ее компонент, а в процессе функционирования и эксплуатации - средства, способствующие эволюции системы.

            Особую группу реконфигурируемых систем составляют вычислительные структуры с параллельной архитектурой, построенные на основе клеточных автоматов и нейронных сетей [54,58,76]. Клеточные автоматы рассматриваются как сложные динамические системы, самоорганизующиеся из достаточно простых дискретных компонент и характеризующиеся дискретностью, однородностью структуры, детерминированностью. В работе [71] сравниваются три модели компьютеров с параллельной архитектурой, построенных на основе клеточных структур: процессорные матрицы типа MIMD, матрицы передачи команд и систолические матрицы. На основе анализа предпочтение отдается систолическим матрицам, что объясняется гибкостью параллельной архитектуры и хорошей реализацией в технологии СБИС.

            Основным преимуществом нейронных сетей является их свойство адаптивного самообучения. Разработки в области нейронных сетей и нейрокомпьютеров поддерживаются целым рядом международных и национальных программ. Прежде всего, это объявленная японским правительством в 1988 г. программа "Human Froutiers" [65,69], называемая еще "Шестым поколением", с финансированием в 6,6 млрд. долларов. В США на развитие нейрокомпьютеров выделяется более 1 млрд. долларов, где на сегодня данными разработками занимаются около 50 корпораций [69]. Основными достоинствами подобных ЭВМ являются наилучшее соотношение производительность/стоимость среди различных классов ЭВМ; малые габариты; широкий диапазон производительности (от 50 млн.оп./с до 1 млрд.оп./с), достигаемый за счет различной компоновки модулей; дешевизна в эксплуатации.

            Основными проблемами в производстве отечественных МПС являются, во-первых, слабая технологическая база, из-за чего задерживается изготовление соответствующей элементной базы; во-вторых, отсутствие контрольно-диагностического оборудования отечественного производства; в-третьих, сложность аппаратной реализации цепей коммутации процессов с оперативной памятью (ОП), которая не должна существенно понижать производительность процессоров.

            Пространственно-временное распределение данных

            В каждом алгоритме, реализованном на параллельной ВС, важно точно определить момент времени, когда данные достигают ПЭ. В программе, написанной на обычном языке высокого уровня, нет взаимодействия пространства и времени, так как в ней рассматривается только одно действие в единицу времени и отсутствует информация, где физически расположены данные. Иначе обстоит дело при разработке систем на процессорных и волновых матрицах. Данные, которые расположены далеко от ПЭ, требуют больших энергетических затрат и имеют большее время доступа. Поэтому алгоритм, считающийся хорошим для традиционного языка программирования, не обязательно хорош, когда в расчет принимаются явления, происходящие на физическом уровне. Таким образом, при проектировании параллельных систем на матричных структурах необходимо учитывать пространственное и временное распределение данных [47].

            Декомпозиция вычислительных структур и данных

            При обработке данных на параллельных ВС часто возникают вопросы отображения вычислительных задач большой размерности на ограниченные структуры ПЭ. Поэтому необходимо проектировать только такие специализированные устройства, которые могут быть использованы для решения задачи произвольного размера, и делать это не хуже, чем программные средства универсальных компьютеров. В качестве подходов к решению данных вопросов можно использовать аддитивное разбиение и тензорное исчисление.

            Аддитивные разбиения [47,55] осуществляются в основном в устройствах матричного умножения и применяются для уменьшения "ширины" матрицы, увеличения плотности ненулевых элементов матрицы или уменьшения объема вычислительных ресурсов за счет использования свойств симметрии.

            В соответствии с тензорным подходом сложная система расчленяется на некоторое число подсистем, и на этой базе строятся модели исходной системы. Затем проводится анализ каждой подсистемы в отдельности с получением некоторых результатов. Частные решения подсистем объединяются с использованием аппарата тензорного исчисления.

            Параллельное представление алгоритмов

            Многие важные алгоритмы обработки данных имеют очень специализированные структуры или совсем не структурированы. Реализация таких алгоритмов на параллельных и конвейерных устройствах достаточно сложна. Поэтому для достижения желаемой скорости обработки необходимы средства, позволяющие максимально использовать возможности параллелизма и конвейерной организации. Иначе говоря, задача нахождения отношения параллельности реализуемых алгоритмов на множестве ПЭ весьма актуальна.

            Аппаратные средства, поддерживающие параллельную обработку

            Из числа новых разработок элементной базы для высокопроизводительных ЭВМ следует отметить создание СБИС центральных процессоров с высоким быстродействием, создание высокопроизводительных МП с ограниченным набором команд (RISC-процессоров), реализацию параллельных процессоров в виде одной СБИС и появление транспьютеров - нового мощного направления развития элементной базы.

            Современный уровень развития технологий БИС, используемых при построении суперкомпьютеров, уже сейчас позволяет получать СБИС на основе арсенида галлия, ячейки HEMT, ИС с переходами Джозефсона с быстродействием свыше одного млрд. операций в секунду. Завершена разработка машины типа Cray-3, имеющей 16 процессоров. Период тактовых импульсов системы - 2 нс и производительность - от 20 до 25 млрд. операций в секунду.

            Термин "транспьютер" в настоящее время используется в двух значениях: 1) как наименование программируемых СБИС, разработанных фирмой INMOS и используемых в качестве вычислительных модулей для создания сверхпроизводительных параллельных систем; 2) как наименование любых, подобных транспьютерам вычислительных модулей [76]. Основное назначение транспьютеров заключается в построении параллельных вычислительных систем высокой производительности. Транспьютерную систему можно использовать для организации конвейерных вычислений, систолической обработки, векторной и матричной обработки, обработки методом потока данных.

Рекомендация для Вас - Путешествие Гулливера.

            Обобщая результаты исследований, можно следующим образом отобразить состояние современного развития параллельных ВС.

            1. СуперЭВМ на скалярных операциях имеют предел (100 млн. операций в секунду), который объясняется аппаратными ограничениями. Поэтому достижение производительности в 1000 трлн. операций в секунду и выше возможно только за счет распараллеливания алгоритма на всем протяжении решения задачи.

            2. Многомашинные комплексы типа MISD, построенные на базе микропроцессорных наборов производительностью в 5-7 млн. операций в секунду каждый, не могут решить поставленной задачи ввиду невозможности для большей части задач выполнения требования локализации данных, что приводит к значительным временным затратам на поиск и передачу данных. Кроме того, многопроцессорные комплексы типа MISD и MIMD позволяют повышать производительность ВК не более чем в 10-100 раз ввиду следующих ограничений: увеличение числа процессоров приводит к росту времени доступа к ОП, что начинает снижать производительность каждого процессора; мультипроцессорная система, построенная на традиционных принципах, не исключает человека из процесса распределения ресурсов ВК, что при увеличении степени распараллеливания приводит к росту вероятности появления ошибки.

            3. Проектирование однопроцессорных суперЭВМ (SISD, SIMD) на традиционных принципах организации вычислительного процесса показывает, что увеличение числа исполнительных устройств, использующих схемотехнические решения высокого уровня, конвейеризацию, не может повысить среднюю производительность такой ЭВМ более чем в 10 раз.

            4. Современные коммутационные среды не позволяют обеспечить передачу данных со скоростью, существенно превышающей скорость переработки информации микропроцессорами и скорость взаимодействия с ОП. Применение различных коммутаторов увеличивает время передачи информации от устройства к устройству. С ростом миниатюризации элементной базы проблема построения коммутационной среды не только не снижается, но становится еще более сложной.

            5. Перспективным способом достижения высокой производительности является создание ВС из большого числа однородных ЭВМ, т.е. с использованием многомашинной архитектуры построения вычислительных средств. Данные системы привлекательны из-за локальности линий связи, что обеспечивает большую пропускную способность. Стремление эффективно решать задачи на таких системах должно обязательно сопровождаться согласованием структуры численных методов и архитектуры ВС.