2006 Ответы на экзаменационные вопросы по ПОД (Lilalbrother), страница 4

В этом смысле иногда говорят, что классическиеSMP-компьютеры обладают архитектурой UMA (Uniform Memory Access), обеспечиваяодинаковый доступ любого процессора к любому модулю памяти.Другим примером NUMA-компьютера являлся компьютер BBN Butterfly, который вмаксимальной конфигурации объединял 256 процессоров (рис. 2.16).

Каждыйвычислительный узел компьютера содержит процессор, локальную память и контроллерпамяти, который определяет, является ли запрос к памяти локальным или его необходимопередать удаленному узлу через коммутатор Butterfly. С точки зрения программистапамять является единой общей памятью, удаленные ссылки в которой реализуютсянемного дольше локальных (приблизительно 6 мкс для удаленных против 2 мкс длялокальных).По пути построения больших NUMA-компьютеров можно было бы смело идти вперед,если бы не одна неожиданная проблема — кэш-память отдельных процессоров. Кэшпамять, которая помогает значительно ускорить работу отдельных процессоров, длямногопроцессорных систем оказывается узким местом.

В процессорах первых NUMAкомпьютеров кэш-памяти не было, поэтому не было и такой проблемы. Но длясовременных микропроцессоров кэш является неотъемлемой составной частью. Причинунашего беспокойства очень легко объяснить. Предположим, что процессор P1 сохранилзначение х в ячейке q, а затем процессор P2 хочет прочитать содержимое той же ячейки q.Что получит процессор Р2? Конечно же, всем бы хотелось, чтобы он получил значение х,но как он его получит, если х попало в кэш процессора Р1? Эта проблема носит названиепроблемы согласования содержимого кэш-памяти (cache coherence problem, проблемакогерентности кэшей).

Указанная проблема актуальна и для современных SMPкомпьютеров, кэш процессоров которых также может вызвать несогласованность виспользовании данных.Рис. 2.15. Схема вычислительной системы Рис. 2.16 Схема вычислительной системыCm*BBN ButterflyДля решения данной проблемы разработана специальная модификация NUMAархитектуры — ccNUMA (cache coherent NUMA). He будем сейчас вдаваться втехнические подробности множества протоколов, которые обеспечивают согласованностьсодержимого всех кэшей. Важно, что эта проблема решается и не ложится на плечипользователей.

Для пользователей важнее другой вопрос, насколько "неоднородна"архитектура NUMA? Если обращение к памяти другого узла требует на 5—10% большевремени, чем обращение к своей памяти, то это может и не вызвать никаких вопросов.Большинство пользователей будут относиться к такой системе, как к UMA (SMP), ипрактически все разработанные для SMP программы будут работать достаточно хорошо.Однако для современных NUMA систем это не так, и разница времени локального иудаленного доступа лежит в промежутке 200—700%.

При такой разнице в скоростидоступа для обеспечения должной эффективности выполнения программ следуетпозаботиться о правильном расположении требуемых данных.На основе архитектуры ccNUMA в настоящее время выпускается множество реальныхсистем, расширяющих возможности традиционных компьютеров с общей памятью. Приэтом, если конфигурации SMP серверов от ведущих производителей содержат 16—32—64процессора, то их расширения с архитектурой ccNUMA уже объединяют до 256процессоров и больше.БИЛЕТ 11. Общая структура компьютера Hewlett-Packard Superdome.Проведем исследование архитектуры параллельных компьютеров с общей памятью напримере вычислительной системы Hewlett-Packard Superdome. Компьютер появился в2000 году, а в ноябрьской редакции списка Тор500 2001 года им уже были заняты 147позиций.Компьютер HP Superdome в стандартной комплектации может объединять от 2 до 64процессоров с возможностью последующего расширения системы.

Все процессоры имеютдоступ к общей памяти, организованной в соответствии с архитектурой ccNUMA. Этоозначает, что, во-первых, все процессы могут работать в едином адресном пространстве,адресуя любой байт памяти посредством обычных операций чтения/записи. Во-вторых,доступ к локальной памяти в системе будет идти немного быстрее, чем доступ к удаленной памяти. В-третьих, проблемы возможного несоответствия данных, вызванныекэш-памятью процессоров, решены на уровне аппаратуры.В максимальной конфигурации Superdome может содержать до 256 Гбайт оперативнойпамяти.

Ближайшие планы компании — реализовать возможность наращивания памятикомпьютера до 1 Тбайта.Архитектура компьютера спроектирована таким образом, что в ней могут использоватьсянесколько типов микропроцессоров. Это, конечно же, традиционные для вычислительныхсистем Hewlett-Packard процессоры семейства РА: РА-8600 и РА-8700.

Вместе с тем,система полностью подготовлена и к использованию процессоров следующего поколенияс архитектурой IA-64, разработанной совместно компаниями HP и Intel. При замене существующих процессоров на процессоры IA-64 гарантируется двоичная совместимостьприложений на системном уровне. В дальнейшем, если другого не оговорено, будемрассматривать конфигурации HP Superdome на базе процессора РА-8700.Основу архитектуры компьютера HP Superdome составляют вычислительные ячейки(cells), связанные иерархической системой переключателей.

Каждая ячейка являетсясимметричным мультипроцессором, реализованным на одной плате, в котором есть всенеобходимые компоненты (рис. 3.12):* процессоры (до 4-х);* оперативная память (до 16 Гбайт);* контроллер ячейки;* преобразователи питания;* связь с подсистемой ввода/вывода (опционально).Интересно, что ячейки Superdome во многом похожи на аналогичные архитектурныеэлементы других современных ccNUMA компьютеров. В Superdome таким элементомявляется ячейка, в семействе SGI Origin 3x00 это узел (node), а в компьютерах серииCompaq AlphaServer GS320 — QBB (Quad Building Block). Во всех системах в каждомэлементе содержится по четыре процессора.Центральное место в архитектуре ячейки Superdome занимает контроллер ячейки.Несмотря на столь обыденное название, контроллер — это сложнейшее устройство,состоящее из 24 миллионов транзисторов. Для каждого процессора ячейки естьсобственный порт в контроллере.

Обмен данными между каждым процессором иконтроллером идет со скоростью 2 Гбайт/с.Рис. 3.12. Структура ячейки компьютера HP Рис. 3.13. Общая структура компьютера HPSuperdomeSuperdomeПамять ячейки имеет емкость от 2 до 16 Гбайт. Конструктивно она разделена на двабанка, каждый из которых имеет свой порт в контроллере ячейки. Скорость обменаданными между контроллером и каждым банком составляет 2 Гбайт/с, что даетсуммарную пропускную способность тракта контроллер—память 4 Гбайт/с.Соединение контроллера ячейки с контроллером устройств ввода/вывода (12 слотов PCI)устанавливается опционально.Один порт контроллера ячейки всегда связан с внешним коммутатором. Он предназначендля обмена процессоров ячейки с другими процессорами системы.

Скорость работы этогопорта равна 8 Гбайт/с.Выполняя интерфейсные функции между процессорами, памятью, другими ячейками ивнешним миром, контроллер ячейки отвечает и за когерентность кэш-памяти процессоров.Ячейка – это базовый четырехпроцессорный блок компьютера. В 64-процессорнойконфигурации Superdome состоит из двух стоек, в каждой стойке по 32 процессора (рис.3.13).Каждая стойка содержит по два восьмипортовых неблокирующих коммутатора. Всепорты коммутаторов работают со скоростью 8 Гбайт/с. К каждому коммутаторуподключаются четыре ячейки. Три порта коммутатора задействованы для связи с другимикоммутаторами системы (один в этой же стойке, и два коммутатора— в другой).Оставшийся порт зарезервирован для связи с другими системами HP Superdome, что даетпотенциальную возможность для формирования многоузловой конфигурации компьютерас общим числом процессоров больше 64.Одним из центральных вопросов любой вычислительной системы с архитектуройccNUMA является разница во времени при обращении процессора к локальным иудаленным ячейкам памяти.

В идеале хотелось бы, чтобы этой разницы, как в SMPкомпьютере, не было вовсе. Однако в таком случае система заведомо будет плохомасштабируемой. В компьютере HP Superdome возможны три вида задержек приобращении процессора к памяти, являющихся своего рода платой за высокуюмасштабируемость системы в целом:процессор и память располагаются в одной ячейке; в этом случае задержка минимальна;процессор и память располагаются в разных ячейках, но обе эти ячейки подсоединены кодному и тому же коммутатору;процессор и память располагаются в разных ячейках, причем обе эти ячейкиподсоединены к разным коммутаторам; в этом случае запрос должен пройти через двакоммутатора и задержки будут максимальными.Компьютер HP Superdome имеет массу интересных особенностей.

В частности,программно-аппаратная среда компьютера позволяет его настроить различным образом.Superdome может быть классическим единым компьютером с общей памятью. Однако егоможно сконфигурировать и таким образом, что он будет являться совокупностьюнезависимых разделов (nPartitions), работающих под различными операционнымисистемами, в частности, под HP UX, Linux и Windows 2000. Организация эффективнойработы с большим числом внешних устройств, возможности "горячей" замены всехосновных компонентов аппаратуры, резервирование, мониторинг базовых параметров —все это останется за рамками нашего обсуждения.БИЛЕТ 12.