Э. Таненбаум - Архитектура компьютера (1127755), страница 169
Текст из файла (страница 169)
Хотя на рис. 8.28 логика слежения показана в виде шины, физически она представляет собой древовидную структуру устройств, вверх и вниз по которой передаются команды. Когда с шины РС! или процессора поступает адрес, он через двухточечное соединение попадает в адресный повторитель, как показано на рис. 8.29. С любого из двух повторителей адрес попадает в плату расширения, откуда передается обратно вниз по дереву к устройствам. Благодаря этой схеме удается избавиться от шины, соединяющей три платы.
Уровень 3 Уровень 2 Уровень 1 Уровень О Рис. 8.29. Четырехуровневое соединение блоков в Зип Ыте Е25К. Пунктирные линии означают передачу адресов, сплошные — передачу данных Для обмена данными применяется четырехуровневое соединение (рис. 8.29).
Такой подход обеспечивает высокую производительность. На уровне 0 пары процессоров и блоков памяти соединяются неболыпими схемами перекрестной коммутации, которые к тому же соединяются с уровнем 1. Две группы пар процессор-память соединяются второй схемой перекрестной коммутации на уровне 1. Эти коммутаторы выполнены в виде специализированных интегральных схем. У них есть входы для каждой строки и каждого столбца коммутирующей сетки, хотя не все сочетания строк и столбцов используются (или даже имеют смысл). Вся логика коммутации плат построена на схемах перекрестной коммутации размером 3 х 3.
Мультипроцессоры 663 Каждый набор плат состоит из трех плат: платы процессор-память, платы ввода-вывода и платы расширения, соединяющей две предыдущие платы. Коммутатор уровня 2 расположен на плате расширения, он соединяет саму память и порты ввода-вывода (которые во всех процессорах (ЛггаБРАЕС отображаются на память). Все данные, поступающие в набор плат или из него, проходят через коммутатор уровня 2. Наконец, обмен данными между разными платами на уровне 3 происходит через схему перекрестной коммутации размером 18 х 18.
Данные передаются блоками по 32 байта, таким образом, на передачу стандартного блока в 64 байта требуется два такта. Теперь, выяснив, как расположены компоненты, обратимся к общей памяти. На самом нижнем уровне адресное пространство объемом 576 Гбайт разбивается на 2«з блоков по 64 байта. Это — неделимые элементы памяти. У каждого из них есть своя «родная» плата, где блок «живет», пока он не потребуется где-то еще. Большинство блоков большую часть времени находятся на своих платах. Когда процессору требуется блок, будь то с собственной платы или с любой другой из 17 оставшихся, он сначала запрашивает копию в собственном каше, после чего работает с кэшированной копией. Хотя на каждой микросхеме в системе Е25К находятся два процессора, у них общее адресное пространство, а, значит, и общий кэш блоков. Каждый блок памяти (и каждая строка кэша всех микросхем) может находиться в одном из трех состояний: + эксклюзивный доступ (для записи); + совместный доступ (для чтения); + недействителен (то есть пуст).
Когда процессору требуется записать в память слово или считать его из памяти, он, прежде всего, проверяет собственный кэш. Если блок там не обнаруживается, инициируется локальный запрос физического адреса блока, который широковещательно распространяется в пределах своего набора плат. Если нужный блок обнаруживается в кэше набора плат, логика слежения определяет факт кэш-попадания и отвечает на запрос. Если строка находится в эксклюзивном доступе, она передается запросившему ее процессору, а исходная копия помечается как недействительная.
Если же строка находится в совместном доступе, она не передается запросившему ее процессору, так как память сама отправляет ответ, когда очищается строка каша. Если логике слежения не удается найти строку кэша или найденная строка находится в совместном доступе, через центральную панель к родной плате искомого блока передается запрос, чтобы узнать, где находится блок. Состояние каждого из блоков хранится в его ЕСС-битах, поэтому плата может немедленно выяснить это состояние. Если блок не находится в совместном доступе или находится в совместном доступе одной или нескольких удаленных плат, память на родной плате будет обновлена, поэтому родная плата сможет выполнить запрос. В этом случае копия строки кэша за два такта передается через схему перекрестной коммутации данных запросившему ее процессору.
Если делается запрос на чтение, в каталог родной платы блока вносится информация о том, что данную строку кэша использует еще один клиент (то есть 664 Глава 8. Параллельные компьютерные архитектуры она находится в совместном доступе), и на этом транзакция заканчивается. Если же делается запрос на запись, всем платам, имеющим копию блока (если такие есть), передается сообщение о том, что блок более недействителен. Благодаря этому после запроса на запись остается только одна копия блока. Предположим теперь, что блок находится в эксклюзивном доступе удаленной платы. Когда родная плата получает запрос, она по каталогу находит адрес нужной удаленной платы и отвечает на запрос сообщением с информацией о том, где находится строка кэша. После этого отправитель посылает новое сообщение найденной плате.
Когда та получает запрос, она отправляет в ответ требуемую строку каша. После этого, в случае запроса на чтение, строка помечается как находящаяся в совместном доступе, и ее копия отсылается на родную плату. В случае же запроса на запись отвечающая сторона объявляет свою копию недействительной, тем самым предоставляя отправителю запроса эксклюзивную копию. Так как каждая плата содержит 2ж блоков памяти, в худшем случае каталог должен иметь 2ж записей. Поскольку в действительности его объем гораздо меньше, может оказаться, что в каталоге (поиск в котором осуществляется ассоциативно) нет места для некоторых записей. В этом случае родному набору плат придется посылать широковещательный запрос всем остальным 17 наборам плат, чтобы определить местоположение блока. Обязанности по поддержанию согласованности каталогов и выполнению протокола обновления возлагаются на схему перекрестной коммутации ответов, которая обрабатывает большую часть трафика, направленного обратно отправителю.
Благодаря разделению протокольного графика по двум шинам (адресов и ответов) и передаче данных по третьей общую пропускную способность системы удается поддерживать на высоком уровне. За счет распределения нагрузки между разными устройствами на разных платах Бцп Р1ге Е25К может работать с очень высокой производительностью.
Ранее уже упоминалось значение 2,7 миллиардов запросов в секунду. Центральная панель способна поддерживать девять одновременных обменов данными с девятью платами-отправителями и девятью платами-получателями. Так как схема перекрестной коммутации данных имеет ширину 32 байта, за каждый такт может передаваться 288 байт данных. На тактовой частоте 150 МГц это дает пиковую пропускную способность 40 Гбайт/сек, когда все обращения направлены удаленным платам. Если же есть возможность программно расположить страницы памяти так, чтобы большая часть обращений были бы локальными, пиковая пропускная способность системы будет заметно превышать это значение.
Более подробную техническую информацию о Бцп Р1ге Е25К смотрите в [38, 39~. СОМА-мультипроцессоры ХПМА- и СС-ХПМА-машины обладают одним серьезным недостатком: обращения к удаленной памяти выполняются гораздо медленнее, чем к локальной. В СС-ХПМА-машине эта разница в производительности в какой-то степени нивелируется за счет кэш-памяти.
Однако если объем запрашиваемых удаленных данных значительно превышает вместимость кэш-памяти, постоянно будут происходить кэш-промахи, что негативно скажется на производительное~и. Мультипроцессоры 666 Мы уже знаем, что достаточно высокую производительность имеют 0МА-машины, но число процессоров в них невелико, к тому же они довольно дороги. ХС-ХОМА-машины хорошо масштабируются, но в них требуется ручное или полуавтоматическое размещение страниц памяти, результаты которого часто плачевны. Дело в том, что очень непросто предсказать, где и какие страницы могут понадобиться, кроме того, страницы трудно перемещать из-за их больших размеров. СС-ХПМА-машины, такие как мультипроцессор Яцп Е1ге Е25К, начинают работать очень медленно, если большому числу процессоров требуются большие объемы удаленных данных.
Так или иначе, каждая из этих схем имеет существенные недостатки. Однако существует мультипроцессор, в котором все эти проблемы решаются за счет использования основной памяти каждого процессора в качестве кэш-памяти. Такая система называется СОМА (СасЬе Оп1у Мешогу Ассезз — доступ только к кэш-памяти).
В ней страницы не имеют собственных «домашних» машин, как в системах ХОМА и СС-ХОМА, фактически, страницы в этой системе вообще не имеют «прописки». Вместо этого физическое адресное пространство делится на строки каша, которые по запросу свободно перемещаются в системе. Блоки памяти не имеют собственных машин. У них, как у кочевников в некоторых странах третьего мира, дом там, где они оказались. Память, которая привлекает строки по мере необходимости, называется притягивающей. Использование основной памяти в качестве большого кэша увеличивает процент кэш-попаданий, а, следовательно, н производительность. К сожалению, ничего идеального не бывает, С системой СОМА связаны две новые проблемы: + Как размещаются строки кэша? + Что делать, когда удаляемая из памяти строка является последней копией? Первая проблема связана со следуюгцим фактом.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
