Баканов В.М. Сети ЭВМ и телекоммуникации (1086235), страница 9
Текст из файла (страница 9)
Фирма Dolphin Interconnect Sol. производитразличное оборудование для SCI и в том числе PCI-SCI адаптеры, которые применяются в кластерных системах SCALI. Адаптеры обеспечивают высокую производительность - пропускная способность превышает 300 Мбайт/сек, латентность - до3 мксек. Коммутаторы обычно не используются, топологии - кольцо (при рекомендуемом числе ВУ до 8), 2D-тор (количество ВУ до 24) и 3D-тор (при сотняхВУ).Технология Myrinet (фирма Myricom, Inc., http://www.myri.com) требует использованияспециальногокоммутатора,пропускнаяспособностьдо200 Mбайт/сек, латентность – до 10 мксек.ТехнологияInfiniBand(консорциумInfiniBandTradeAssociation,http://www.infinibandta.org) использует удаленный прямой доступ в память(RDMA, Remote Direct Memory Access), позволяющий доставлять данные непосредственно в память процесса без вовлечения системных вызовов.
Для InfiniBand характерноиспользованиекоммутаторов,пропускнаяспособностьдо1’000 Mбайт/сек, латентность – до 4 ÷ 5 мксек.В данном варианте МВС используется операционная система LinuxSlackWare 11 (ядро версии 2.6.17); нижеприведенные настройки приведеныдля нее (но аналогичны SlackWare 9.1, ядро 2.4.22).На всех ВУ используются два сетевых интерфейса (символьных имен,через которые можно обращаться к аппаратным средствам ЭВМ) – eth0 длясети управления (Fast Ethernet) и eth1 для сети обмена данными (Gigabit Ethernet); причем интерфейс eth0 связан со смонтированным на системнойплате сетевым адаптером, а eth1 – с дополнительной PCI-сетевой картой Gigabit Ethernet.
Для настройки сетевых интерфейсов используется утилита c45командной строкой ifconfig из каталога /etc; для автоматизации настройки целесообразно нужные команды добавить в файл /etc/rc.d/rc.inet1 (выполняющийся при загрузке ОС скрипт, служащий для настройки сетевых интерфейсов). Эти команды могут быть, например, такими:/etc/ifconfig eth1 10.100.5.N broadcast 10.100.31.255 netmask 255.255.224.0/etc/ifconfig eth0 10.100.37.N broadcast 10.100.63.255 netmask 255.255.224.0где N – номер ВУ (N=2 ÷ 24). Соответственно символьные имена ВУ сутьrscu_2 ÷ rscu_24 для сети управления и rscs_2 ÷ rscs_24 для цепи обмена данными, для управляющей машины rscu_1 и rscs_1 (см. рис.
6.2).В случае использования единой физической сети для сетей rscu_n и rscs_nсоответствующие настройки могут быть таковы (нотация eth0:0 как раз и дает возможность связать еще одну виртуальную сеть с тем же самым сетевымадаптером):/etc/ifconfig eth0 10.100.5.N broadcast 10.100.31.255 netmask 255.255.224.0/etc/ifconfig eth0:0 10.100.37.N broadcast 10.100.63.255 netmask 255.255.224.0В файле /etc/HOSTNAME находится имя текущего ВУ в виде строкиrscu_N.rscu (где N описано выше).В файле /etc/hosts (доступный для локального компьютера файл соответствий IP-адресов и доменных имен) должен находиться список всех ВУ ввиде:10.100.5.1rscs_1…….…….10.100.5.24rscs_2410.100.37.1rscu_1…….…….10.100.37.24rscu_24Настройка NFS заключается в описании общих для всех ВУ и управляющей машине каталогов /common (общесистемный каталог) и /home (рабочиекаталоги рядовых пользователей); само описание должно находиться в файле/etc/fstab.
Таким образом, на всех ВУ и УМ должны иметься каталоги /commonи /home, а в файл /etc/fstab следует добавить строки:rscu_1:/commonrscu_1:/home/common/homenfsnfsrsize=8192,wsize=1024,noacrsize=8192,wsize=8192,actimeo=10000На всех ВУ и на УМ должно быть разрешено открытие не менее 16’384файлов; это число следуетзаписатьв файлы /proc/sys/fs/file-max и/etc/sysctl.conf на всех ВУ и на управляющей ЭВМ.46В конфигурационных файлах /etc/hosts.allow и /etc/hosts.deny находятся адреса удаленных ЭВМ, доступ которых по протоколу TCP/IP (с иcпользованием служб rlogin, rsh, telnet, finger, talk) к данному компьютеру соответственно предоставляется или не предоставляется (если адреса нет ни в одном изуказанных файлов, доступ разрешен).
Список ЭВМ и их пользователей, которым разрешено выполнять команды rlogin (заход на удаленную ЭВМ) и rsh(выполнение заданной команды на удаленной ЭВМ), хранится в файле/etc/hosts.equiv (если ЭВМ или пользователя в этом файле нет, то с этой машины этот пользователь никакими силами ни rsh, ни rlogin на данную машинувыполнить не сможет; причем обратное неверно: если в /etc/hosts.equiv пользователь и ЭВМ описаны, то попытка пользователя зайти подлежит дополнительной проверке). В рассматриваемом случае на ВУ в этом файле находится строка rscu_1 root, что дает возможность суперпользователю получатьполное управление над ВУ. При этом выполняется дополнительная проверка– в файле /etc/inetd.conf в строках, отвечающих за настройку TCP-демоновlogin и shell необходимо указать следующее (сим подтверждается разрешениесуперпользователю root заходить с УМ на ВУ без ввода пароля):shell stream tcp nowait.10000 root /usr/sbin/tcpd in.rshd -lhlogin stream tcp nowaitroot /usr/sbin/tcpd in.rlogind -lhПараметр настройки nowait.10000 отменяет режим выключения InterNetдемона inetd на минуту в случае излишне частых обращений; этот режим поумолчанию включен для пресечения хакерских атак типа DoS (Denial of Service, отказ в обслуживании).Типовым приемом изменения настроек каждого ВУ является заход суперпользователя root на этот ВУ с УМ с помощью команды rlogin rscu_N (возвратпо logout); при вышеуказанных настройках пароль затребован не будет.Для удаленной работы пользователей на МВС применяются клиентскиепрограммы ТelNet, SSH, PuTTY и др.
(для любителей FAR’а может быть интересен WinSCP-базированный Far SCP/SFTP client plugin; подробнее см.http://winscp.net/eng/far.php).Администрирование МВС осуществляется суперпользователем root непосредственно с консоли УМ или в режиме УД доступа с использованием разработанного ИПМ им. В.М.Келдыша специализированного WEB-интерфейса[6], при этом необходимые действия выполняются Perl-скриптами подуправлением функционирующего на МВС сервера Apache.Дополнительными заданиями (исследовательского уровня) могут являтьсяопределение зависимости межузловой скорости обмена данными от размерапередаваемого пакета и оценка времени выполнения основных операций пообмену данными (величины латентности в первую очередь).6.3 Необходимое оборудование – многопроцессорная вычислительная система (МВС) на основе IBM PC-совместимых вычислительных узлов под47управлением Linux SlackWare, управляющая ЭВМ с системой удаленногодоступа к ресурсам МВС.6.4 Порядок проведения работы.
На первом этапе работы студенты знакомятся с аппаратной частью коммуникационной среды МВС (сетевыми коммутаторами, сетевыми картами, кабельной системой); по заданию преподавателя может быть проведен частичный демонтаж системы (с восстановлениемисходной схемы).На втором этапе изучается функционирование программной части сетевойкомпоненты МВС.
Типовыми индивидуальными заданиями являются:• Работа с консоли технического обслуживания (дисплей + клавиатура)по изменению сетевых настроек с целью изменения прав доступа посети с УМ на конкретный ВУ.• Тестирование сетевой защищенности ВУ (т.е. возможности сетевогодоступа с УМ на ВУ и извне УМ (по IntraNet-сети кафедры) к ВУ.• Проверка возможности захода с управляющей машины на ВУ для суперпользователя и произведения нужных изменений.• Оптимизация скорости доступа к ресурсам жестких дисков на ВУ(применение команды hdparm в режиме УД с правами суперпользователя), производится под руководством преподавателя.• Настройка параметров функционирования NFS для обеспечения наибольшей скорости доступа к общим ресурсам (производится по указанию преподавателя).Индивидуальными заданиями повышенной сложности являются (цель –определение основных параметров коммуникационной среды):• Определение зависимости реальной (с учетом латентности) скоростипередачи данных от размера передаваемого пакета.
Целесообразновоспользоваться программой PROG_MPI, подробнее см. работу (*).• Определение времени выполнения основных операций по обмену данными (включая величину латентности); рекомендуется тестовая программа MPI_TEST (*) разработки НИВЦ МГУ, см. http://parallel.ru.• Влияние алгоритма решения задачи и размера данных на величину сетевой деградации МВС (на примере рассмотрения алгоритмов умножения матриц с различной величиной гранулы зерна параллелизма).6.5 Оформление отчета по работе.
В отчет должна входить схема сетевыхсоединений МВС (с указанием распределения IP-адресов, назначением и ко*Баканов В.М., Оcипов Д.В.Параллельное программирование в стандарте MPI.// Учебно-методическое пособие по выполнению лабораторных работ. –М.: МГУПИ,2006. –76 с.48личественными характеристиками каждой сети и указанием фирмизготовителей сетевого оборудования), твердые копии содержимого основных файлов сетевых настроек, результаты выполнения заданных преподавателем индивидуальных заданий.6.6 Вопросы для самопроверки.• Какова роль коммуникационной среды в конструкции МВС? Какие сетииспользуются и каковы требования к каждой?• Какие быстродействующие и низколатентные сетевые технологии используются в МВС?• Каким образом удаленные пользователи осуществляют доступ к ресурсамМВС? Каким образом УМ управляет ВУ? Какими путями реализуется защита ВУ от несанкционированного доступа по сети?• Каким программным путем достигается использование для различных сетей единственного сетевого адаптера? Что такое сетевой интерфейс в терминологии Linux?• С какой целью в МВС используется технология NFS?• Какими путями осуществляется техническое обслуживание и настройка сетевого программного обеспечения ВУ?• В каком случае отрицательное влияние латентности на производительностьМВС более значительное – при обмене относительно большими или малыми пакетами данных? Почему?• Какой компонент в коммуникационной сети данной МВС является ‘слабым’ (т.е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
