Интеллектуальное управление процессами (статья Кутепова)

ИЗВЕСТИЯ РйН«ТРОР335! И СИСТЕМ61 У!3РЛВЛСНИЯ, 2007, .йй 5, с, 58-73 КОМП ЫОТЕРНЫЕ МЕТОДЫ УД1с 681,3,053>63! 3>.007.5 ИНТЕЛЛЕКТУАЛЬНОЕ УПРАВЛЕНИЕ ПРОИЕССАйл И И ЗАГРУЖЕННОСТЫО В ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ>) Х" Ф 2007 г. В. П, Кутепов Лус>с>>свс>,,ЧЭЫ Поступили и аеаикии>и 21.03.07 г. Рассмитриисиотси лгитоды и и>норитиы илии гисиюго уириилен>!>1 процессами и зигру> и иии;! и. и кснчаьютериых с>!осели>л. 58 Введение. Большие перспективы, которые открывают вычислительные системы (ВС) в решении сложных научно-технических задач и управлении, наметившийся в последнее время качественный скачок в расширении их производи!'ва (см, ТОР-500 й1!р://ли>сии.гор500.огй) возвршцают исследователей и разработчиков в этой области к стары!.1 хорошо известным и пока нерешшшым проблемам ['>1, Главные из них касаются поиска в некотором смысле универсалып!х языков, методов и сред параллельного и распределенного программпровашш и построения систем уг!равлен>гя вычислительными системами.

Если для первой г!роблемы в иасгоящее время найдено более или менее приемлемое практическое решение (ианом>шм о МР! для кластеров, о средствах нитевого программировашся д.ш ЗМР-с!!мметричных мультипроцессорных систем [2), наших разработках систем параллельного программирования [3 — 5)), то задача управления вычислительными системами не имеет сколь-1шбудь заметного продвиженсья в своем решении, По сути, предполагается, что пользователь пе только должен разработать программу, по и "отобразить" ее па конкретную ВС, чтобы достичь жела- ЕМ«ГО ЭффЕКта В л>аСГ!3 ВРЕМЕПИ ВЫПОЛЦЕШ>Я ПРО!РаММЫ 1! НСПОЛЬЗОВаи>Ш В> >с>ПСЛ>>теЛ>,ПЫХ РССУР- с>оа.

Например, разработчики суперсистемы фирмы !ВМ, состоящей из 8192 узлов и установленной в .1!ивсрмоской лаборатории, рекомендуют так организовать ее работу, чтобы па узлах были более алп менее равные с точки зрения вы и>слений задачи, а обмены между узлами лшннмальны. Если для сеточных задач (например, численное решение уравнений в частных производных) это можно как-то сделать, то для задач, имитирующих процессы со сложными и непредсказуемыми взаимодейсгвш>ми, зта рекомендация остается па уровне призыва. Решение проблемы управления процессзли! в ВС наталкивается на принципиальную сложпост!и '"Работа выпоаиеиа арп с)>ииииеаиоа иоааеаиске !'6>с!0! и!роект глз 06.01-006! 7).

связанную с идентификацией их поведи!шя. Одш> путь преодоления эгой трудности сост«!и а рассмотрении поведения процессов как слу шйцых сгохастических процессов с определанными параметрами, Однако даже для последовательных программ наши знания об их поведении весьма ограни чсш !ы, в частности разработка опережшошего ус! ройсгаа машин БТЙЕТСН, а затем БЭСМ-б зс>сгсп> аа ее создателей собрать необходимую сг спич ш.'. !!>>казыааюи!ую, что при выполнении !1«с!>ед»>с гелию,с» программ в среднем каждая дес>пан ком:и;ш представляет команду перехода, из дешгп! комс>нд грп являются независимыми. Другая возможность — п«слр«свис " ! с!з>!>0> .л! смысле адаптивных схсл> упривл шш, с игзи1>, ю! и!> о ся па использовании ка'-!ес!'ис!а!ых л!сивил:Й !!~ гас:;!ения программ, извесп>ых оощнх за!сси!>>л, !сиса!с>- шихся обслуживания процессов н получ;ша,>» и рамках теории массового облу>>списал!>>, !'!>>е!010 этому обязано появление в названии ста ! ! и прилагательного "интеллектуально~".

Известно, например, какук> вьокпу!о рс>ль сыграли многоуровневые адаптивные схемы п«кишп»и>ого циклического облуживсиаш процессов и ли!ого. пользовательских системах с разделшн!ем ирсмглш. Задача состояла в том, чтобы обеспс шти .йла>рптет в обслуживании "коротких" по сл.алис и! 1! процессов. Способность указании!» с»сл«>«л) х«!шплш процессов достаточно тол!!10 днс1>фирса>,1>!1>си!и > ь 1!» по сложности, а также подбор со >ти. гсг>0 >с»>1!!» значений квшггования для о !срсдей 1>а ив,!» ур«иней позволили успешно решить лрс>ба!му.

Эп! ганнзация облужива>вв1 п[кии>ссои !1о-!!1>с: ! 1гил>г 1!спользуется в компьютерах для того, !!о«1,>аоста и, эффективного их взаимодействия с 1!с>;>>. ю я:т т!ил! при решении задач. Можно привести и другие примеры ус>>оса>!о:.о ПРИМЕИЕИИЯ ешаПТИВНЫХ ЭВР1!СП1»110>Л1!П, ЗЬШП!!> О поведении программ в рсшсшш и; дич уа1:и>л:шш многопрограммной работой в сишелги» с«стр;шпчИОй ПаиятЬЮ [б-9!.

В Чаетп«СП>, дОСт:ГГОЧ!Ю !С>л!!!ОЕ прогнозирование поведеши программы и процессе ИНТЕЛЛЕКТУАЛЬНОЕ УПРАВЛЕНИЕ ПР011ЕССА М И ИЗВЕСГИ51!'АН. ТЕОРИЯ И СИСТЕМЫ УПРАВЛЕНИЯ Лэ 5 2007 ес выполнения может основываться на динамическом обнаружении циклически повторяющихся участков, что было успеп!По применено в управлении многопрограммной работой в системах со страничной памятью [8, 9]. Полученный эффект— уменьшение до 50% частоты обменов между оперативной и дисковой памятью н увеличение до 30% производительности многопрограммной работы !количества программ выполняемых в единицу времени). Однако проблема эффективного управления процессами в больших компьютерных системах, насчитывающих десятки тысяч узлов ЕВС АЯС! ЖНПЕ, установленная в Ливермоской.лаборатории, содержит 65536 узлов), ыасголько сложыа, что помимо чисто управленческих решений она требует согласования архитектуры ВС и се управления, учитывающего ограничен)гя коммуникационных средств, возможносгь масштабировайия, динамического реконфигурирован!ля в процессе ее функционирован!Гя.

Цель статьи — изложить развиваемый нами подход к управлению большими компьютсрнымн системами 1!] н реализуемый в наших проектах создания систем параллельного программирования для класгсрных систем !3-5]. Е Архитектурные особенности совремеипых ВС. Сегодня мы имеем дело со следующими общими формами организации ВС: многомашишюй, предполагающей объединение посредством коммуникаций множества компьютсров, взаимодейсгвуюпплх друг с другоч посредством обмена сообщениями, многопроцесторной, ориентированной на использование общей памяти и множества процессоров, взаимодействующих друг с другом либо путем разделения общих переменных, либо путем обмена сообщепиямн через специально организуемые и защищенные семафорами так называемые почтовые ящики, смешанной, когда в ВС присутствуют обе указанные выше Организационные формы, Типичными примерами современных многомашинных ВС с разделенной памлггью являются системы фирмы 1ВМ !1О].

К этому типу организация относятся кластеры (сошлемся на примеры Отечественных кластеров МВС 1000, СКИ<15 — производство России совместно с Республикой Беларусь), Различие между этими системами состоит в том, что в,продуктах фирмы 1ВМ используются более мощные коммупнкаинн на уровне групп узлов (по 16 компьютеров), представлшощне собой переключательпые матрицы и позволяющие каждому компьютеру группы прямо связываться через лнншо связи с любым другим компьютером группы.

У кластеров, как прилило, подобная возчожпость Отсутствует, все взаимодействия между компьютерами осуществляются по единому сценарию через общие сетевые коммуникации. Ни у первой, пп у второй организацношюп структур)л ВС пе пред):— смотрены специальные технические решешш, учитывающие особеипосги взаимодействия компьютеров ВС по управлеппкл и далнь;м и иапйавлслшые иа эффек плвную реализацшо в Гаимодейпгвий перво г» т!лпа !1]. Считается, ~!тп дл5! )'Праьл5ПОщих взш!мод!.йствий доцгато ша Оищги! ~:.Омм) и!!кип!»5ишя среда.. Важная п]зоблема маспГГабпроваши! для таких систем решается достато !но пр»сто и единообразно путем подсоединения поила компьютеров на общие коммуникации (у клас!еров) либо путем введс- ния дополнительных псрекл)очатслыплх схем связи (паприхлер, у систем 5Р), В л5»бом слу шс увеличение масштаба сисгемь! Означает увеличение в среднем времени взицюдсйспиш между компыотерамн ВС.

Геометрия размсщсш)я стоек с компьютерами в простриьтпкх так жс как и структура связей между компьютерами, могут сильно влиять напрем!! межкомпыотс!л5ых вза)!хлодс!!стаи!!(Гп))эпичен!Пк длина линии связи и ьшксимальпая ско- рость передачи сигнала ие б»лес скорости света и»- ка не преодолень!), Помимо ТОГО, ')ТО время Ггш)и!ОдсисГи)я межд)' компьютерамп зависит От расс!Г)5пп!5! 5!ежду ними. остается с!це задержка, кот»рук! шпьига!От латина постыо (время па оргиипшпио передачи даниил нулевой длины — пусгого иакс и!) и которая сег»дия даже у самых соврсмсшплх сетевых коммунпкапи! порядка нескольких микрос.куид.

Тини лныхш ири- мерами ВС с общей оиср;пивной накипью явля!ОГ- ся системы фирмы Неш ш! Рас1и ГГ) и Сопгех 515Р !11], у которых группа От !О До 32 процессоров р;!- ботает со свосй Об)ней швпп ью, используя в!>!сок»- скоростной коммутпор, а хлас5п и!бирона ппс системы Осуилесгв)!яетс5! Путем Об ьсдипс! Пш ! 1)упп ~!с)лез более медленные г»р»и;!опдальиис структуры коммуникации. Прп сравнении Обеих оргаипзаиш! ВС очевидно, что ВС с раздслишой нам!пью проще масштабировать, а у ВС с Общей иамятьло больше возможносгси поддерживать мслкозсрипсгып иа раллелизм, по крашгеи 55с)зе, па уровне группы про цессоров. Многие нзвестиыс фир5ш! (!х!')ЕЕ, Я2), 1ВМ АМ)3, др.) перешли в )шсг»яи!ее время к ширлжо ) производству Гш' иаз! и!асхи !х хли!5го5!Де)лп, х ВС с об!цсй памяти», П» суп!.

От» хиюг»!ф»!Гесс»)лпь)с ВС 1ЯМР) с общей пах!5! и,)!5 Упр,шлсшш такими ВС Осущесшлястод)ш Опера!)Пш!Пая сисгсма (ОС), под держ!5ва!ОшГш 5штевос (пли)!)!)5ГО!л!1!Пй) программпровипле, представляю)цсс ип и.» !и!»с, как приукрашенные для пользо 55!тел!! срсдсгш! ОС, прсдипзиа- чепные для порождсшш:!р»цлсс»в, »ргашпацип пх взаимодействия п шп)хрш!.Гшиии. О! Рэпичспизя пропускная способи»сгь о!,О!5!пи)лио!5! пахвпи является серьезным ире!штсписм ири их масштабировании. бб КутВПОВ изниг.ги5! Н5лн. тБОРия и системы у1!Рльчнз!!1!5! Ха 5 зьоа Естественное объедшвзнне обоих вариантов построения ВС приводит к ВС с многопроцессорнылзи ,узлами. Прн этом решщотся проблемы масштабирования, объединен!и в рамках одной системы возможности поддерживать мелкозернистый параллелизм'внутри узлов и крупнозернистый на уровне узлов, Очевидно, что по этому пути будет происходить развитие ВС в ближайшие годы, 2.