Диссертация (Математическое и программное обеспечение балансировки вычислительных заданий для распределенных вычислительных комплексов на основе прогнозных моделей), страница 4

Объем текста диссертации составляет122 страницы, который содержит 2 таблицы и 24 рисунка.20Глава 1. ИССЛЕДОВАНИЕ ЗАДАЧИ БАЛАНСИРОВКИВЫЧИСЛИТЕЛЬНОЙ НАГРУЗКИ В ГЛОБАЛЬНОРАСПРЕДЕЛЁННЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСАХВданнойрассматриваетсяглаведиссертационноговопросбалансировкиисследованиявычислительнойподробнонагрузкивраспределённых вычислительных комплексах (РВК) общего назначения.Проанализированы наиболее распространённые и перспективныеподходы, методы и алгоритмы, позволяющие оперативно балансироватьвозникающей в ходе работы РВК нагрузкой, выделены конкретные областиих использования. Также произведён анализ отечественных и зарубежныхпубликаций,посвященныхданнойтематике,врезультатекоторогосформированы основные задачи, возникающие в ходе использования иреализации программно-аппаратных балансировщиков нагрузки.

На основеанализапроблематикипредметнойобластисформулированыпутиулучшения производительности работы методов балансировки нагрузки вглобально распределённых вычислительных комплексах, что составилоосновную научно-практическую значимость диссертационного исследования.Результаты данной главы опубликованы в работах [38,105,111].1.1. Исследование особенностей и задач реализациисовременных распределённых комплексовКак было уже сказано выше, необходимость в повышении качества искорости обработки однородных данных возникает в современном миреповсеместно. В связи с этим, РВК становятся просто необходимыми вомногих областях науки. Ранее было показано [38], что «одной из основныхзадач любой распределенной системы является анализ свойств полученныхданных, которые, в силу ряда причин, не могут быть оценены на одномузле».

Для решения данной задачи, с целью уменьшения времени решениязадачи, необходимо на первомшаге работы системы осуществить21распределение порций данных на узлы РВК, а в дальнейшем, послеобработки задания, передать обработанные результаты и объединить их вобщее глобальное представление. Это задача довольно сложна из-занеобходимостиучетадинамикиизмененияколичестваикачествавычислительных узлов и распределенных заданий, находящихся в работе.Такой учёт приводит к существенной вариативности параметров локальныхузлов, которые, в свою очередь, определяют вариативность свойств всейраспределённой задачи.

Введение адаптации в РВК позволяет существенноускорить скорость обработки данных и повысить эффективность комплекса вцелом. Далее определим основные понятия распределённых вычислительныхкомплексов и проанализируем основные задачи, возникающие в ходе ихпроектирования и эксплуатации.1.1.1. Распределённые вычислительные комплексы и ихклассификацияВ зарубежной и отечественной литературе существует несколькоподходов к определениюкомплекс».понятия «распределённый вычислительныйКак верно отмечено в [107], отличительной особенностьювычислительнойтехникиявляетсяотсутствиеединогоподходакопределению терминов «вычислительный комплекс», «вычислительнаясеть», «вычислительная система». Согласно определению, данному в [108],«распределенная вычислительная система представляет собой программноаппаратный комплекс, ориентированный на решение определенных задач».

В[109]показано,чтораспределенныеинформационно-вычислительныекомплексы имеют характерные черты сложных систем и к ним применимыосновные положения системного анализа. Соответственно, далее РВКрассмотрим в данном направлении.22«Одно из наиболее полных определений термину «распределённаясистема», которое наиболее часто употребляется в литературных источниках,предложил A.S. Tanenbaum» [38]:«Распределенная система – это набор независимых компьютеров,которыйвоспринимаетсяегопользователямкакединственнаяназываются«программно-последовательная система [15]».Распределеннымикомплексамиаппаратные системы, в которыхтакжеисполнениеопераций (действий,вычислений), необходимых для обеспечения целевой функциональностисистемы,распределено (физически илилогически)междуразнымиисполнителями [16]».Классифицировать распределённые системы можно по различнымпризнакам [38]: «по количеству элементов в системе,по уровнюорганизации распределённых систем, по типу предоставляемых ресурсов, атакже ряду других признаков».

Рассмотрим наиболее распространеннуюклассификацию [38]:«По типу предоставляемых ресурсов различают: распределённые вычислительные системы (Computational Grid) распределённые информационные системы (Data Grid) семантический грид (Semantic Grid)».Как было показано ранее [38], «основная особенность вычислительныхсистем (Computational Grid) заключается в том, что в качестве основногоресурса предоставляется вычислительная мощность всей системы. Основноенаправление развития систем подобного типа заключается в наращиваниивычислительных мощностей системы, посредством увеличения числавычислительных узлов. Примером распределённых вычислительных системявляются кластеры».23Как видно из названия, «распределённые информационные системы(Data Grid) предоставляют ресурсы для обработки больших объёмов данных,для задач, не требующих больших вычислительных ресурсов» [38].Семантическийгридпредоставляетнетолькоотдельныевычислительные мощности (базы данных, сервисы), но и совокупностьвычислительных и информационных систем, для каждой конкретнойпредметной области [18,38].Данноеисследованиеохватываетобластьраспределённыхвычислительных систем.

Под распределённой вычислительной комплексом(РВК) в нашем исследовании будем понимать «программно–аппаратнуюсистему,созданнуюдляконкретногопрактическогоприменения,функционал которой распределён на различных вычислительных узлах» [38].1.1.2. Особенности архитектуры современных РВКСовременныеметодыпостроенияраспределённыхкомплексовхарактеризуются большим количеством используемых архитектур для ихпостроения. Это можно объяснить, прежде всего, бурным развитием рынкателекоммуникационных услуг, развитием новых технологий передачиданных, а также большим вниманием разработчиков к данной проблеме.Потенциально, современный крупный вычислительный комплекс,может быть реализован на одной из множества разработанных насегодняшниймоментархитектуриможетсостоятьизмиллионовгетерогенных территориально-распределённых вычислительных узлов.

Вданномдиссертационномисследованииподвычислительнымузломпонимается компьютер пользователя сети Интернет, рабочая станция,вычислительный кластер, которые могут быть идентифицированы спомощью уникального адреса.На данный момент, можно говорить, что большинство современныхраспределённыхвычислительныхкомплексовстроитсянаоснове24коммуникационных сетей, реализующих принципы сетей следующегопоколения (англ.

NGN- Next Generation Networks), которые характеризуются,прежде всего, переходом от системы с коммутацией каналов (в основномISDN) к пакетной коммутации (пакетной передачи данных) [17]. Дляобеспечения гибкости внедрения различных архитектур мультисервисныхсистем, используются так называемые наложенные сети, которые образуютсяповерх существующих физических каналов связи. Типичным примеромиспользования этого принципа для реализации вычислительных комплексовявляется технология «клиент-сервер».

Эта архитектура состоит из двух типовкомпонент:сервер и клиенты. В технологии клиент-сервер устройство,которое осуществляет обслуживание, называется сервером, а устройство,которое запрашивает соответствующий сервис у сервера, называетсяклиентом.На рисунке 1.1 представлен один из возможных вариантовреализации клиент-серверной модели.Разновидностьюклиент-сервернойархитекурыпостроенияраспределённого комплекса, является многоуровневая архитектура (MultiTiered).

В многоуровневой архитектуре, каждый сервер (слои 2, 3…N)выполняет специализированную задачу (обслуживание). Поэтому, серверможет использовать службы, предоставляемые другими серверами, чтобыобеспечитьсобственнуюслужбу.Однако,взаимодействиеможетпроисходить только между соседними уровнями, то есть запрещаютсяпрямые взаимодействия, минуя промежуточные слои. Для каждого уровнястроится свой универсальный интерфейс, через который происходитвзаимодействие между слоями. На рисунке 1.2 изображен пример реализациимногоуровневой архитектуры.25ОтветКлиент1ОтветКлиент2ЗапросЗапросОтветСерверОтветКлиент3КлиентNЗапросЗапросИнициализирующийпроцесс.формирование ипередача запросаРисунок 1.1 — Пример реализации архитектуры «клиент–сервер»Слой 1КлиентСлой 2СерверСлой 3...Слой NСерверСервер...СерверРисунок 1.2 — Многоуровневая архитектура26В результате того, что многие вычислительные и информационныесистемы достигли критического уровня сложности, при котором они неподдаются ручному управлению, многие организации и ряд авторитетныхучёных сосредоточили свои усилия на создании принципов и моделей,позволяющих как-то автоматизировать управление такими комплексами.

Этопривело к созданию самоорганизующихся наложенных сетей (англ. SelfOrganizing Overlay Network). Самоорганизующиеся наложенные сети, посравнениюстрадиционнымисетями,обладаютпреимуществом,проявляющимся в отсутствии какой-либо иерархической организации и/илицентрализованногоуправления[19].Прототипомреализацииданнойконцепции явилась вегетативная нервная система человеческого организма,которая автономно управляет частью функций человеческого организма, вчастности работой всех внутренних органов [48].