Высокопроизводительные парал. вычисления на кластерных системах. Воеводин (2005) (Высокопроизводительные парал. вычисления на кластерных системах. Воеводин (2005).pdf), страница 9

Комплексный взгляд на собранную в хранилище данных информацию, ее обобщение и агрегация,гиперкубическое представление и многомерный анализ являются задачами систем оперативной аналитической обработки данных (OLAP).Здесь можно или ориентироваться на специальные многомерныеСУБД, или оставаться в рамках реляционных технологий.

Во второмслучае заранее агрегированные данные могут собираться в БД звездообразного вида, либо агрегация информации может производиться налету в процессе сканирования детализированных таблиц реляционнойБД.3. Сфера закономерностей. Интеллектуальная обработка производится методами интеллектуального анализа данных (ИАД, DataMining), главными задачами которых являются поиск функциональныхи логических закономерностей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и/илипрогнозируют развитие некоторых процессов.Преимущества использования кластеров в OLAP-системахДля построения OLAP системы необходимы достаточно большиеаппаратные ресурсы, которые позволяли бы производить сбор информации, построение необходимой структуры и предоставление актуальной информации клиентам. В полном объеме с такой задачей справится гомогенный кластер.Основными преимуществами кластера являются:1.

Обеспечение высокого уровня готовности по сравнению с разрозненным набором компьютеров или серверов. Повышение готовности системы обеспечивает работу критических для OLAP приложенийна протяжении максимально продолжительного промежутка времени.К критическим можно отнести все приложения, от которых напрямую39зависит способность OLAP системы выполнять свои функции. Какправило, использование кластера позволяет гарантировать, что в случае, если сервер или какое-либо приложение перестает нормальнофункционировать, другой сервер в кластере, продолжая выполнятьсвои задачи, возьмет на себя роль неисправного сервера (или запуститу себя копию неисправного приложения) с целью минимизации простоя пользователей из-за неисправности в системе.2.

Значительное увеличение общей производительность сети (высокая степень масштабируемости). Кластер позволяет гибко увеличивать вычислительную мощность системы, добавляя в него новые узлыи не прерывая при этом работы пользователей. Современные кластерные решения предусматривают автоматическое распределение нагрузки между узлами кластера, в результате чего одно приложение можетработать на нескольких серверах и использовать их вычислительныересурсы.3. Уменьшение затрат на администрирование локальной сети (хорошая управляемость).4. Обеспечение высокой доступности сетевых служб.

Даже при отказе одного из серверов кластера, все обеспечиваемые кластеромслужбы остаются доступными пользователям.Принципы построения кластеров на базе серверовпо технологии «кольцо»В зависимости от количества узлов кластера используются различные типы соединений: кольцо, 2D и 3D торы. В небольших системах,имеющих небольшое количество узлов (до 8), эффективно использовать топологию простого кольца (см. рисунок)Аппаратное обеспечение для построения кластеровДля практической реализации систем оперативной аналитическойобработки данных на гетерогенных кластерах, были выбраны следующие узлы кластера:2 сервера СУБД ORACLE, реализованных на серверах Sun SPARCи Intel Xeon,2 Web-сервера Apache – на серверах Sun SPARC и Intel Pentium 3,2 сервера ORACLE Express Server – на серверах Intel Pentium 3 и 1сервер приложений для работы с OLAP и БД – на серверах Intel Pentium 3.40#7INOUT#6INOUT#5INOUT#4INOUT#3INOUT#2INOUT#1INOUT41ТЕХНОЛОГИИ ПАРАЛЛЕЛЬНОГО ПРОГРАММИРОВАНИЯДЛЯ ИДЕНТИФИКАЦИИ ТЕХНИЧЕСКОГО СОСТОЯНИЯТРУБОПРОВОДОВА.Ю.

ВладоваОренбургский государственный университетСистемы трубопроводного транспорта газа составляют основу топливоснабжения страны. Трубопроводы относятся к категории энергонапряженных объектов, отказы в которых сопряжены со значительнымматериальным и экологическим ущербом. С появлением промышленных образцов внутритрубных дефектоскопов стало возможным получение обширной информации по дефектам на протяжении многокилометровых участков ТП. Однако объективный анализ данных затруднениз-за большого количества длительных трудоемких вычислений, поэтому ранее разработанный автором программный комплекс моделирования и прогнозирования технического состояния трубопроводовнуждается в улучшении по критерию производительности.Цель работы формулируется, как повышение эффективности идентификации технического состояния трубопроводов на базе технологийпараллельного программирования.

Для решения поставленной проблемы сформулированы следующие этапы:– анализ структуры существующего программного комплекса (ПК)для выделения блоков, подлежащих распараллеливанию,– выбор средств распараллеливания,– оценка полученных результатов по разработанной иерархическойструктуре критериев.Структурная схема существующего ПК [1] состоит из трех основных модулей: идентификации, прогнозирования и расчета эффективности идентификации технического состояния (ТС).

Область применения– обработка и анализ баз данных, полученной внутритрубными инспекциями с помощью снарядов-дефектоскопов «Ультраскан». В первом модуле производится разбиение всей длины трубопровода на участки, затем на каждом совмещенном по инспекциям участкам, определяются параметры рельефности и рассчитывается ТС каждого парногоучастка для первой и второй внутритрубной инспекции. Проведенныйанализ структуры ПК в рамках первой задачи позволил выявить, чтопроцедуры выбора оптимальной модели дефектов, вычисления параметров рельефности, их нормализация, а также выбор оптимальнойагрегированной модели технического состояния ТП по глубине, пло42щади и объему дефектов подлежат распараллеливанию, как независимые вычисления (рис.

1).Чтение и преобразованиеисходных данныхВыявление оптимальнойдлины участкаВыбор оптимальноймодели дефектов поглубинеВыбор оптимальноймодели дефектов поплощадиВыбор оптимальноймодели дефектов пообъемуВычисление и нормализация параметроврельефности поглубинеВычисление и нормализация параметроврельефности поплощадиВычисление и нормализация параметроврельефности пообъемуВыбор агрегированноймодели по глубинеВыбор агрегированноймодели по площадиВыбор агрегированноймодели по объемуРис. 1. Схема распараллеливания первого модуля программного комплексаДля оценки остаточного ресурса, обеспечения надежной работы исовершенствования системы технического обслуживания и ремонтатрубопроводов решается задача прогнозирования на базе дифференциальных уравнений первого и второго порядков с запаздыванием.

Второй модуль ПК, решающий задачу прогнозирования и состоящий изблоков выбора модели прогнозирования, определения параметров прогнозной модели: постоянных времени и установившегося значения ТСучастка, прогнозирования кинетики ТС, скорости коррозии и коррозионной устойчивости, а также анализа связи прогнозной скорости коррозии и ТС поддается распараллеливанию по критерию выбора прогнозной модели в соответствии с рис. 2.ТП в течение всего срока службы испытывают значительные внутренние напряжения, близкие к нормативным характеристикам прочности металла, поэтому даже незначительные отклонения действительных условий от принятых в расчетах приводят систему в состояниепредельного напряжения.Работоспособность ТП, как любой сложной технической системы,43зависит от совокупности параметров, наиболее информативным из которых является комплексный показатель – эффективность функционирования.Чтение ТСВыбор модели прогнозированияОпределение параметровпрогнозной модели первогопорядкаОпределение параметровпрогнозной модели второгопорядкаПрогнозирование ТС, скорости коррозии, коррозионной устойчивости по модели первого порядкаПрогнозирование ТС, скорости коррозии, коррозионной устойчивости по модели второго порядкаАнализ связи прогнознойскорости и ТС по моделипервого порядкаАнализ связи прогнознойскорости и ТС по моделивторого порядкаРис.

2. Схема распараллеливания второго модуля программного комплексаТретий модуль ПК проводит расчет эффективности идентификации по трем наиболее важным характеристикам: надежности, стоимости эксплуатации и объемной подачи газа на базе двух моделей: безучета и с учетом ТС трубопроводов. Расчеты являются независимымипроцессами и распараллеливание в соответствии с рис. 3 должно повысить производительность вычислений.Учитывая, что задача прогнозирования и оценки эффективностифункционирования требуют на входе результаты вычисления ТС понескольким инспекциям, но являются независимыми вычислениями,они также могут выполняться одновременно.В рамках второй задачи при выборе средств распараллеливания,учитывалось, что существующий ПК написан на языке высокого уровня DELPHI и перенос на другой язык был бы неоправданно трудоемким процессом. Объем баз данных, содержащих дефекты, и большоеколичество возможных пересылок способствовали выбору в пользусистем с общей памятью.44Чтение ТС и параметровмоделированияМоделирование надежности функционированияМоделирование стоимости эксплуатацииМоделирование поставки газаРасчет эффективностиидентификацииОценка эффективностифункционированияРис.