Высокопроизводительные парал. вычисления на кластерных системах. Воеводин (2005) (1186026), страница 49
Текст из файла (страница 49)
Содержит функциональность созданияпрокси-объектов, для произвольного .NET типа. Это достигается засчет использования библиотеки System.Reflection.Emit, которая позволяет динамически создавать MSIL код в процессе работы приложения.Процесс создания прокси-объекта проходит следующим образом:• создается новый тип данных пронаследованый от базового типа;• для каждого виртуального метода помеченого атрибутом [parallel] создается метод двойник переопределяющий базовый и вместо непосредсвенного его выполнения формирует Т-метод используя функ243циональность уровня Т-суперструктуры;• создает и возвращает пользовательскому уровню экземпляр нового типа (прокси-объект).Т-суперструктураСодержит описание основных Т-структур и реализует Т-семантику(алгоритм параллельной редукции графа вычисления программы, логику работы с готовыми и неготовыми значениями).Структура представляющая собой вызов Т-метода.
Во время обращения к ней создает и запускает Т-поток.public struct MethodCall {public MethodInfo methodInfo;public object target;public object[] parameters;public object retVal;public MethodCall(MethodInfo mi, objectt, object[] p, object r);}Реализует концепцию Т-потока – не привязаную к конкретной реализации. Для непосредвенной инициации вычисления используетфункциональность T-runtime.
По завершении вычислений информирует об этом все ждущие Т-объекты.public abstract class AMThread {public static AMThread Current;public MethodCall MethodCall;abstract public void Activate();abstract public void Suspend();abstract public void Resume();abstract public void Run();abstract public void Join();}Т-объект реализует в себе логику работы с неготовыми значениями, синхронизации вычислений.public class TObject {public object Value;public bool IsReady = false;public bool IsLocked = false;244public AMThread ParentThread;public AMThread ProducerThread;}Уровень T-runtime (среда исполнения)Содержит низкоуровневые детали реализации T#.
Доступен другим уровням посредством следующего интерфейсаpublic abstract class TRuntime {private static TRuntime _currentRuntime= null;public static TRuntime CurrentRuntime {get {return _currentRuntime;}}public abstract void Initialize();public abstract void EnqueueMethodCall(MethodInfo mi,object target, object[] parameters, object retVal);public abstract object Wait(ref objecto);}Ключевыми являются методы EnqueueMethodCall и Wait.Метод EnqueueMethodCall реализует выполнение Т-метода в контексте текущей среды исполнения, передавая вызов метода планировщику задач, который в последствии разместит метод на соответствующем узле кластера используя Транспортный уровень.Метод Wait реализует механизм синхронизации вычислений.Транспортный уровеньВ текущей версии T# существуют два варианта транспортногоуровня:• основаный на потоках – полезен при изначальной отладке программы на одном компютере;• основаный на .NET Remoting – реализует выполнение методов впределах кластера.
.NET Remoting реализует большую часть низко245уровневых деталей транспортного уровня. Однако, есть возможность ипереопределить часть реализации транспортного протокола, напримерсоздать свой алгоритм сериализации данных (Formatters) и реализациюКаналов (Channels).Помимо этого возможна реализация транспортного уровня на основе Веб-сервисов, для развертывания T# в распределенных гетерогенных сетях.Планировщик задачРеализован ленивый алгоритм планировки задач:Имеются 3 очереди.// Задачи ожидающие запуска (глобальная очередь)public Queue PrenatalTasks = new Queue();// Активные задачи текущего узлаstatic public Queue RunningTasks = new Queue();// Приостановленые задачи (обратившиеся к неготовым значениям)public Hashtable WaitingTasks = new Hashtable();По завершении текущей задачи на каком-либо из узлов, планировщик выбирает следующую задачу по следующему принципу:• если очереди активных и пренатальных задач пусты – это означает что новых задач на выполнение нет, а все текущие приостановлены.
В этом случае планировщик ожидает пока в какой-либо из очередей не появятся задачи;• если эти очереди не пусты, то впервую очередь запускаются задачи из очереди активных задач на текущем узле;• в случае если очередь активных задач пуста, планировщик выбирает задачу из очереди пренатальных задач и помещает ее в очередлокалььных активных задач;• в случае если выполняемая задача приостанавливается в связи собращением к неготовому значению, она перемещается в очередь приостановленых задач и планировщик пытается выбрать очередную задачу из очередей активных или пренатальных задач;• по завершении вычисления задачи, производится оповещениевсех потребителей данной задачи и все соответствующие присотановленые задачи перемещаются обратно в очередь активных задач.246МемоизацияДля улучшения производительности и поддержки отказоустойчивости реализована поддержка мемоизации, для Т-методов помеченыхсоответствующим атрибутом.
При вызове такого метода, проверяетсяналичие соответствующего вызова (пара – метод, параметры) в глобальной мемотаблице.//Memo Tablepublic Hashtable MemoTable = new Hashtable();ЗаключениеРассмотреная в данной работе система T# обладает следующимисвойствами:• легкость обучения для пользователя;• снижение трудозатрат при преобразовании существующих последовательных программ на C# в параллельные;• разделение системы на разные уровни обеспечивает гибкостьсистемы и возможность создания специализированых версий, оптимизированых под конкретные условия.Дальнейшие направления работы включают в себя:• реализацию распределенной памяти;• поддержка ленивых вычисления;• реализация транспортного уровня системы на основе вебсервисов.РЕШЕНИЕ ЗАДАЧ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙНА ПРИМЕРЕ РАСПРЕДЕЛЕННОГО СЖАТИЯМУЛЬТИМЕДИЙНОЙ ИНФОРМАЦИИЭ.М.
ШагатдиноваОренбургВ последнее время все большие требования предъявляются к производительности микропроцессоров, реализующих непосредственноесжатие мультимедийной информации. Порой информация занимаетвнушительные объемы (наиболее актуально для видео), тем более еслиэто добро хранится без компрессии, то есть без сжатия. Самый простойпуть сокращения объема – использовать популярные архиваторыWinRar или WinZip. Но, увы, даже с включенной опцией «мультиме247дийное сжатие» при архивации видеоинформации они дают выигрышне более 30% от исходного объема, затрачивая при этом ощутимоевремя на процесс компрессии.
Выход в том, что для многих задач, например, обработки аудио и видеоданных, производительность алгоритмов может быть увеличена за счет использования параллельнойобработки. Одной из актуальных проблем при разработке программпараллельной обработки является высокая трудоемкость распараллеливания программы на уровне отдельных инструкций. Большинствотрадиционных технологий и средств параллельного программированияоснованы на принципе выделения в программе относительно большихнезависимых блоков, которые могут выполняться параллельно и передавать данные через определенную систему коммуникаций. Примерами таких систем являются MPI, PVM.
Такой подход предполагает наличие определенного числа обычных последовательных процессоров.В случае программирования для одного процессора, допускающегопараллельное исполнение инструкций, такие системы не могут эффективно применяться, поскольку явное описание параллелизма на уровнеотдельных инструкций является неприемлемым решением.Создание программы для параллельной (многопроцессорной) вычислительной системы включает в себя, как правило, две основныхстадии. Во-первых, последовательный алгоритм подвергается декомпозиции (распараллеливанию), т.е. разбивается на независимо работающие подзадачи (ветви параллельного алгоритма), а для обмена информацией между подзадачами (или для взаимодействия между ветвями)вводятся две дополнительных операции – прием и передача данных.Во-вторых, распараллеленный алгоритм записывается в виде программы, в которой операции приема и передачи представляются в терминахконкретной системы программирования, обеспечивающей связи междуподзадачами.
Наш подход состоит в использовании библиотеки PVMдля автоматического распараллеливании мультимедийной информации, и ее последующего сжатия стандартными кодеками или средствами IPP@Intel. Выбор был сделан в пользу PVM с учетом гетерогенности, размерами кластера, на котором реализуется поставленная задача,и степенью устойчивости программы, обеспечивающейся PVM, программа реализуется на языке высокого уровня С++, т.к.
достаточнокачественно реализована привязка к нему. Кластерный комплекс, накотором ведутся работы, работает под управлением ОС Linux. Кластеры представляют собой многопроцессорные компьютеры, образованные из вычислительных модулей высокой степени готовности, которые248связаны между собой системой связи или разделяемыми устройствамивнешней памяти.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
