Диссертация (1149731), страница 22
Текст из файла (страница 22)
Решениезадачи распределения ресурсов было представлено в главе 3 и проиллюстрировано в следующем примере в подразделе 5.1.2.Этот простой пример показывает разнообразие алгебраических операций,в терминах которых могут быть сформулированы сценарии анализа данных,простор для оптимизации запросов и возможность их приближенного исполнения.1175.1.2. Анализ неоднородных данныхСледующий пример аналитического сценария подчеркивает необходимость работы в неоднородной среде, включающей как разнообразные источникиданных, так и различные исполнители, в том числе распределенные. Также каки пример в главе 3 этот сценарий приближенного анализа данных демонстрирует потребность в распределении ресурсов.Давайте предположим, что мы анализируем социальные источники информации (такие как рейтинги товара на сайте магазина и сообщения покупателейв социальных сетях), чтобы узнать, как удовлетворенность покупателей зависит от цены, по каждой категории товаров.
Иными словами, мы ищем ответна вопрос: согласуется ли разница в цене на товары из одной категории с удовлетворенностью пользователя? Таким образом, можно сформулировать следующий запрос: для каждой категории товаров и каждого ценового диапазонавычислить средние значения рейтингов на сайте магазина и средние значенияэмоциональных оценок в социальных сетях. Соответствующий план выполнения запроса показан на рисунке 5.2 со следующим описанием узлов:1: group by PriceRangenest (ProdGroup, avg(Rating),avg(Sent))2:3:group join on ProductModelgroup join on ProductModel4:get database product table5:get retailer ratings for products6:get sentiments from tweets for productsПредположим, что внешние первичные информационные ресурсы выдаютвыходные потоки объектов с разной скоростью: 500 объектов в секунду для оценок в интернет-магазине и 300 объектов в секунду для эмоциональных оценок,извлеченных из социальных сетей.
Поскольку источники данных представляют собой (потенциально неограниченные) потоки, точное вычисление ответа назапрос невозможно. Предположим, что пользователь ожидает получить приближенный результат выполнения запроса за 230 секунд. Это приводит к необходимости приближенного выполнения запроса, основанного на ограниченииколичества объектов, обрабатываемых каждой из операций.118а Возможное распределение ресурсовб Альтернативное распределение ресурсовРис. 5.2.
Аналитический примерОграниченное количество вычислительных ресурсов, в данном случае время, может быть распределено между операциями в плане по-разному, как показано на рисунках 5.2а, 5.2б. Можно заметить, что стратегия распределенияресурсов проиллюстрированная на рисунке 5.2б, предпочтительнее, посколькусогласно ей не извлекаются дополнительные эмоциональные оценки, если былополучено недостаточно оценок с сайта магазина.5.1.3. Извлечение данныхРассмотрим пример из области финансового мониторинга, иллюстрирующий разнообразие реальных задач, при решении которых возникает необходимость в приближенном выполнении сценариев обработки данных.
Один изосновных процессов в управлении хранилищем данных является ETL процесс,в котором происходит извлечение данных из информационных систем внешнихфинансовых организаций; их трансформация и очистка, чтобы они были согласованы и соответствовали потребностям аналитической модели; и загрузка ихв хранилище данных.Для извлечения данных из информационных систем различных финансовых организаций может быть использована специфическая операция первичной119выборки, рассмотренная в подразделе 2.4.1 главы 2, и основанная на серии изнескольких запросов на извлечение данных.В области финансового мониторинга ряд задач требует своевременного решения, зачастую за некоторое фиксированное время. Это приводит необходимости частичного извлечения данных из внешних источников и балансу междуточностью анализа и временем вычислений.При одновременном извлечении больших объемов данных из несколькихпервичных источников еще одним критическим вычислительным ресурсом может быть пропускная способность канала.
Это также приводит к необходимости неполного извлечения данных и разделения вычислительных ресурсов(пропускной способности канала) между несколькими операциями первичнойвыборки.5.2. Основные требованияОсновные требования к системе выполнения запросов, которые должныобеспечиваться ее архитектурой, включают:∙ Декларативные средства описания сценариев анализа данных.∙ Возможность работы в неоднородной среде, включающей как разнообразные источники данных, так и различные исполнители, в том числераспределенные.∙ Возможность использования языков источников данных и исполнителей.∙ Расширяемость системы за счет:– Конфигурации новых операций на основе базовых операций и исполнителей;– Добавления новых операций и исполнителей, ранее не включенныхв систему;∙ Возможность эффективной передачи данных между исполнителями безматериализации промежуточных результатов.120∙ Оптимизация сложных аналитических сценариев на основе разнородныхкритериев (время вычислений, качество результата и другие).∙ Возможность оптимального использования доступных вычислительныхресурсов при приближенном исполнении запросов.В разделе 5.3 описывается высокоуровневая архитектура расширяемой системы оптимизации и приближенного выполнения запросов, учитывающая этитребования.5.3.
АрхитектураВ архитектуре системы важно специфицировать внешние интерфейсы,описать внутренние компоненты и протоколы их взаимодействия. Можно выделить два типа интерфейсов: интерфейсы работы с внешним окружением системы, представленные в подразделе 5.3.1, и интерфейсы расширения системы,специфицированные в разделе 5.4. Внутренние компоненты и процессы системыоптимизации и исполнения запросов, описаны в подразделе 5.3.2.5.3.1.
Окружение системыПрежде чем перейти к обсуждению внутренних компонент системы опишем ее окружение, другие программные компоненты, с которыми она будетвзаимодействовать. На рисунке 5.3 изображена система оптимизации и приближенного выполнения запросов в среде, включающей в себя внешний модуль,реализующий интерфейс с пользователем; разнородные источники данных ивычислители.Разработанная нами система функционирует на промежуточном слое обработки запроса, расположенном между пользовательским интерфейсом и конечными вычислителями. Далее мы специфицируем в архитектуре системы взаимодействие с внешними компонентами и определим процессы работы с запросомвнутри слоя.Во-первых, запросы будут передаваться в систему из некоторого внешнегомодуля-клиента, реализующего интерфейс с пользователем.
Клиент позволяет пользователю формулировать сценарии обработки данных и анализировать121Рис. 5.3. Архитектура системы выполнения запросоврезультаты их исполнения, в то время как в систему передаются задачи оптимизации и выполнения запросов на алгебраическом уровне.Предполагается, что запрос от пользователя формулируется на некотором высокоуровневом языке: расширении SQL, аналогичном предложенномув [13], или некотором графическом. Таким образом, клиент строит алгебраическое представление запроса, специфицированного пользователем, и передаетв систему.
В модельной реализации первичный запрос представляется в видеXML дерева, в котором вершины и атрибуты описывают операции и их параметры.Архитектура системы анализа данных строится на основе расширяемойалгебры операций над Q-множествами, описанной в главе 2, которая позволяетдекларативно специфицировать запросы на обработку данных. Одним из основных требований к системе, определенных в разделе 5.2, является ее расширяемость, которую необходимо учесть в архитектуре. Таким образом, должнобыть предусмотрено расширение системы анализа данных новыми операциями или алгоритмами, что не позволяет в реализации жестко ограничить наборопераций уже специфицированными.Во-вторых, предлагаемая архитектура опирается на систему неоднородных, возможно, распределенных вычислительных модулей, в качестве которыхмогут выступать существующие СУБД, машины map-reduce или другие внешние программы.
Система отвечает за оптимизацию и приближенное выполнение122запросов на алгебраическом уровне, и передавать непосредственные вычислительные задачи внешним модулям. Таким образом поиск оптимального планаприближенного выполнения запроса происходит централизованно, а непосредственное исполнение может быть распределено между вычислительными модулями. Реализации отдельных операций в системе определяют, как именноможет быть вызвано ее выполнение на том или ином внешнем вычислительноммодуле.В-третьих, в системе происходит анализ данных из внешних источников разнородных по типу и методам хранения данных, например, файлов илитаблиц СУБД. Неоднородность источников данных на алгебраическом уровнескрывается работой с операциями первичной выборки, которые строят представление данных в едином формате. Таким образом, так же как и в случаеработы с внешними вычислительными модулями, протокол работы с внешнимисточником данных определяется при реализации и регистрации в системе соответствующей алгебраической операции.5.3.2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
