Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Построение структуры данных

Построение модели данных

Форматы данных идентификации

Источники данных идентификации

Бизнес-требования

Рисунок 1.2 – Структура процесса Data Mining

1.4.5 Доступ через web-интерфейс

Для работы с OLAP-системой могут быть использованы различные приложения, например Excel. Чаще всего доступ осуществляется через специализированный web-портал, позволяющий работать с OLAP-кубами и отчётами, обладающий административным интерфейсом и возможностью разграничения прав доступа к данным и инструментам.

Excel был бы хорошим вариантом, если бы все пользователи работали в одном здании и имели доступ к серверу анализа через общую локальную сеть. Но, поскольку пользователям необходимо работать с одним приложением из различных организаций, распределенных территориально по всему миру, требуется похожий на Excel компонент, к которому пользователи смогут получать доступ через Интернет.

Microsoft Project Server даёт возможность построить OLAP базу данных из таблиц отчетов. Это также позволяет создавать многомерные кубы данных, которые могут использоваться для отчетности. Информация, представленная в кубах добавляет фактор временных данных к стандартному набору.

Для построения веб-приложения Project Web App (PWA) могут использоваться продукты Project Server, SQL Server Analysis Services (SSAS) и SQL Server (то же, что и SQL DBMS).

1.5 Обзор сфер применения OLAP-технологий

OLAP применим везде, где есть задача анализа многофакторных данных. Вообще, при наличии некоторой таблицы с данными, в которой есть хотя бы одна описательная колонка (измерение) и одна колонка с цифрами (меры или факты) OLAP-инструмент, как правило, будет эффективным средством анализа и генерации отчетов.

Рассмотрим некоторые сферы применения OLAP-технологий, взятые из реальной жизни.

Продажи.

На основе анализа структуры продаж решаются вопросы необходимые для принятия управленческих решений: об изменении ассортимента товаров, цен, закрытии и открытии магазинов, филиалов, расторжении и подписании договоров с дилерами, проведения или прекращения рекламных кампаний и т.д.

Закупки.

Задача обратно противоположная анализу продаж. Многие предприятия закупают комплектующие и материалы у поставщиков. Торговые предприятия закупают товары для перепродажи. Возможных задач при анализе закупок множество, от планирования денежных средств на основе прошлого опыта, до контроля за менеджерами, выбирающими поставщиков.

Цены.

С анализом закупок смыкается анализ рыночных цен. Целью этого анализа является оптимизация расходов, выбор наиболее выгодных предложений.

Маркетинг.

Под маркетинговым анализом будем иметь ввиду только область анализа покупателей или клиентов-потребителей услуг. Задачей этого анализа является правильное позиционирование товара, выявление групп покупателей для целевой рекламы, оптимизация ассортимента. Задача OLAP в данном случае – дать пользователю инструмент быстрого, со скоростью мысли, получения ответов на вопросы, интуитивно возникающие по ходу анализа данных.

Склад.

Анализ структуры остатков на складе в разрезе видов товаров, складов, анализ сроков хранения товаров, анализ отгрузки по получателям и многие другие важные для предприятия виды анализа возможны при наличии в организации складского учета.

Движение денежных средств.

Это целая область анализа, имеющая множество школ и методик. OLAP-технология может служить инструментом реализации или усовершенствования этих методик, но никак не их заменой. Анализируются денежные обороты безналичных и наличных средств в разрезе бизнес-операций, контрагентов, валют и времени с целью оптимизации потоков, обеспечения ликвидности, и т.д. Состав измерений сильно зависит от особенностей бизнеса, отрасли, методики.

Бюджет.

Одна из самых благодатных областей применения OLAP-технологий. Не случайно ни одна современная система бюджетирования не считается завершенной без наличия в ее составе OLAP-инструментария для анализа бюджета. Большинство бюджетных отчетов легко строятся на основе OLAP-систем. При этом отчеты отвечают на очень широкую гамму вопросов: анализ структуры расходов и доходов, сравнение расходов по определенным статьям у разных подразделений, анализ динамики и тенденций расходов на определенные статьи, анализ себестоимости и прибыли.

Бухгалтерские счета.

Классический балансовый отчет, состоящий из номера счета и содержащий входящие остатки, обороты и исходящие остатки может быть отлично проанализирован в OLAP-системе. Кроме того, OLAP-система может автоматически и очень быстро вычислять консолидированные балансы многофилиальной организации, балансы за месяц, квартал и год, агрегированные балансы по иерархии счетов, аналитические балансы на основании аналитических признаков.

Финансовая отчетность.

Технологично построенная система отчетности есть ни что иное, как набор именованных показателей со значениями на дату, которые требуется сгруппировать и просуммировать в различных разрезах для получения конкретных отчетов. Когда это так, то отображение и печать отчетов наиболее просто и дешево реализуются в OLAP-системах. В любом случае система внутренней отчетности предприятия не так консервативна и может быть перестроена в целях экономии средств на технические работы по созданию отчетов и получения возможностей многомерного оперативного анализа.

Посещаемость сайта.

Лог-файл Интернет-сервера многомерен по природе, а значит подходит для OLAP-анализа. Фактами являются: количество посещений, количество хитов, времяпроведенное на странице и другая информация, имеющаяся в логе.

Объемы производства.

Это еще один пример статистического анализа. Таким образом, можно анализировать объемы выращенного картофеля, выплавленной стали, произведенного товара.

Потребление расходных материалов.

Представьте себе завод, состоящий из десятков цехов, в которых расходуются охлаждающие, промывочные жидкости, масла, ветошь, наждачная бумага - сотни наименований расходных материалов. Для точного планирования, оптимизации издержек требуется тщательный анализ фактического потребления расходных материалов.

Использование помещений.

Еще один вид статистического анализа. Примеры: анализ загруженности учебных аудиторий, сдаваемых в аренду зданий и помещений, использования залов для конференций и пр.

Текучесть кадров на предприятии.

Анализ текучести кадров на предприятии в разрезе филиалов, отделов, профессий, уровня образования, пола, возраста, времени.

Пассажирские перевозки.

Анализ количества проданных билетов и сумм в разрезе сезонов, направлений, видов вагонов (классов), типов поездов (самолетов).

Этим списком не ограничиваются сферы применения OLAP-технологий.

Такое обилие вариантов подтверждает предположение о том, что теоретически OLAP-технологии можно применять практически в любой сфере деятельности, где требуется составление отчетности и анализ данных. Применительно к задаче данной работы, OLAP как нельзя лучше подойдет в качестве средства анализа и мониторинга таких данных как информация о читателях, статистика выдачи/возвратов книг, учет новых поступлений в библиофонд.

В случае с крупными государственными научными библиотеками регионального уровня, коэффициент эффективности оптимизации документооборота и отчетности будет максимальным, исходя из принципа: «чем больше данных обрабатывается в единицу времени, тем больше это время экономится за счет предварительных вычислений».

В следующей главе будут подробно рассмотрены особенности практического применения данного тезиса.

2 Архитектура информационно-аналитической системы на базе технологии OLAP

Для современных информационных систем характерны колоссальные объемы данных и скачкообразные изменения или неопределенность факторов внешней среды. В этих условиях применение традиционных статистических подходов (таких, как аппарат математической статистики, аппарат аналитической обработки данных – OLAP и т.п.), как правило, является неоптимальным с точки зрения эффективности. Это актуализирует проблему обеспечения организаций средствами автоматизированного анализа потоков данных, извлечения и накопления знаний [18].

Перед каждой организацией стоит задача анализа внутренних и внешних факторов, влияющих на уровень ее производства. Значительно снизить временные и ресурсные затраты, повысить уровень качества делопроизводства позволяет комплексное обеспечение организации средствами централизованного управления данными, в частности средствами электронного документооборота.

Эффективность процесса автоматизированного документооборота может быть в значительной степени снижена под действием ряда факторов: возникновение в процессе эксплуатации нештатных ситуаций, не предусмотренных на этапе проектирования системы электронного документооборота; ошибки конечного пользователя (оператора, администратора системы) и др. Последствиями таких ошибок являются потеря или искажение данных, рассогласования и противоречия в работе различных структур организации. В связи с этим возрастает необходимость разработки систем интеллектуального анализа данных (СИАД), задачами которых являются извлечение, накопление и обработка знаний, сценариев, моделей поведения информационных систем организаций.

Интеллектуальный анализ данных (ИАД) является междисциплинарной областью науки, возникшей и развивающейся на базе достижений прикладной статистики, распознавания образов, искусственного интеллекта, теории баз данных и других областей современной науки. ИАД представляет собой спектр технологий и методик выявления статистических взаимосвязей, закономерностей, правил в наборах данных. В настоящее время реализация и развитие данного подхода ведется корпорацией Oracle, компанией SAS, компанией Google Inc. и рядом других.

Задачи ИАД сводятся к реализации алгоритмов классификации, кластеризации, ассоциации, прогнозирования, построения продукций, регрессионного и корреляционного анализа. Основными задачами СИАД являются: анализ структуры баз данных, запросов, журналов транзакций, поиск закономерностей и взаимосвязей между данными, построение продукционных моделей, эмпирических моделей, деревьев решений и семантических сетей [20].

В основе современного ИАД лежит принцип построения шаблонов гипотез. Таким образом, осуществляется формирование наборов гипотез на основе выборок данных, а не поиск выборок данных, удовлетворяющих изначально сформулированным гипотезам.

База данных информационной системы (ИС) представляет собой набор таблиц, содержащих записи о свойствах различных объектов. Эти записи содержат данные, отражающие тот или иной факт в рамках предметной области, но лишенные смысловой нагрузки.

Массивы данных значительного объема, накопленные за определенный временной промежуток, могут служить источниками информации о закономерностях поведения ИС, взаимосвязях между данными, сведений для построения сценариев функционирования системы. Получаемая таким образом информация находит свое применение в областях прогнозирования, стратегического антикризисного управления, в анализе рисков [19].

Выделяют следующие типы закономерностей в данных, выявляемые с помощью ИАД:

• ассоциация – оценка степени связи событий друг с другом;

• секвенция – оценка вероятности возникновения последовательности событий;

• классификация – оценка степени принадлежности некоторого объекта к отдельному классу с определенным набором свойств;

• кластеризация – выделение классов объектов со сходственными наборами параметров.

На данный момент разработано и используется значительное количество методов ИАД, которые вполне применимы в целях оптимизации электронного документооборота. Среди них можно выделить следующие:

• регрессионный, дисперсионный, корреляционный анализ;

• построение эмпирических моделей;

• реализация нейросетевых алгоритмов ИАД;

• построение деревьев решений;

• построение кластерных моделей;

Метод регрессионного, дисперсионного, корреляционного анализа подразумевает исследование: а) степени влияния нескольких независимых атрибутов на зависимый атрибут (регрессионный анализ); б) степени влияния атрибутов друг на друга (корреляционный анализ), в) степени влияния факторов, определяющих атрибут, на его значение (дисперсионный анализ).

Построение эмпирических моделей предполагает накопление сведений об опыте функционирования системы. Как правило, отдельно взятая эмпирическая модель применяется для анализа данных в строго конкретной предметной области (например, финансовом анализе).

Метод построения деревьев решений предоставляет не всегда оптимальные, но всегда наглядные решения. Этот подход также является довольно популярным в силу своей простоты и наглядности. Деревья решений представляют собой иерархическую структуру вопросов на «да» и «нет». Листьями в данном случае являются утверждения об отнесении объекта к соответствующему классу (категории) или о наступлении того или иного события. Недостатком данного подхода является его ограниченность в построении правил логического вывода – решение задачи сводится к формированию цепочки последовательного пересмотра свойств объектов, а не нахождению настоящих и логически полных закономерностей поведения объектов системы.

Построение кластерных моделей представляет собой объединение сходственных объектов в группы (классы) на основании сходных значений в наборе данных.

Характеристики

Список файлов ВКР