17 (Билеты на государственный аттестационный экзамен по специальности Информационные Системы)

1 Модели реализации данных в информационной системе.

Существует большое разнообразие сложных типов данных, но исследования, проведенные на большом практическом материале, показали, что среди них можно выделить несколько наиболее общих. Обобщенные структуры называют также моделями данных, т.к. они отражают представление пользователя о данных реального мира. Любая модель данных должна содержать три компоненты:

структура данных - описывает точку зрения пользователя на представление данных.

набор допустимых операций, выполняемых на структуре данных.

ограничения целостности - механизм поддержания соответствия данных предметной области на основе формально описанных правил.

Общеизвестны иерархическая, сетевая и реляционная модели, в последнее время все большее значение приобретает объектно-ориентированный подход к представлению данных. Модель основана на математическом понятии отношения (relation) + терминология + развитие теории. Часто выражается через элементы множества нормальных форм (normal form), хотя это не обязательно. Общая структура данных может быть представлена в виде таблицы, в которой каждая строка значений (кортеж) соответствует логической записи, а заголовки столбцов являются названиями полей (элементов) в записях. Основной принцип реляционной модели (информационный принцип): все данные в реляционной системе задаются явными значениями.

В кортеже содержатся данные, отражающие свойства либо «реального мира», либо связи между несколькими объектами. Для явного выражения связи используют граф или диаграмму связей между объектами. Домены. 1) Скаляр – наименьшая семантическая единица данных, она атомарна и неделима, у неё нет внутренней структуры (цвет, номер, вес). Домен – именованное множество скалярных значений одного типа, общая совокупность значений, из которых берутся реальные значения атрибутов. Каждый атрибут определяется на единственном домене. 2) Домены ограничивают сравнения (соединения, объединения и др. операции). Такая система предотвращает грубейшие нарушения. 3) С точки зрения программистов домен – это тип данных, многие СУБД поддерживают домены в примитивном виде типов данных. 4) Домены и именованные отношения имеют уникальные имена в БД, атрибуты имеют уникальные имена в одном и том же отношении, имена доменов и атрибутов могут совпадать. Отношение. Переменная отношения – именованный объект, значения которого может изменяться во времени. Значение отношения – значение переменной в любой момент времени (просто отношение). Отношение, определенное на множестве доменов, содержит две части:

1. Заголовок – это фиксированное множество пар: имя атрибута – имя домена.

2. Тело – содержит множество кортежей: имя атрибута – значение.

Предикат является критерием возможности обновления записи в БД. В реляционной модели данных определены два базовых требования обеспечения целостности: целостность ссылок, целостность сущностей.

Целостность сущностей. Требование целостности сущностей заключается в следующем: каждый кортеж любого отношения должен отличатся от любого другого кортежа этого отношения (т.е. любое отношение должно обладать первичным ключом). Вполне очевидно, что если данное требование не соблюдается (т.е. кортежи в рамках одного отношения не уникальны), то в базе данных может хранится противоречивая информация об одном и том же объекте. Целостность ссылок Сложные объекты реального мира представляются в реляционной базе данных в виде кортежей нескольких нормализованных отношений, связанных между собой. При этом: Связи между данными отношениями описываются в терминах функциональных зависимостей. Для отражения функциональных зависимостей между кортежами разных отношений используется дублирование первичного ключа одного отношения (родительского) в другое (дочернее). Атрибуты, представляющие собой копии ключей родительских отношений, называются внешними ключами. Требование целостности по ссылкам состоит в следующем: для каждого значения внешнего ключа, появляющегося в дочернем отношении, в родительском отношении должен найтись кортеж с таким же значением первичного ключа. Первичный ключ – уникальный идентификатор некоторого отношения. Потенциальный ключ – подмножество множества атрибутов отношения, обладающего свойствами: уникальности; неизбыточности.

1. Потенциальные ключи обеспечивают механизм адресации на уровне кортежей в реляционной системе. Также это гарантированный способ указать на какой-либо кортеж. Первичный ключ является частным случаем потенциального ключа. Внешний ключ – это подмножество множества атрибутов, обладающих свойствами:

значение внешнего ключа данного множества совпадает со значением первичного ключа другого какого-либо множества. Формальное определение функциональной зависимости: Даны атрибуты X и Y, атрибут Y функционально зависит от X, если в каждый момент времени каждому значению X соответствует одно и то же значение Y. (X -> Y) Для каждого отношения существует вполне определенное множество функциональных зависимостей между атрибутами. Аксиомы ФЗ позволяют из одной ФЗ вывести другие также присущие данному отношению. Аксиомы:

1. Свойство рефлексивности, если множество В является подмножеством множества А, то А -> В. 2 Свойство пополнения, если A -> B, то АС -> ВС.

3 Свойство транзитивности, если A -> B и B -> C, то A -> C.

2 Тренды. Краткосрочное прогнозирование.

Под трендом понимается изменение, определяющее общее направление развития, основную тенденцию временных рядов.

Линии тренда позволяют графически отображать тенденции данных и прогнозировать их дальнейшие изменения. Подобный анализ называется также регрессионным анализом (регрессионный анализ – форма статистического анализа, используемого для прогнозов; Регрессионный анализ позволяет оценить степень связи между переменными, предлагая механизм вычисления предполагаемого значения переменной из нескольких уже известных значений.). Используя регрессионный анализ, можно продлить линию тренда в диаграмме за пределы реальных данных для предсказания будущих значений. Например, приведённый выше рисунок использует простую линейную линию тренда, которая является прогнозом на четыре квартала вперед, для демонстрации тенденции увеличения дохода.

Скользящее среднее.   Можно вычислить скользящее среднее (скользящее среднее – последовательность средних значений, вычисленных по частям рядов данных; На диаграмме линия, построенная по точкам скользящего среднего, позволяет построить сглаженную кривую, более ясно показывающую закономерность в развитии данных.), которое сглаживает отклонения в данных и более четко показывает форму линии тренда.

Точность аппроксимации. Линия тренда в наибольшей степени приближается к представленной на диаграмме зависимости, если значение R-квадрат (значение R в квадрате – число от 0 до 1, которое отражает близость значений линии тренда к фактическим данным; линия тренда наиболее соответствует действительности, когда значение R в квадрате близко к 1; оно также называется квадратом смешанной корреляции) равно или близко к 1. При аппроксимации данных с помощью линии тренда в Microsoft Excel значение R-квадрат рассчитывается автоматически.

3 Создание OLAP-средств на стороне сервера и на стороне клиента.

Многомерный анализ данных может быть произведен с помощью различных инструментальных средств, которые условно можно разделить на клиентские и серверные OLAP-средства.

Клиентские OLAP-средства представляют собой приложения, осуществляющие вычисление агрегатных данных (сумм, средних величин, максимальных или минимальных значений) и их отображение, при этом сами агрегатные данные содержатся в кэше внутри адресного пространства такого OLAP-средства.

Если исходные данные содержатся в локальной СУБД, вычисление агрегатных данных производится самим OLAP-средством. Если же источник исходных данных — серверная СУБД, многие из клиентских OLAP-средств посылают на сервер SQL-запросы, содержащие оператор GROUP BY, и в результате получают агрегатные данные, вычисленные на сервере.

Как правило, OLAP-функциональность реализована в средствах статистической обработки данных (из продуктов этого класса на российском рынке широко распространены продукты компаний StatSoft и SPSS) и в некоторых электронных таблицах. В частности, развитыми средствами многомерного анализа обладает Microsoft Excel 2000. С помощью этого продукта можно создать и сохранить в виде файла небольшой локальный многомерный OLAP-куб и отобразить его двух- или трехмерные сечения.

Многие инструментальные средства разработки содержат библиотеки классов или компонентов, позволяющие создавать приложения, реализующие простейший OLAP-сервис (такие, например, как компоненты DecisionCube в Borland Delphi и Borland C++Builder).

Клиентские OLAP-средства применяются, как правило, при малом числе измерений (обычно рекомендуется не более шести) и небольшом разнообразии значений этих параметров, — ведь полученные агрегатные данные должны умещаться в адресном пространстве подобного средства, а их количество растет экспоненциально при увеличении числа измерений. Поэтому даже самые примитивные клиентские OLAP-средства, как правило, позволяют произвести предварительный подсчет объема требуемой оперативной памяти для создания в ней многомерного куба.

Многие (но не все!) клиентские OLAP-средства позволяют сохранить содержимое кэша с агрегатными данными в виде файла, что, в свою очередь, позволяет не производить их повторное вычисление.

Идея сохранения кэша с агрегатными данными в файле получила свое дальнейшее развитие в серверных OLAP-средствах, в которых сохранение и изменение агрегатных данных, а также поддержка содержащего их хранилища осуществляются отдельным приложением или процессом, называемым OLAP-сервером.

Клиентские приложения могут запрашивать подобное многомерное хранилище и в ответ получать те или иные данные. Некоторые клиентские приложения могут также создавать такие хранилища или обновлять их в соответствии с изменившимися исходными данными.

Преимущества применения серверных OLAP-средств по сравнению с клиентскими OLAP-средствами сходны с преимуществами применения серверных СУБД по сравнению с локальными: в случае применения серверных средств вычисление и хранение агрегатных данных происходят на сервере, а клиентское приложение получает лишь результаты запросов к ним, что позволяет в общем случае снизить сетевой трафик, время выполнения запросов и требования к ресурсам, потребляемым клиентским приложением.

Средства анализа и обработки данных масштаба предприятия, как правило, базируются именно на серверных OLAP-средствах, например, таких как Oracle Express Server, Microsoft SQL Server 2000.

Многие клиентские OLAP-средства (в частности, Microsoft Excel 2000 и др.) позволяют обращаться к серверным OLAP-хранилищам, выступая в этом случае в роли клиентских приложений, выполняющих подобные запросы. Помимо этого имеется немало продуктов, представляющих собой клиентские приложения к OLAP-средствам различных производителей.