Диссертация (1138748), страница 16
Текст из файла (страница 16)
12 PolyAnalyst архитектура системы (источник: Чубукова, 2010)93Большим преимуществом PolyAnalyst перед другими аналитическимипрограммными комплексами являются модули Exploration Engines, которыепредставляют собой независимые динамические библиотеки математическихалгоритмов, доступ к которым может быть получен из других систем.Применение таких модулей позволит встроить разработанные в PolyAnalystматематические алгоритмы в существующих информационных системахкомпании (CRM, ERP), не внося значительных модификаций в существующиебизнес-процессы компании.Клиентское приложение PolyAnalyst Workplace является составнойчастью программного комплекса и, по сути представляет пользовательскийинтерфейс. Workplace содержит широкий комплекс инструментов дляполноценного анализа данных, интерфейс представлен на рис.
13.Рис. 13 Пользовательский интерфейс PolyAnalyst (источник: Чубукова, 2010)Оперативное взаимодействие с программным приложением приобработке данных происходит с применением интуитивно понятныхмеханизмов: drag&drop и pop-up меню, контекстная справка с детальнымописанием элементов.94ИсследованиеприпомощиPolyAnalystпроисходитврамках«проектов». Данные проекты содержат в себе всю аналитику, которуюпроизведет пользователь в рамках исследования. В проект будут включеныграфики, сформированные правила, различные отчеты всех объектовисследования, а также строится дерево проекта. Все проекты хранятся всобственном формате PolyAnalyst. Отчеты исследования можно сохранитьотдельно в формате HTML, и они также будут доступны через Интернет.PolyAnalyst содержит 18 математических модулей, представляющихсобой различные алгоритмы Data и Text Mining.Модули для работы с числами.
Построение различных моделей ипрогноза переменных, описываемых количественными данными:Модуль Find Laws (FL) – строит модели функциональных взаимосвязейпеременных. Алгоритм ориентирован на выявление в наборе данных каклинейных, так и нелинейных взаимосвязей между переменными вавтоматическомрежиме(виднелинейнойвзаимосвязинезадаетсяпользователем, а подбирается программой). По итогам функционированияалгоритм выдает результаты в виде математических формул, и комплексаблоков условий. Модуль Find Laws является уникальным инструментом, онспособен путем подбора блоков математических формул из встроенной базызнаний выстроить, почти любые математические конструкции. Алгоритмстроится на популярном направлении эволюционных алгоритмов, а именноприпомощигенетическогопрограммирования.Впервыеалгоритмавтоматического построения функций связи переменных реализован вкоммерческом программном продукте именно компанией "Мeгaпьютep".Недостатком таких алгоритмов является возможное переобучение, особенноэта характерно для небольших выборок, когда алгоритм может создатьнастолько сложное правило, которое практически подстраивается подвыборку и запоминает даже шумы и ошибки данных, что может негативносказаться на новых данных.95МодульPolyNetPredictor–(PN)занимаетсяпостроениемполиномиальных нейронных сетей.
Алгоритм выстраивает иерархическуюструктуру подобную нейронной сети головного мозга человека. Параметрысоздаваемой структуры определяются алгоритмом автоматически на основесвойств выборки данных сформированной с анализируемых объектов. Модульспособен построить и эквивалентное выражение на языке символическихправил системы, при условии, что его структура не очень сложная. Если жеполученнаянейроннаясетьслишкомсложнадлявосприятия,тоэквивалентное выражение не строится, но решение также строится и егоможно применять к новым данным для построения прогнозов или оценкисуществующих.
Предложенный алгоритм может быть очень полезным длясложных инженерных, экономических и научных задач. Как и у многихалгоритмов, умеющих учитывать нелинейные взаимосвязи в данных, можетвозникать актуальная проблема переобучения, которая и возникает какследствие слишком качественного учета нелинейных взаимосвязей висследуемых данных. Одним из путей борьбы с переобучением является сборбольшой обучающей выборки, что не должно представлять особой сложностидлякомпаний,ощущающихпотребностьвмощныханалитическихинструментах.Модуль Stepwise Linear Regression (LR) – занимается построениемпошаговыхмногопараметрическихлинейныхрегрессий.Построениелинейных регрессий, широко распространённый статистический методисследования, вероятно его программные реализации включены в любойстатистические пакет, не исключение и PolyAnalyst.
Конечная программнаяреализация может отличаться в каждом из продуктов. В системе PolyAnalystреализовано построение не классической линейной регрессии, а представленалгоритм, который в течение запуска обрабатывает большое количестворегрессионных моделей. Происходит пошаговое построение регрессионноймодели, где на каждом шаге проверяется необходимость включения (илиисключения) дополнительной переменной в регрессионное уравнение.
Если96при добавлении (или удалении) значимость всей регрессионной моделиувеличивается, то данная переменная включается (или исключается).Преимущество состоит в том, что в модель включаются минимальноеколичество наиболее значимых переменных. Скорость работы данногоалгоритма очень высокая и он хорошо подходит для работы на большихобъемах выборок.Мoдуль Memory based Reasoning (MR) – мeтoд «ближайших соседей». ВпрограммномкомплексеPolyAnalystприменяетсяпопулярныймодифицированный алгоритм мeтoд «ближайших соседей».
Отличительнойособенностьюреализованногоалгоритма«ближайшихсоседей»впрограммном комплексе PolyAnalyst oт существующих aнaлoгoв являетсяоптимизация таких характеристик, как мepа близости и количестванаблюдений с использованием генетических алгоритмов. Указанный алгоритмMemory based Reasoning предназначен для прогнозирования переменных вчисловом выражении и категориальных переменных, а также способенработать с текстовыми полями, и решать классификационные задачи нa два иболее классов.Алгоритм кластеризации:МодульFindСlustеrs(FС)–представляетсобойN-мерныйкластеризатор.
Разработанный метод используется в тех случаях, когданеобходимо выделить во всем множестве исходных наблюдений те, которыеобладают набором схожих характеристик, описывающих исследуемыеобъекты и представляют собой компактные типичные подгруппы (кластеры).Алгоритм Find Сlustеrs отберет только те переменные, для которых возможнопроизвести значимое разбиение. По итогу функционирования алгоритмаполучается описание областей (диапазонов значений переменных), которыепредставляют собой описание полученного кластера и в соответствии с этимидиапазонами разбиваются все исходные наблюдения. Важная особенностьсостоит в том, что в распределении исходных данных должны быть«сгущения» в некоторых областях, иначе данный метод не даст каких-либо97результатов. Алгоритм реализован таким образом, что он должен обнаружитькак минимум два кластера, получение одного кластера не считается решениемзадачи. У данного алгоритма кластеризации высокие требования к объемупредставляемой выборки данных.Алгоритмы классификации:Модуль Find Dереndеnсiеs (FD) – проводит многомерный анализ пораспределениям данных.
Разработанный алгоритм обнаруживает в исходныхданных такие группы записей, которые функционально связаны междуцелевой переменной и независимыми переменными, также в терминахстандартной ошибки оценивает степень зависимости вместе с темалгоритмически определяет набор факторов, имеющих наиболее сильноевлияние, также производится очистка данных от выбросов (аномальныенаблюдения). В качестве целевой переменной для Find Dереndеnсiеsприменяется характеристика только числового типа, при этом независимыепеременные допустимо подавать и не числовые, то есть могут быть икатегориальными, и логическими.Модуль Сlаssifу (СL) – представляет собой классификатор на основенечеткой логики.
Реализованный алгоритм Сlаssifу является методомклассификации анализируемых объектов на две группы. Алгоритм основан напостроении функции принадлежности, а также определения значения покоторому будет произведено разделение на две группы. Формируемаяфункция определена от 0 до 1. И если значение функции больше значенияпорога, то данное наблюдения будет промаркировано «1», если же меньшепорога, то будет отнесено к классу «0» соответственно.
Целевая переменнаяиспользуемая в данном модуле может быть только логического типа.Модуль Disсriminаtе (DS) – дискриминация. Принципиально алгоритмDisсriminаtе является модификацией алгоритма Сlаssifу. Его назначениесостоит в том, чтобы определить, чем собранные наблюдения из выбраннойтаблицы значимо отличаются от других данных, которые были включены впроект, иными словами, для выделения особенных свойств, описывающих98некоторую подгруппу записей проекта. Но в отличие от модуля Сlаssifу, длянего не требуется задавать конкретную целевую переменную, достаточнозадать таблицу, от которой требуется найти отличительные признаки.Модуль Dесisiоn Trее (DT) – представляет собой алгоритм построениядеревьев решений.
В программном комплексе РоlуАnаlуst реализованалгоритм, в качестве основы которого применяется критерии максимизациивзаимной информации (infоrmаtiоn gаin). Для расщепления ветви деревавыбирается независимая переменная, содержащая максимальную (в терминахШеннона) информацию о зависимой переменной. Данный критерий имееточевидную интерпретацию и дает конкретные и понятные результаты длялюбых статистических параметров, исследуемых данных. При этом скоростьработы алгоритма DT одна из самых высоких в РоlуАnаlуst.Модули текстового анализа:В РоlуАnаlуst разработан широкий спектр методов для проведениятекстового анализа.Модуль Tехt Аnаlуsis (ТА) – является программной реализациейалгоритмов текстового анализа.
Разработанный модуль решает задачиформализации не структурированных текстовых данных. Анализ основан натом, что текст представляется в виде набора булевых признаков и оценкеналичия, и частоте встречи данного слова в тексте, оценки устойчивыхсловосочетаний или понятий (учитывается также и синонимия, и отношение«общее-частное») в рамках данного текста. Что после проведения процедурыформализации позволяет применять уже реализованные методы Dаtа Mining,из системы РоlуАnаlуst.Модуль Tехt Саtеgоrizеr (TС) – еще один модуль работы с текстом,занимается каталогизированнием текстов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
