Автореферат (1137240), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

Чем выше значение индекса, тем вышеуверенность в том, что понятие содержит тождественные объекты. При подборекритериев были учтены основные свойства, которыми должны обладать этипонятия. Во-первых, критерий должен принимать большее значение, если, припрочих равных, число признаков, которыми отличаются объекты понятия,будет меньше:I1 ( A, B) | A || B | gA gВторое свойство - увеличение значение индекса при увеличении числаобщих признаков (при прочих равных). При этом распространенный признакделает меньший вклад в значение критерия, чем редкий признак, так как чемпризнак более распространен, тем больше шансов, что понятие с даннымпризнаком возникло из-за случайного пересечения признаков:I 2 ( A, B)  mBAmИтоговый критерий DII представляет собой комбинацию (используютсядва варианта) данных индексов:DII   I1  kI 2DII  I1  I 2k23Неизвестный коэффициент может определяться с помощью экспертнойоценки, так как интерпретация обоих индексов достаточно легка дляпонимания.

Алгоритм предусматривает два режима работы: автоматическоепринятие решения и полуавтоматический режим с привлечением экспертааналитика.В исследовании проводится сравнительный анализ разработанногометода с несколькими из наиболее распространенных методов, основанных наанализе формальных понятий и попарном сравнении объектов контекста. Вкачестве методов попарного сравнения объектов рассматриваются методы наоснове расстояния Хэмминга и абсолютного сходства, применявшиеся длярешения задачи до проведения исследования. Другая альтернатива ‒ индексэкстенсиональной устойчивости понятия.

Предполагается, что тождественныеобъекты должны быть сильно связаны большим количеством признаков ииметьнебольшоеколичествоотдельныхпризнаков,соответственно,формальное понятие, которое они образуют, должно быть устойчиво кудалению отдельных признаков.В исследовании приводятся результаты экспериментов на реальныхданных (онтология) и на искусственно сгенерированных данных (формальныеконтексты) с заранее известными тождественными объектами.

При генерацииданных учитывались особенности прикладной онтологии. Для оценки качестваметода используются: полнота, точность, среднее значение полноты алгоритмапри 100% значении точности, Mean Average Precision (MAP): AveP( Ki )Map( K )  i 1KKAveP(k )  cC ( P(c)) ,kCk24где K - множество контекстов, Ck - множество релевантных формальныхпонятий контекста k, P(c) - доля релевантных понятий среди всех понятий,имеющих ранг не ниже, чем у понятия c.Результаты экспериментов демонстрируют, что алгоритм на основенового индекса (с использованием как одного, так и другого вариантакомбинации)показалболеевысокиерезультаты,чемрассмотренныеальтернативы. Основной отличительной особенностью метода является весьманебольшое падение точности алгоритма (до 90%) при росте полноты вплоть до70%.

Результаты для DII  и DII оказались весьма схожими. Отличием DIIстало менее стабильное поведение: иногда ошибаясь при большом пороге, вряде случаев алгоритм не делал ошибок при малых порогах, выделяя при этом42% тождественных объектов.Рис. 4.1. Зависимость точности алгоритмов от полноты.25Рис.

4.2. Зависимость точности от полноты для двух вариантов нового индекса DIIТаблица 4.1. Максимальная полнота алгоритмов при максимальной точностиАлгоритмМаксимальная полнота приточности 100% (наэкспериментальных данных)Алгоритм на основеабсолютного расстояния6.22%Алгоритм на основерасстояния Хэмминга0.56%Алгоритм на основе индексаустойчивости22.44%Алгоритм на основе новогоиндекса DII 21.78%Алгоритм на основе новогоиндекса DII9.49%Присравненииметодовнаосновеиндексаэкстенсиональнойустойчивости и вариантов нового индекса DII  и DII по мере MAP очевидноепреимущество имеет новый индекс (таблица 4.2).26Таблица 4.2.

Результаты по метрике Mean Average Precision.АлгоритмMAPАлгоритм на основе индекса устойчивости0.499Алгоритм на основе нового индекса DII 0.935Алгоритм на основе нового индекса DII0.938Для каждого метода был подобран оптимальный порог (максимальноерасстояние от начала координат кривой «точность-полнота»), при которомалгоритм имеет оптимальную полноту при минимальных потерях точности(таблица4.3).Новыйметодпродемонстрировалпреимуществопередальтернативами.Таблица 4.3. Оптимальные пороги для методов и качество поискаАлгоритмПорог вПолнотаТочностьалгоритмеНа основе абсолютного расстояния3.5019.35%98.82%На основе расстояния Хэмминга0.5034.37%86.32%На основе индекса устойчивости0.5022.44%100%На основе нового индекса DII 1.1540.09%99.58%На основе нового индекса DII0.9031.80%99.55%Для экспериментов на реальных данных использовалась онтология,построенная по новостным документам политической направленности (12006объектов различных классов).

Количество признаков и связей с другимиобъектами распределено по закону Ципфа. В анализируемой онтологиипроводился поиск тождественных денотатов среди объектов классов «Персона»и «Компания» (9821 объект). Признаки формального контекста строились сиспользованием всех объектов и связей в онтологии. Алгоритм на основеиндекса DII (использовался вариант DII  ) выделил 905 групп объектов.Размеры групп варьируются от 2 до 41 объекта. 98% выделенных группполностью состоят из тождественных объектов, что соответствует точности в98%.В пятой главе описывается построенный в рамках исследованияпрограммный комплекс, предназначенный для обработки текстовых данных спомощью чащ разбора и включающий в себя следующие модули:27 Работа с чащами разбора; Построение узорных структур на чащах разбора и их проекциях; Поиск: нахождение результатов и повторное ранжирование; Обучение на абзацах: формирование обучающей и тестовой выборки,запуск процедуры обучения и т.д. Риторический парсер; Выделение коммуникативных действий.В проекте используются следующие технологии: OpenNLP/StanfordNLPпарсеры–дляпостроениядеревьевсинтаксического разбора; Stanford NLP Coreference – для разрешения анафор и построениякореферентных связей; Bing API – для реализации базового поиска; Apache SOLR – для обеспечения интеграции с другими поисковымисистемами; TK-Light ‒ для обучения на деревьях с использованием ядер.ЧастькомпонентовпроектаинтегрированавпроектApacheOpenNLP.similarity.

К ним относятся риторический парсер и модуль для работыс чащами. Архитектура комплекса предусматривает возможность интеграции сдругими системами: например, он может быть подключен к библиотеке Lucene.В состав системы включен обработчик запросов SOLR, позволяющийинтегрировать её в другие поисковые приложения.Также в работе рассматривается модифицированный автором FormalConcept Analysis Research Toolbox (FCART) – программный комплекс анализаданных методами АФП. В текущей версии комплекса присутствуют следующиеосновные возможности по работе с Анализом Формальных Понятий:281.

Предобработка данных, включая преобразование в многозначный контекст,шкалирование и построение формального контекста.2. Загрузка, редактирование, сохранение формальных контекстов.3. Автоматическое построение решеток формальных понятий.4. Работа с решетками формальных понятий:4.1Построение порядковых фильтров и идеалов, айсберга решетки;4.2Преобразование и настройка визуального представления решетки;4.3Сохранение решетки в нескольких форматах.5. Построение базисов ассоциативных правил и импликаций.6. Фильтрация формальных понятий с помощью индексов, реализованных ввиде скриптов:6.1Индексы экстенсиональной и интенсиональной устойчивости;6.2Индекс отделимости;6.3Разработанный в рамках диссертационного исследования индекс DII,предназначенный для выявления тождественных денотатов.7.

Сохранение результатов в виде отчетов.В рамках исследования данный комплекс был модифицирован автором. Вкомплекс было добавлено вычисление индексов устойчивости, отделимости, атакже нового индекса DII, позволяющего выявлять тождественные денотаты.В заключении приводятся основные выводы и ближайшие планыразвития исследования.Основные результаты работы1. Математическая модель текстовых данных, включающая в себя графовоесинтактико-семантическое представление текста (чащу разбора) и операциюобобщения на чащах разбора.292. Модель апробирована на задаче повторного ранжирования результатовинформационного поиска по сложным запросам.

На нескольких наборахреальных интернет-данных, предоставленных поисковым механизмом Bing,продемонстрировано, что вычисление обобщения на уровне абзацев текста(обобщение чащ разбора) позволяет улучшить релевантность поиска посравнению с использованием обобщения на отдельных предложениях и намешках слов.3. Таксономическое представление текстовых данных на основе решеткизамкнутых структурных описаний и применение представления в задачекластеризации коротких текстов.4. Предложенная модель текстов применена в задаче классификации короткихтекстовсиспользованиемядерныхфункцийвсочетаниисмодифицированным Методом Опорных Векторов. Добавление новыхпризнаков без изменения схемы эксперимента позволяет улучшитьрезультаты, достигаемые при применении существующей модели, неиспользующей семантическую информацию.5.

Модель и метод поиска тождественных денотатов в прикладной онтологии иформальном контексте, предназначенные для построения семантическихотношений «та же сущность» в разработанной модели текстов. Индекс,позволяющий ранжировать формальные понятия по степени уверенности втом, что объекты данного понятия тождественны. Эксперименты насгенерированных и реальных данных демонстрируют преимущество передиспользовавшимися ранее альтернативами и высокую точность работынового метода.6.

Характеристики

Список файлов диссертации