Диссертация (1137218), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

1315.1.3Программная архитектура комплекса .............................. 1325.1.4Цикл работы на примере решеток замкнутых описаний 1345.1.5Использование плагинов и макросов ............................... 1375.1.6Основные возможности программного комплекса поработе с решетками замкнутых описаний ..................................... 13865.2Программный комплекс, предназначенный для обработки чащразбора ..................................................................................................

1405.2.1Архитектура комплекса ..................................................... 1405.2.2Модуль обработки чащ разбора ........................................ 1415.2.3Ранжирование поисковых результатов ............................ 1425.2.4Обучение на абзацах .......................................................... 1425.2.5Модуль кластеризации с помощью решеток замкнутыхописаний ............................................................................................ 1425.2.6Риторический парсер..........................................................

1425.2.7Модуль для выявления и обработки коммуникативныхдействий ............................................................................................ 1435.2.8Модуль для построения кореферентных связей ............. 143Заключение ............................................................................................. 146Литература ............................................................................................. 149Приложения............................................................................................

165Приложение 1 ....................................................................................... 165Приложение 2 ....................................................................................... 179Приложение 3 ....................................................................................... 193Приложение 4 ....................................................................................... 205Приложение 5 ....................................................................................... 210Приложение 6 .......................................................................................

223Приложение 7 ....................................................................................... 2387ВведениеАктуальность работы. Моделирование языковых процессовпорождает значительное количество открытых проблем, связанных сразвитием соответствующего математического аппарата, созданием иреализацией эффективных алгоритмов и комплексов программ. Кнастоящему моменту разработано значительное количество хорошоразвитых моделей текста, позволяющих (помимо представлениятекста) вычислять сходство между текстами: «мешок слов», n-граммы,синтаксические деревья разбора и т.д. Среди исследователей, внесшихзначительный вклад в разработку и применение этих моделей вприкладных задачах (для английского языка), можно отметитьC.Manning, H.Schutze, D.Jurafsky, S.Abney, M.Collins, A.Moschitti имногих других. Подавляющее большинство реализованных напрактике моделей не полностью учитывает структурные особенноститекста, ограничиваясь либо частотными характеристиками слов и nграмм,либосинтаксическимисвязямивнутриотдельныхпредложений.

Эти модели не позволяют работать с текстом на уровнефрагментов, состоящих из нескольких связанных предложений ‒абзацев. К другому классу моделей относятся многочисленныелингвистические теории, в той или иной степени учитывающихдискурсивные связи между предложениями. Здесь можно отметитьработы таких исследователей как W.Mann, D.Marcu, J.Searle,I.Mel’cuk, H.Kamp, M.Recaesens, D.Jurafsky и многих других. Однакоэти модели обладают уже другим недостатком: они носят по большейчасти теоретический характер, не имеют полного математическогоили алгоритмического описания и не могут напрямую бытьиспользованы для решения прикладных задач. В то же время учетдискурсивных связей внутри абзаца является критическим фактором в8таких важных задачах, как поиск по сложным и редким запросам,кластеризацияпоисковойвыдачипосложнымзапросам,классификация текстовых описаний.

Всё это делает применениесуществующихмоделейтекстазатруднительнымитребуетразработки новой модели, которая была бы предназначена длярешения перечисленных задач, одновременно обладала достаточнойтеоретической базой и была реализуема на практике.Необходимость интеграции в модель сложных структурныхописаний и применения модели для задач кластеризации делаетактуальнымприменениеметодов,позволяющихработатьсоструктурным сходством и использовать эффективные приближенияописаний.Методытеориирешетокзамкнутыхописанийпредоставляют удобный и эффективный математический аппарат дляпостроения моделей в решении целого ряда важных научных иприкладных задач, в число которых входит и работа с текстами. Этатеория позволяет осуществлять концептуальную кластеризацию инаходить сходство произвольного множества объектов (в частности,текстов).

Включенный в теорию аппарат проекций позволяетэффективно работать с приближенными описаниями, в той или иноймере учитывающими основные свойства структуры и понижающимивычислительную и временную сложность обработки этих описаний.Объект исследований – математические модели текстов наестественном языке. Предмет исследований – модели текстов наестественном языке, предназначенные для поиска, классификации икластеризации текстовых данных.Целью диссертационного исследования является разработкамоделейиметодовпредставленияиобработкитекстовнаестественном языке, учитывающих синтаксическую и дискурсивную9структуру текстового абзаца и ориентированных на применение взадачах поиска, классификации и кластеризации текстовых данных.К задачам исследования относятся: Разработка структурной модели текстов на естественном языке,ориентированной на поиск, классификацию и кластеризациютекстов и использующей синтаксические и дискурсивные связивнутри текста; Применение построенной модели в задаче поиска сходстватекстов с целью улучшения релевантности поиска по сложнымзапросам; Применение построенной модели в задаче классификациитекстов с целью повышения качества существующих методов засчет использования дискурсивной информации; Построение на основе разработанной модели таксономическогопредставлениятекстовыхдокументовсиспользованиемрешеток замкнутых структурных описаний и применениепредставления в задаче кластеризации текстов; Разработка математической модели и метода для определениясвязи «та же сущность» в построенных на основе текстовыхданных формальных описаниях и эффективная алгоритмическаяреализация данной модели. Реализация разработанных моделей, методов и алгоритмов ввиде программного комплекса.К методам, использовавшимся в исследовании, относятся: Методы построения и анализа решёток замкнутых описаний; Методы фильтрации решеток понятий на основе индексовкачества моделей;10 Методы построения проекций моделей на узорных структурах; Методы построения структурных моделей для текстовыхданных; Методы построения синтаксических и дискурсивных моделейтекста; Методыпорождениямоделей,основанныхнаграфовомпредставлении.Научная новизна.

В диссертации получен ряд новых научныхрезультатов, которые выносятся на защиту:1. Разработанаграфоваяобобщающаямодельтекстов,структурноеиспользующаяисинтактико-дискурсивноепредставление текстового абзаца (чащу разбора). Новизна моделизаключаетсявсовместномиспользованиисинтаксическихдеревьев разбора и дискурсивных связей для представлениятекстовых абзацев на английском языке. Модель ориентирована наприменение в задачах поиска, классификации и кластеризациитекстов и позволяет описывать сходство текстов в терминахобобщения их структурных графовых и древесных описаний.2.

Предложенная модель применена в задаче поиска ответов посложным запросам. Разработан численный метод, использующийразработанную модель. Применение метода позволяет улучшитькачество поиска и устранить недостатки существующих моделейблагодаря применению впервые введенной в работе операцииструктурного синтактико-дискурсивного сходства для запроса иответов.3. Разработаннаямодельпримененавзадачеклассификациитекстовых данных.

Характеристики

Список файлов диссертации