Диссертация (1137218), страница 3
Текст из файла (страница 3)
На основе предложенной модели реализован11численный метод, использующий ядерные функции. Применениемодели позволяет устранить недостатки существующих моделейблагодаря ранее не применявшемуся в задачах классификацииабзацев использованию дискурсивной информации.4. Разработано на базе предложенной модели таксономическоепредставление коллекции текстовых данных в виде решеткизамкнутыхструктурныхсинтактико-дискурсивныхописаний.Полученное представление применено в задаче кластеризациитекстовых данных и позволяет улучшить результаты, достигаемыеальтернативными моделями.5.
Разработана на основе модели текстов и теории решетокзамкнутыхописанийоригинальнаямодельтождественныхденотатов для формальных описаний. Предложены численныйметод и алгоритм построения связей типа «та же сущность»,использующиезаключаетсяразработаннуювмодель.использованииНовизнаоригинальногометодаиндексаранжирования замкнутых формальных описаний для нахожденияденотатов.Теоретическая значимость работы заключается в разработкепринципиально новых моделей и методов: синтактико-дискурсивноймодели текстов, позволяющей представлять текстовые абзацы в видеграфов (полное описание) и лесов (приближенное описание) ивычислятьсходствомеждутекстами,таксономическогопредставления текстовых данных, модели и метода выявлениятождественных денотатов для формальных описаний.Практическая ценность подтверждена экспериментами пооценке релевантности поиска по сложным запросам, обучению натекстовыхабзацах,выявлениютождественныхденотатов.12Эксперименты продемонстрировали улучшение по сравнению ссуществующими аналогами.
Разработанные алгоритмы и методыбыли успешно внедрены в реальных проектах, а также использованыв преподавательской деятельности Департамента анализа данных иискусственного интеллекта Факультета компьютерных наук НИУВШЭ. Компания ООО «ФОРС-Центр разработки» применила методклассификации текстовых абзацев в проекте оценки пользовательскихпредпочтений. Компания Авикомп внедрила метод выявлениятождественных денотатов для оптимизации прикладной онтологии.Все разработанные методы были реализованы в виде программногокомплекса, предназначенного для решения исследовательских иприкладных задач.Достоверностьстрогостьюполученныхпостроенныхрезультатовподтвержденаматематическихмоделей,экспериментальной проверкой результатов численных расчетов ипрактической эффективностью программных реализаций.Апробация результатов работы.
Основные результаты работыобсуждались и докладывались на следующих научных конференцияхи семинарах:1. 9-й международной конференции «Интеллектуализация обработкиинформации» (ИОИ-2012), Будва, Черногория.2. Семинаре по анализу формальных понятий и информационномупоиску (FCAIR-2013) в рамках 35-й европейской конференции поинформационному поиску (ECIR-2013), Москва, Россия.3.
11-й международной конференции по анализу формальныхпонятий (ICFCA-2013), Дрезден, Германия.4. 8-й международной конференции по компьютерной лингвистикеДИАЛОГ-2013, Москва, Россия.135. 3-м семинаре по представлению знаний в виде графов (GKR-2013)в рамках 23-й объединенной международной конференции поискусственному интеллекту (IJCAI-2013), Пекин, Китай.6.
7-й международной конференции по компьютерной лингвистикеRANLP-2013, Хисаря, Болгария.7. 8-й международной конференции по компьютерной лингвистикеRANLP-2015, Хисаря, Болгария.8. Ежегодном весеннем симпозиуме ассоциации искусственногоинтеллекта (2014 AAAI Spring Simposium).9. 14-й международной конференции по интеллектуальной обработкетекста и компьютерной лингвистике CICLING-2014, Катманду,Непал.10. 15-й международной конференции по интеллектуальной обработкетекста и компьютерной лингвистике CICLING-2015, Каир, Египет.11. 52-й международной конференции Ассоциации компьютернойлингвистики ACL-2014, Балтимор, США.12.
53-й международной конференции Ассоциации компьютернойлингвистики ACL-2015, Пекин, Китай.Публикациярезультатов.Основныерезультатыработыизложены в 15 научных статьях. 12 статей опубликованы врецензируемых трудах международных конференций, 3 статьиопубликованы в журналах из списка ВАК.Содержание. Диссертация состоит из введения, 5 глав,заключения, списка литературы и приложений.Во введении раскрывается актуальность темы диссертации,формулируются проблемы исследования, предмет исследования,определяется цель работы, описываются методы исследования,14излагаютсяосновныенаучныерезультаты,обосновываетсятеоретическая и практическая значимость работы, даётся общаяхарактеристика исследования.Впервойглаверассматриваютсятеоретическиеосновыиспользуемых в дальнейшем моделей и методов и описываютсяособенности моделирования текстовых данных.
Приводятся основныеопределения, связанные с частично упорядоченными множествами ирешетками, решетками замкнутых описаний, синтаксическими идискурсивнымимоделямипредставлениятекста.Такжерассматриваются некоторые подходы к структурному обучению натекстовых данных. Вводится модель структурного представлениятекстовых абзацев – чаща разбора.Во второй главе описывается графовая модель текстовыхабзацев, обобщающая чащу разбора, и её применение в задачеинформационного поиска (для английского языка).
Рассматриваютсяметоды вычисления полного и приближенного структурного сходстватекстовыхабзацев,определяетсяпроекцияструктурногопредставления текстового абзаца в виде расширенных синтаксическихгрупп. Проводится анализ полученных результатов, демонстрируетсяпреимущество, достигаемое за счет вычисления сходства на абзацах,производитсясравнениеметодов,основанныхнаполномиприближенном сходстве. Также в главе определяется узорнаяструктура (решетка замкнутых структурных описаний) на чащахразбора и их проекциях. Описывается применение построенноймоделидляиерархическойкластеризациитекстовыхабзацев,источником которых может служить, например, поисковая выдача.В третьей главе описывается применение построенной моделидля задачи обучения с учителем на текстовых абзацах (для15английского языка), основанное на использовании ядерных функций(kernels) в методе опорных векторов (SVM).
Производится сравнениес существующей моделью (Moschitti), не использующей информациюосвязяхмеждупредложениямиабзаца.Демонстрируетсяпреимущество применения новой модели в нескольких прикладныхзадачах классификации: классификации поисковых результатов,классификации технических документов.Вчетвертойтождественныхглаведенотатоврассматриваетсядляслучаязадачавыявленияформальныхописаний,построенных на основе предварительно обработанных текстовыхданных.Предлагаетсямодельтождественныхденотатовдляформальных описаний и метод, позволяющий устанавливать связитипа«тажесущность»междуформальнымиописаниями,выделяемыми из текста.
Метод основан на применении фильтрациирешеток формальных понятий. Производится сравнение данногометода с альтернативными методами на нескольких наборах данных:сгенерированныхиполученныхизреальногоприложения.Демонстрируется улучшение, достигаемое за счет применения новогометода.В пятой главе приводится описание программных комплексов,реализующих разработанные в исследовании модели и методы.Рассматриваются комплекс FCART, предназначенный для анализаданных с помощью методов анализа формальных понятий, а такжепрограммныйкомплекс,предназначенныйдляобработкичащразбора. Описывается архитектура комплексов и применение взадачах исследования.Вприложенииприводятсяпрограммных комплексов.основныефрагментыкода161.
Теоретические основы моделирования1.1 Моделирование текстовых данныхАнализ и моделирование естественно-языковых текстовыхданных – особая ветвь анализа данных, выделенная в отдельнуюнаучную область ‒ компьютерную лингвистику. Эту область частотакже называют обработкой текстов на естественном языке (NaturalLanguage Processing). В качестве отличительных особенностей текстакак объекта моделирования и анализа можно перечислить:1. Известные априори закономерности, которым подчиняется текст.2.
Нечеткий характер наблюдаемых закономерностей, большоеколичество исключительных ситуаций.3. Наличие нескольких вкладывающихся друг в друга уровнейанализа и представления текста.4. Ощутимое изменение языковой среды во времени.5. Большие объемы доступных, но разнородных данных для анализа.6. Доступность экспертной оценки (любой носитель языка) приверификации модельных экспериментов.Приведенные выше особенности накладывают ряд ограниченийи требований на разрабатываемые модели текстовых данных.
Такогорода модели должны:1. Учитывать реальные закономерности, наблюдаемые в текстах.2. Учитывать формальные правила языка.3. Быть достаточно гибкими, позволяя осуществлять настройку идоработку с учетом изменений в языковой среде.4. Иметьпривязкутекстовых данных.копределеннымуровнямпредставления17Уровни моделирования текста можно расположить (в порядкевозрастания уровня абстракции) следующим образом:1.
Графематический. Текст рассматривается как последовательностьсимволов. Известно, что группы символов образуют слова илилексемы. Основная задача анализа на данном уровне – выявлениелексем.2. Морфологический.последовательностиморфологическиеТекстсловпредставляетсяисловоформ.характеристикиввидеАнализируютсясловоформ:леммыиграмматические свойства.3. Синтаксический.Наданномуровнерассматриваютсясинтаксические связи между словами в предложении илисинтаксической группе.4. Семантический.4.1Семантические связи внутри предложения. Анализируютсясемантические связи внутри предложения (семантические роли,синонимы и т.д.)4.2Семантические связисложныхмежду предложениямипредложений).Анализируютсятак(и частяминазываемыедискурсивные связи: анафора, риторические отношения и т.д.Выбор конкретного уровня моделирования текста предполагаетиспользование (или полноценное определение в рамках новоймодели) моделей для более «низких» уровней.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
