Диссертация (Методы и алгоритмы обработки текстовых данных на основе графовых дискурсивных моделей), страница 5

Проекция может быть рассмотрена как некоторый фильтрполурешеткиописаниясопределеннымиматематическимисвойствами. Эти свойства позволяют доказать, что существуетинъекция между понятиями спроецированной и исходной решеток.Определение 1.14. Проекция узорной структуры – это функцияψ: D → D,котораяявляетсямонотонной(x ⊑ y ⇒ ψ(x) ⊑ ψ(y)),сжимающей (ψ(x) ⊑ x) и идемпотентной (ψ(ψ(x)) = ψ(x)) [90].Узорная структура проецируется следующим образом. Мыдолжны спроецировать функцию – описание объектов, а такжеполурешетку описаний:ψ((G, (D,⊓), δ)) = (G, (Dψ ,⊓ψ ), ψ ∘ δ), где Dψ = ψ(D) = {d ∈ D|∃d* ∈D: ψ(d* ) = d} и ∀x, y ∈ D, x ⊓ψ y: = ψ(x ⊓ y).1.3 Прикладные онтологииПрикладные онтологии являются одной из наиболее удобныхмоделей для структурного представления знаний, извлеченных изтекста.

Они позволяют хранить данные об именованных сущностях,семантических связях и свойствах текстовых фрагментов. В нашемисследовании они применяются в качестве исходных данных задачепостроения кореферентных связей в предобработанном тексте.Введем формальное определение прикладной онтологии [27].Определение 1.15. Структура онтологии - это 6-ка видаO  (C, P, A, H C , prop, attr ).

C - это множество всех классов онтологии,P‒множествовсехотношений,заданныхнаонтологии,26A-множествовсехатрибутов,этоHC -рефлексивноеантисимметричное транзитивное бинарное отношение, называемоетаксономией или иерархией классов, H C  C  C , запись ( D, B)  H Cозначает,чтоклассявляетсяDподклассомФункцияB.prop : P  C  C задает множество всех отношений между классами,неотносящихсякгоризонтальными).таксономииФункция(ихattr : A  Cобычноназываютопределяет,какимиатрибутами наделен каждый класс.ОпределениеЭкземпляр1.16.онтологии(илипростоонтология) - это 6-ка вида MD  (O, I , L, inst, instr, instl ).

O - этоструктураонтологии,I-множествовсехидентификаторов,используемых в данном экземпляре (множества I, P, C непересекаются),L-множествозначенийатрибутов.Функцияinst : C  2I задает множество экземпляров классов, называемыхобъектами онтологии. Функция instr : P  2I I задает множествоэкземпляров отношений.

Функция instl : A  2I L задает значенияатрибутов для каждого объекта.В простейшем случае можно считать, что все атрибуты ‒ этолитералы. В более сложном случае каждый атрибут принадлежит копределенному домену, а вместо одного множества L рассматриваетсянабор используемых доменов.1.4 Модели представления текста1.4.1 Мешок словМодель «мешка слов»[18, 69] («bag-of-words») дает упрощенноепредставлениетекста,применяемое,вчастности,взадачеинформационного поиска. В этой модели текст представляется какнеупорядоченный набор слов (или словосочетаний) без учета27грамматики и порядка слов.

«Мешок слов» часто используется дляклассификациидокументов,гдечастотавстречаемостисловаиспользуется в качестве признака для обучения классификатора.Основным изменяемым параметром является используемый вес –наиболеераспространенахарактеристикаtf-idf–частотавстречаемости слов и обратная частота документа.TF – отношение числа вхождения некоторого слова к общемуколичеству слов в документе: tf  t , d  nink k, IDF – величина,обратная к частоте, с которой слово встречается в документах, спомощьюIDFidf  t , D   logснижаетсявесобщеупотребительныхслов.D, где D ‒ коллекция документов, d – di  ti конкретный документ, t – конкретное слово.

Мера TF-IDF естьпроизведение: tfidf (t , d , D)  tf (t , d )  idf (t , D) .Большое значение этой меры соответствует словам, частовстречающимся в одном документе и редко – в других документахколлекции.1.4.2 Деревья синтаксического разбораДерево синтаксического разбора (syntactic parse tree) – этоупорядоченное дерево, которое отражает синтаксическую структурупредложения или строки согласно некоторой формальной грамматике.Выделяют два основных класса: деревья составляющих (constituencytree) и деревья зависимостей (dependency tree). Важно отличатьдеревья синтаксического разбора от абстрактных синтаксическихдеревьев – первые точнее отражают синтаксис входного языка, в товремя как вторые скорее применимы к полностью формализованнымобластям,такимкакязыкипрограммирования.Деревья28синтаксического разбора используются и для компьютерных языков, идляобработкитекстовнаестественныхязыках.Важнойхарактеристикой деревьев, с точки зрения нашего исследования,является наличие хорошо развитых методов и программных средств,предназначенных для их автоматического построения.

В первуюочередь, это касается английского языка, хотя для русского такжесуществуют методы построения деревьев, использующие деревьязависимостей. В экспериментах используются деревья составляющихдля английского языка, их построение осуществляется с помощьюметодов, разработанных группой из Стэнфорда [23].1.4.2.1 Деревья составляющихДеревьяпредложениясоставляющихотвечаютфразовой(синтаксическимгруппам).Подходструктуренаосновесоставляющих использует идею контекстно-свободной грамматики.Основные классы таких грамматик были разработаны НоамомХомским [57]. В деревьях составляющих внутренние вершиныпомечаютсяграмматическимнетерминальнымикатегориям,всимволами,листьяхжеотвечающимирасполагаютсянепосредственно слова. Деревья составляющих применяются впервую очередь для языков со строгим порядком слов в предложении.Рис.

1.1. Дерево составляющих для предложения «John hit the ball» [17, 57]29Классический набор нетерминальных символов или тегов дляанглийского языка, представлен, например, в корпусе Penn Treebank[56].Таблица 1.1. Основные нетерминальные символы, используемые в PennTreebankТэгОписаниеПримерCCcoordinating conjunctionAndCDcardinal number1, thirdDTDeterminerTheEXexistential therethere isFWforeign wordd'hoevreINpreposition/subordinating conjunctionin, of, likeJJAdjectiveGreenJJRadjective, comparativeGreenerJJSadjective, superlativeGreenestLSlist marker1)MDModalcould, willNNnoun, singular or massTableNNSnoun pluralTablesNNPproper noun, singularJohnNNPSproper noun, pluralVikingsPDTpredeterminerBoth, thePOSpossessive endingfriend'sPRPpersonal pronounI, he, itPRP$possessive pronounmy, hisRBAdverbRBRadverb, comparativeBetterRBSadverb, superlativeBestRPParticlegive upTOToto go, to himUHInterjectionuhhuhhuhhVBverb, base formTakeVBDverb, past tenseTookVBGverb, gerund/present participleTakinghowever, usually,naturally, here, good30VBNverb, past participleTakenVBPverb, sing.

present, non-3dTakeVBZverb, 3rd person sing. presentTakesWDTwh-determinerWhichWPwh-pronounwho, whatWP$possessive wh-pronounWhoseWRBwh-abverbwhere, when1.4.2.2 Деревья зависимостейДеревья зависимостей базируются на грамматике зависимостей– классе современных синтаксических теорий, которые основаны наотношении зависимости, которое можно проследить вплоть до работЛюсьена Теньера [9]. Центром высказывания считается глагол. Всеостальные синтаксические единицы зависят от глагола, возможно, ненапрямую. Отличие от грамматик составляющих заключается вотсутствии вершин для фраз.

Деревья зависимостей хорошо подходятдля языков со свободным порядком слов, например, для русского итурецкого языка.Рис. 1.2. Дерево зависимостей для предложения «John hit the ball» [17, 57]311.4.3 Представление дискурсивных отношений междупредложениями текста1.4.3.1 Дискурсивные теории и их применение в прикладныхзадачахРассмотренныевышедеревьясинтаксическогоразборапозволяют создать структурное представление предложения на базесвязей внутри этого предложения.

Однако если мы рассматриваемболее объемные тексты, например, абзацы, состоящие из несколькихпредложений,тоиспользованиясинтаксическойинформацииоказывается недостаточно. В этом случае источником структурныхсвязеймогутслужитьдискурсивныетеории,учитывающиесмысловые отношения между фрагментами текста.

Ниже описанынесколько основных наиболее востребованных на данный моменттеорий,использующихотображающихразличныеразличныетипыисточникиотношений.данныхиНесмотряназначительное количество разработанных (для английского языка)теорий, реально применимыми на практике оказываются лишьнемногиеизриторическихних.структуркоммуникативныхотносительнойВитеориядействий).простотойалгоритмическогоисследованиииэтихИхиспользовалисьречевыхвыбортеорий,математическогоактовбылачастиобусловлентакжеописания,(втеорияналичиемпозволяющегосоздать полностью автоматическое построение описываемых в этихтеориях связей без привлечения экспертов как на этапе формированияописываемой в исследовании модели текстов, так и на этапеприменения модели в прикладных задачах.

Тем не менее, необходимоотметить, что модель допускает добавление связей других типов,ограничением является лишь необходимость установления каждой32связи между двумя вершинами деревьев разбора для сохраненияграфовой структуры представления текста.Важноотметить,чтодискурсивныесвязиужепродемонстрировали свою полезность в ряде прикладных задач,связанных с анализом текстовых данных [20].

В частности, онииспользовались для повышения качества машинного перевода [84, 85,86], проведения анализа связности текста [87], повышения точностипоиска для семантически связанных вопросов [88] и для вопросовспециального типа [89]. Дискурсивные связи применялись и внескольких исследованиях, связанных с русским языком, однакорассматривалась только устная речь [21].1.4.3.2 Теория риторических структурТеорияриторическихструктур[74,75]даетобщеепредставление об организации текста на естественном языке (висследовании рассматривается реализация для английского языка).Этот метод полезен с лингвистической точки зрения тем, чтопозволяет описывать структуру текста в терминах отношений междуего частями.Выделяют несколько основных преимуществ данной теории:она нечувствительна к изменению размера текста, обеспечиваетвсесторонний анализ текста, описывает отношения функционально.Теория риторических структур позволяет описывать зависимостимежду предложениями в тексте вне зависимости от грамматических илексических признаков.При описании теории риторических структур используют 4основных сущности:1.