Диссертация (1137241), страница 5

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 5)

Структура онтологии - это 6-ка видаO  (C, P, A, H C , prop, attr ). C - это множество всех классов онтологии,P‒множествоA-множествовсехотношений,всехатрибутов,заданныхHC -этонаонтологии,рефлексивноеантисимметричное транзитивное бинарное отношение, называемоетаксономией или иерархией классов, H C  C  C , запись ( D, B)  H Cозначает,чтоклассDявляетсяподклассомB.Функцияprop : P  C  C задает множество всех отношений между классами,неотносящихсягоризонтальными).ктаксономииФункция(ихattr : A  Cатрибутами наделен каждый класс.обычноопределяет,называюткакими26ОпределениеЭкземпляр1.16.онтологии(илипростоонтология) - это 6-ка вида MD  (O, I , L, inst, instr, instl ).

O - этоструктураонтологии,I-множествовсехидентификаторов,используемых в данном экземпляре (множества I, P, C непересекаются),L-множествозначенийатрибутов.Функцияinst : C  2I задает множество экземпляров классов, называемыхобъектами онтологии. Функция instr : P  2I I задает множествоэкземпляров отношений. Функция instl : A  2I I задает значенияатрибутов для каждого объекта.В простейшем случае можно считать, что все атрибуты ‒ этолитералы. В более сложном случае каждый атрибут принадлежит копределенному домену, а вместо одного множества L рассматриваетсянабор используемых доменов.1.4 Модели представления текста1.4.1 Мешок словМодель «мешка слов» («bag-of-words») дает упрощенноепредставлениетекста,применяемое,вчастности,взадачеинформационного поиска.

В этой модели текст представляется какнеупорядоченный набор слов (или словосочетаний) без учетаграмматики и порядка слов. «Мешок слов» часто используется дляклассификациидокументов,гдечастотавстречаемостисловаиспользуется в качестве признака для обучения классификатора.Основным изменяемым параметром является используемый вес – наиболеераспространена характеристика tf-idf – частота встречаемости слов иобратная частота документа.27TF – отношение числа вхождения некоторого слова к общемуколичеству слов в документе: tf  t , d  nink k, IDF – величина,обратная к частоте, с которой слово встречается в документах, спомощьюIDFidf  t , D   logснижаетсявесобщеупотребительныхслов.D, где D ‒ коллекция документов, d – di  ti конкретный документ, t – конкретное слово. Мера TF-IDF естьпроизведение: tfidf (t , d , D)  tf ( y, d )  idf (t , D) .Большое значение этой меры соответствует словам, частовстречающимся в одном документе и редко в других из документахколлекции.1.4.2 Деревья синтаксического разбораДерево синтаксического разбора (syntactic parse tree) – этоупорядоченное дерево, которое отражает синтаксическую структурупредложения или строки согласно некоторой формальной грамматике.Выделяют два основных класса: деревья составляющих (constituencytree) и деревья зависимостей (dependency tree).

Важно отличатьдеревья синтаксического разбора от абстрактных синтаксическихдеревьев – первые точнее отражают синтаксис входного языка, в товремя как вторые скорее применимы к полностью формализованнымобластям,таким,какязыкипрограммирования.Деревьясинтаксического разбора используются и для компьютерных языков, идляобработкитекстовнаестественныхязыках.Важнойхарактеристикой деревьев, с точки зрения нашего исследования,является наличие хорошо развитых методов и программных средств,предназначенных для их автоматического построения. В первуюочередь, это касается английского языка, хотя для русского также28существуют методы построения деревьев, использующие деревьязависимостей.

В экспериментах используются деревья составляющихдля английского языка, их построение осуществляется с помощьюметодов, разработанных группой из Стэнфорда [73].1.4.2.1 Деревья составляющихДеревьяпредложениясоставляющихотвечаютфразовой(синтаксическимгруппам).Подходструктуренаосновесоставляющих использует идею контекстно-свободной грамматики.Основные классы таких грамматик были разработаны НоамомХомским [41]. В деревьях составляющих внутренние вершиныпомечаютсяграмматическимнетерминальнымикатегориям,всимволами,листьяхжеотвечающимирасполагаютсянепосредственно слова. Деревья составляющих применяются впервую очередь для языков со строгим порядком слов в предложении.Рис. 1.1.

Дерево составляющих для предложения «John hit the ball»Классический набор нетерминальных символов или тегов дляанглийского языка, представлен, например, в корпусе Penn Treebank[40].29Таблица 1.1. Основные нетерминальные символы, используемые в PennTreebankТэгОписаниеПримерCCcoordinating conjunctionAndCDcardinal number1, thirdDTDeterminerTheEXexistential therethere isFWforeign wordd'hoevreINpreposition/subordinating conjunctionin, of, likeJJAdjectiveGreenJJRadjective, comparativeGreenerJJSadjective, superlativeGreenestLSlist marker1)MDModalcould, willNNnoun, singular or massTableNNSnoun pluralTablesNNPproper noun, singularJohnNNPSproper noun, pluralVikingsPDTpredeterminerBoth, thePOSpossessive endingfriend'sPRPpersonal pronounI, he, itPRP$possessive pronounmy, hisRBAdverbRBRadverb, comparativeBetterRBSadverb, superlativeBestRPParticlegive upTOToto go, to himUHinterjectionuhhuhhuhhVBverb, base formTakeVBDverb, past tenseTookVBGverb, gerund/present participleTakingVBNverb, past participleTakenVBPverb, sing.

present, non-3dTakeVBZverb, 3rd person sing. presentTakesWDTwh-determinerWhichWPwh-pronounwho, whathowever, usually,naturally, here, good30WP$possessive wh-pronounWhoseWRBwh-abverbwhere, when1.4.2.2 Деревья зависимостейДеревья зависимостей базируются на грамматике зависимостей– классе современных синтаксических теорий, которые основаны наотношении зависимости, которое можно проследить вплоть до работЛюсьена Теньера [9]. Центром высказывания считается глагол.

Всеостальные синтаксические единицы зависят от глагола, возможно, ненапрямую. Отличие от грамматик составляющих заключается вотсутствии вершин для фраз. Деревья зависимостей хорошо подходятдля языков со свободным порядком слов, например, для русского итурецкого языка.Рис. 1.2.

Дерево зависимостей для предложения «John hit the ball»1.4.3 Представление семантических отношений междупредложениями текстаРассмотренныевышедеревьясинтаксическогоразборапозволяют создать структурное представление предложения на базесвязей внутри этого предложения. Однако если мы рассматриваемболее объемные тексты, например, абзацы, состоящие из несколькихпредложений,тоиспользованиясинтаксическойинформацииоказывается недостаточно. В этом случае источником структурныхсвязей могут служить семантические (точнее, дискурсивные) теории,31учитывающие смысловые отношения между фрагментами текста.Ниже описаны несколько основных наиболее востребованных наданный момент теорий, использующих различные источники данныхиотображающихразличныетипыотношений.Несмотряназначительное количество разработанных (для английского языка)теорий, реально применимыми на практике оказываются лишьнемногиеизриторическихних.структуркоммуникативныхотносительнойВитеориядействий).простотойалгоритмическогоисследованиииэтихИхиспользовалисьречевыхвыбортеорий,математическогоактовбылачастиобусловлентакжеописания,(втеорияналичиемпозволяющегосоздать полностью автоматическое построение описываемых в этихтеориях связей без привлечения экспертов как на этапе формированияописываемой в исследовании модели текстов, так и на этапеприменения модели в прикладных задачах.

Тем не менее, необходимоотметить, что модель допускает добавление связей других типов,ограничением является лишь необходимость установления каждойсвязи между двумя вершинами деревьев разбора для сохраненияграфовой структуры представления текста.1.4.3.1 Теория риторических структурТеория риторических структур [58] дает общее представлениеоб организации текста на естественном языке (в исследованиирассматривается реализация для английского языка). Этот методполезен с лингвистической точки зрения тем, что позволяетописывать структуру текста в терминах отношений между егочастями.Выделяют несколько основных преимуществ данной теории:она нечувствительна к изменению размера текста, обеспечивает32всесторонний анализ текста, описывает отношения функционально.Теория риторических структур позволяет описывать зависимостимежду предложениями в тексте вне зависимости от грамматических илексических признаков.При описании теории риторических структур используют 4основных сущности:1.

Отношения;2. Схемы;3. Реализации схем;4. Структуры.Отношения–конкретныебинарныесвязи,которыеустанавливаются между частями текста. Каждое отношения связываетдва непересекающихся фрагмента текста, называемых ядром (nucleus)и спутником (satellite), обозначаемых N и S соответственно. Стоиттакже отметить, что определение отношений основывается не наморфологических и синтаксических признаках, а на функциональныхи семантических. Так, для определения отношения Condition (условие)недостаточно лишь только наличия слова ‘if’.Отношение состоит из 4 компонентов:1.

Ограничения на ядро.2. Ограничения на спутник.3. Ограничения на сочетание ядра и спутника.4. «Эффект».Схемы определяют общую структуру текста. Это абстрактныеобразцы, состоящие из небольшого числа фрагментов текста,33отношений между ними и взаимосвязей между ядрами и всемифрагмента. Они немного похожи на грамматические правила.В теории риторических структур выделяют 5 основных видовсхем:Рис. 1.3.

Характеристики

Список файлов диссертации