Диссертация (1137218), страница 14
Текст из файла (страница 14)
Эти методы использовалитолько статистику по ключевым словам [98,99].96Альтернативныеподходыпродемонстрировалидостаточнонизкое качество. Наилучшим среди них, как и следовало ожидать,оказался метод, использующий информацию о синтаксических связях.Применение анафоры без использования других дискурсивных связейдало прибавку по F-мере относительно этого метода примерно в 5%.Применение риторических связей (опять же изолированно отостальныхтиповдискурсивныхсвязей)позволилоулучшитьрезультат «синтаксического» метода на 6%.
Наилучший результатпродемонстрировал метод, комбинирующий все типы дискурсивныхсвязей: +9%.3.6 ВыводыВ данной главе было показано, как использование дискурсивнойинформации позволяет улучшить качество классификации короткихтекстов. Эксперименты проводились на задаче поиска с помощьюклассификации и на задаче классификации технических текстов. Мыпровели сравнение двух основных вариантов обучения: Обучения на деревьях разбора для отдельных предложений, Обучения на деревьях разбора для отдельных предложений,дополненных расширенными деревьями разбора ‒ деревьями,полученныминаосноведискурсивныхсвязеймеждупредложениями абзаца.Было показано, что добавление новых признаков без изменениясхемы эксперимента улучшает качество классификации по сравнениюс методом, использующим только синтаксические связи.
Этоулучшение колеблется в диапазоне от 2 до 8% для текстов изнескольких областей, имеющих различную структуру. При этомважно отметить, что это улучшение и внедрение дополнительныхпризнаков не потребовали доработки самого алгоритма обучения на97деревьях.
В задаче классификации технических документов, помимочисто «синтаксического» метода, сравнение проводилось также склассификаторами, использующими статистику по ключевым словам(методближайшихсоседейиметоднаивнойбайесовскойклассификации). Преимущество нового метода по точности и полнотесоставило более 15%.В главе 2 было продемонстрировано, что использованиеразличныхдискурсивныхсвязеймеждупредложениями(кореферентные связи, риторические структуры, коммуникативныедействия) позволяет добиться улучшения качества поиска в случае,когда ответ содержится в нескольких предложениях. Оказывается,использование дополнительных связей также позволяет улучшитькачество классификации коротких текстов. При этом сам алгоритмвычисления ядра не модифицируется.Построение расширенных деревьев, рассмотренных выше,подразумевает использование проекций.
Множество расширенныхдеревьев абзаца является проекцией чащи разбора. При этомнеобходимо отметить, что данный вид проекции отличается отпроекций, описанных в главе 2, которые применялись для нахождениясходства текстовых абзацев. В главе 2 проекция чащи определяласькак множество всех максимальных по вложению подграфов,являющихся деревьями. В текущей главе рассматривался упрощенныйвариант данной проекции, подразумевающий в результирующихдеревьях не более одной дискурсивных связи.
Использование этойпроекциидопустимо,посколькуононеприводиткпотереинформации: все дискурсивные связи чащи попадают в лес деревьев,используемый при обучении. В то же время применение даннойпроекции позволяет упростить алгоритм построения расширенных98деревьев и снизить вычислительную сложность подготовки данныхдля обучения и классификации.Применение ядер для анализа коротких текстов являетсяальтернативой описанному в главе 2 построению узорной структурына чащах. Ядра позволяют осуществить обучение с учителем, тогдакак построение узорной структуры является ни чем иным какиерархической кластеризацией, то есть обучением без учителя.Стоит отметить, что предложенный подход может быть такжеприменен к проблеме построения запросов и обхода для самихдеревьев разбора.
Эта задача актуальна в таких системах как Tregex[121], работающих на уровне отдельных предложений. В случаерасширения области действий таких систем до абзацев текста за счетвнедрения расширенных деревьев полнота систем существенновозрастет, а их зависимость от того, как распределена информациямежду предложениями, напротив, снизится.Другиминтереснымпродолжениемработыявляетсяисследование качества ранжирования результатов, получающегося врезультате экспериментов, с помощью стандартных метрик качества,таких как NDCG.
В этом случае можно сравнить ранжирование спомощью обычных и расширенных ядер с исходным ранжированиемBing,атакжесразличнымиметодами,позволяющимипереупорядочивать поисковую выдачу на основе синтаксической идискурсивной структуры результатов.Также в качестве направления для развития исследованияможноотметитьвнедрениевсуществующийметодядер,вычисляемых на графах специального вида [122]. В этом случаестанет возможным обучение непосредственно на чащах разбора, безиспользования проекций.994. Поиск тождественных денотатов в онтологиях иформальных контекстах4.1 ВведениеОдним из типов связей, использовавшихся в предыдущих главахдля соединения фрагментов текста, является анафора. Это частныйслучай отношения, которое на языке описания онтологий называется«та же сущность», а в лингвистике – кореферентность. Такая связьвозникает при наличии нескольких наименований, ссылающихся наодин и тот же объект или ситуацию «внеязыкового» мира.Обнаружение кореферентных связей (причем не обязательно парных)в тексте произвольного объема является отдельной задачей, известнойв философии ещё с 19-го века под названием задачи выявлениятождественных денотатов [5,6,7,8].
В общем случае эта проблемавесьма сложна и требует построения сложных семантическихмоделей, а также использования дополнительных баз знаний. Однаков частном случае, когда мы имеем дело с формальными описаниями,построенными с помощью предварительной обработки текстовыхданных,оказываетсявозможнымпредложитьдостаточноэффективные методы решения этой задачи [2, 15, 39].Одной из наиболее универсальных и популярных моделейпредставления структурированных данных являются прикладныеонтологии.
Распространенным способом построения прикладнойонтологии является её автоматическая или полуавтоматическаягенерация из неструктурированных данных (как правило, текстов) наоснове заранее подготовленного набора правил [139]. Однако притаком способе построения онтологии возникает проблема появлениянескольких описаний, обозначений (денотатов) одних и тех жеобъектов реального мира. Возникновение данной проблемы в100рассматриваемом приложении связано с тем, что реальные источникиинформации могут существенно дублировать или перекрывать другдруга: например, во многих статьях может описываться одна и та жекомпания, человек, место и т.д.При этом выявление тождественных денотатов непосредственнона этапе построения или дополнения онтологии (например, путемпопарного сравнения новых объектов с уже существующимиобъектами) является не слишком эффективным сразу по несколькимпричинам.
Во-первых, такой подход существенно увеличиваетнагрузку на эксперта, принимающего окончательное решение, вособенности эта нагрузка возрастает при частом обновлении данных.Во-вторых,вреальноститождественныеобъектыпоступаютнеравномерно, и имеет смысл выявлять их не при каждом обновлениионтологии, а через более продолжительные промежутки времени,определяемые особенностями предметной области.Предлагаемыйподходпозволяетэффективновыявлятьтождественные денотаты в исходных данных, представленных в видеонтологии.Разработанныйметодможетлибоавтоматическиформировать списки тождественных объектов, либо работать вкачестве рекомендательной системы для эксперта, одновременноминимизируя нагрузку на него и предоставляя ему четкие иинтуитивно понятные рекомендации по определению тождественныхописаний объектов.Задача, послужившая толчком к проведению исследования,былапоставленааналитикамикомпанииАвикомп.Основноенаправление ‒ поиск тождественных описаний людей и компаний вонтологиях,строящихсяпутемавтоматическойсемантическойобработки потока новостных текстов.
Изначально задача решалась101методами попарного сравнения на основе расстояния Хэмминга иразличнымирешениядополнительнымибылоэвристиками,неудовлетворительнымиз-запричемкачествонизкойточности.Применение нового подхода позволило улучшить качество решения.Прикладные онтологии, описывающие различные предметныеобласти, в особенности, социальные сети, имеют специфическиесвойства, которые учитывались при разработке алгоритма:1.
Онтологии содержат достаточно большое количество объектов(десятки тысяч). Многие объекты имеют редкие или дажеуникальные значения признаков, поэтому в онтологии содержитсябольшое количество различных значений признаков.2. Объекты содержат различное число выявленных признаков исвязей(горизонтальныхРаспределениеотношений)этихчиселнесдругимилинейное,объектами.аимеет«гиперболическую» форму (распределение Ципфа).3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
