Тезаурусы в задачах информационного поиска. Лукашевич (2010) (1185451), страница 43
Текст из файла (страница 43)
Важностьопределяется на основе параметра количество документов, в которых встречаетсяконкретное слово запроса - слова, частотность которых в документах коллекции большенекоторого числа N, не участвуют в расширении запроса. Во-вторых, чтобысмоделировать разрешение многозначности, запрос расширяется только теми словами,которые оказались в окрестностях расширения, по крайней мере, двух слов запроса.Таким образом, сначала для каждого слова запроса, частотность которых меньшенекоторого числа N, и каждого синсета для значений этого слова извлекается списокблизких по WordNet слов.
Те слова, которые встретились по крайней мере в двух такихсписках, добавляются к исходному запросу.Исследовались различные величины N – 10% коллекции и 5% коллекции.Для расширения запроса использовались синсеты, находящиеся на расстоянии 1 и2 отношения от исходных синсетов - все виды связей трактовались одинаково.Добавленные слова могли учитываться с разными величинами весов w=0.3, 0.5, 0.8.Максимальное улучшение, которое удалось получить – 0.7% средней точности, чтоне является статистически значимой величиной (N=5%, расстояние – 2, w=0.3).Авторы подчеркивают, что идея аппроксимации разрешения многозначности путемпоиска повторов в списках расширения не является удачной, поскольку чаще всего эторешение приводило к добавлению в запрос очень общих слов, таких как система и др.Для того, чтобы исключить из рассмотрения эффект лексической многозначности иисследовать возможности WordNet по расширению поискового запроса, были выполненыэксперименты с ручным выбором значения многозначных слов в запросе.163Для каждого синсета, соответствующего слову запроса, в запрос могут бытьдобавлены разные слова на основе различных отношений данного синсета, например,синонимы, все слова из нижестоящих синсетов иерархии гипоним- гипероним, все слова,отстоящие на один шаг от текущего синсета.Чтобы исследовать все такие возможности был образован вектор, состоящий из 11подвекторов: один для слов исходного запроса, один для синонимов, один для каждоготипа отношений существительных в WordNet.
Сходство с документами вычислялась каквзвешенная сумма результатов сравнений с каждым из подвекторов.Исследовались четыре варианта векторов:1) расширение только по синонимам,2) расширение синонимы + полная иерархия вниз3) расширение синонимы+ родители+ полная иерархия вниз4) расширение синонимы+ слова из любых синсетов на один шаг по любому типуотношений.Тестирование проходило на двух типах вопросов: более длинной и более короткойверсии запросов. При поиске по полному запросу ни одной из комбинаций не удалосьулучшить результаты поиска более чем на 2 процента.Короткие вопросы состояли из небольшого списка синсетов, например, {cancer},{skin_cancer}, {phramaceutical}.
Для таких укороченных запросов, используя типрасширения 4), при котором все добавления учитывались с коэффициентом 0.5, былополучено 35% улучшение: средняя точность для укороченного запроса без расширениябыла – 0.1634, с расширением – 0.2205. Средняя точность поиска по полному запросу –0.3586. Таким образом, при ручном разрешении многозначности удается получитьзначительное улучшение качества поиска при расширении по тезаурусу WordNet.Основные выводы автора работы заключались в том, что для успешногоприменения WordNet в информационном поиске необходимо значительно улучшитьэффективность автоматического расширения лексической многозначности.11.3.2.
Эксперименты по семантическому индексированию набазе европейских ворднетов.В рамках европейского проекта Meaning, который является развитием проектаEuroWordNet, голландская компания Irion Technologies разработала технологиюконцептуального индексирования TwentyOne, комбинирующую лингвистический истатистический подходы (Vossen и др., 2006). Авторы разработки считают, что неудачи сиспользованием WordNet в информационно-поисковых приложениях связаны струдностями встраивания такого рода лингвистических ресурсов в приложения,оптимального использования содержащейся в ворднетах информации.Основой технологии является статистическая машина поиска, базирующаяся настандартной векторной модели и обеспечивающая быстрый поиск документов.Лингвистические технологии используются в двух ролях:- максимизация полноты выдачи статистической машины за счет синонимииворднетов;- максимизация точности выдачи за счет сравнения запросов с конкретнымифразами документов, а не с целыми документами.Фраза представляет собой именную группу (noun phrase).
Каждая фразаассоциируется с отдельными словами, определенной комбинацией слов, а такжекомбинацией частей слов.Система TwentyOne использует совокупность факторов для сравнения запроса сфразами текста:1. Число совпадающих синсетов между запросом и каждой фразой,2. Степень нечеткого сопоставления между запросом и каждой фразой,3.
Степень деривационного несовпадения, слитного–раздельного написания и т.п.,1644. были ли использованы синонимы,5. был ли использован тот же язык.При обработке запроса сначала с помощью векторной модели находятсядокументы, соответствующие запросу. Затем выданные документы переранжируются так,что сначала выдаются документы, которые имеют наибольшее совпадение по синсетамфраз с запросом. Среди документов, имеющих одинаковое количество сопоставленныхсинсетов между собственными фразами и запросом, первыми выдаются наиболее похожиепо конкретному набору слов. Вес документа по векторной модели используется, если веспо фразам текста получился одинаковым.Разрешение многозначности в данной системе делается на основе технологии,описанной в (Magnini и др., 2002) и базируется на разметке предметных областей wordnet(см.
п. 2.5.3.1.).Система разрешения лексической многозначности сначала настраивается нанаборы слов, относящихся к той или иной предметной области на основе разметки,осуществленной в WordNet. При обработке конкретного документа система сначалаприсваивает предметную область документу в целом, так называемые микротэги. Затемклассифицирует отдельные именные группы внутри контекстного окна 10 именных групп(4 именные группы слева и 5 именных групп справа). В результате этот фрагментполучает один или более тэгов (нанотэги).При разрешении многозначности конкретного слова сначала выбираются значения,соответствующие нанотэгам.
Если нет соответствия с нанотэгами, выбираются значения,соответствующие микротэгам. Если никаких соответствий не обнаружено, выбираютсявсе значения.Приводятся данные, что с помощью данной системы разрешения многозначностиудалось сократить количество значений на основе целого текста: для испанского языка –48%, для английского языка – 57%. В случае использования контекстных оконсокращения выше: 52% для испанского языка и 65 для английского. При этомподчеркивается, что большинство сокращений относятся к словам из области Factotum(см.п.
2.5.3.1.), то есть словам, не относящимся к конкретным предметным областям,таким как быть, начинаться, человек.В проводимых экспериментах для сравнения были построены четыре индекса:1) HTM – традиционный пословный индекс;2) NP - индексы именных групп из запроса, с использованием пословных методов,без использования ворднетов;3) FULL - полные индексы с использованием ворднетов, но без процедурыразрешения многозначности, что приводит к полному расширению посинонимам и переводам для всех возможных значений слов запроса;4) WSD - индексы, использующие ворднеты вместе с описанной выше процедуройснижения многозначности на основе предметных областей ворднет.Полученные индексы тестировались при поиске по документам коллекции Reuter ипо коллекции подписей к картинкам в ресурсе Fototeca (Vossen и др., 2005).
Базовымиязыками для тестирования являются английский и испанский языки. Запросы длятестирования извлекались из самих документов, кроме того, в качестве запросовиспользовались также запросы, полученные синонимической заменой слов из исходныхзапросов. В результате тестирования авторы делают вывод о полезности тезаурусов типаWordNet для информационного поиска, однако из-за специфической процедурыформирования тестового набора запросов трудно оценить, насколько этот выводобоснован в данных экспериментах.16511.3.3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
