Тезаурусы в задачах информационного поиска. Лукашевич (2010) (1185451), страница 86
Текст из файла (страница 86)
В опорных булевских выражениях было использовано около 900 понятийтезауруса, в расширенных булевских выражениях содержится около 40 тысяч понятий (сповторениями). Каждому понятию тезауруса соответствует в среднем 2-3 языковыхвыражения (слова или словосочетания).Примером простого описания рубрики может служить описание рубрики 135«Боевые искусства». Опорное булевское выражение состоит из одного понятия БОЕВЫЕИСКУССТВА с меткой «Е» полного расширения по тезаурусу. В состав расширенногобулевского выражения входят помимо исходного следующие понятия: АЙКИДО, ДЖИУДЖИТСУ, ДЗЮДО, КАРАТЭ, САМБО, ДЗЮДОИСТ, КАРАТИСТ, САМБИСТ.
Понятиятезауруса, соответствующие людям (ДЗЮДОИСТ, КАРАТИСТ, САМБИСТ) входят врубрику с пометкой подтверждения, поскольку появление соответствующих слов в текстееще не означает, что текст посвящен боевым искусствам.Все эти понятия и текстовые входы входили в состав Тезауруса до началаэксперимента. F1-мера по метрике OR для этой рубрики составляет 0.97 (полнота 0.98,точность 0.96).Для рубрики 60 «Зимние виды спорта» опорное булевское выражение составляетодно понятие ЗИМНИЕ ВИДЫ СПОРТА, которое отмечено пометкой полного расширенияпо иерархии Тезауруса. В расширенном булевском выражении содержится 50 понятийтезауруса.
F1-мера по метрике OR для этой рубрики составляет 0.84 (полнота 0.80,точность 0.88).Рубрика 43 «Домашний ремонт» описана как конъюнкция, состоящая из двухэлементов.Один элемент – дизъюнкция нескольких понятий тезауруса, связанных с темойремонта без тезаурусного расширения (РЕМОНТ, КАПИТАЛЬНЫЙ РЕМОНТ, ТЕКУЩИЙРЕМОНТ, РЕМОНТНО-СТРОИТЕЛЬНЫЕ РАБОТЫ), второй элемент- дизъюнкциянескольких понятий тезауруса с расширением по видам, относящимся к жилью:321(РЕМОНТ(N)OR КАПИТАЛЬНЫЙ РЕМОНТ(N)OR ТЕКУЩИЙ РЕМОНТ(N)OR РЕМОНТНО-СТРОИТЕЛЬНЫЕ РАБОТЫ(N) )AND(ORORЖИЛОЕ ЗДАНИЕ(L)ЖИЛОЕ ПОМЕЩЕНИЕ(L)КВАРТИРА(L) )F1-мера по метрике OR для этой рубрики составляет 0.658 (полнота – 0.71,точность – 0.61).На выбранных для тестирования 19 рубриках система рубрикации показаланаивысшие показатели классификации по F1-мере.
По метрике AND, считающейрелеватными рубрики документы с учетом мнений обоих асессоров, для оцененныхдокументов величина F1 составила 0.44, что почти на 42% превышает результатыследующей по величине F1 системы рубрикации (0.31). По метрике OR (документсчитается относящимся к рубрике, если хотя бы один из асессоров отнес его к даннойрубрике) для оцененных документов величина F1 составила 0.72, что более чем на 56%превысило показатели следующей по качеству результатов системы (0.46).Наиболее низкие по качеству результаты были показаны для рубрики 033 «Сад иогород» - мера F1 по метрике OR составила всего 0.32.Это связано с тем, что в состав булевского выражения рубрики были введеныпонятия ДАЧНЫЙ УЧАСТОК и ЗАГОРОДНАЯ ДАЧА, без дополнительных условийконъюнкции. Это описание недостаточно точно, поскольку появление в текстесоответствующих слов еще не гарантирует то, что текст обсуждает проблемы сада иогорода.На Рис.21.3 приведены результаты для дорожки классификации Веб-страницколлекции ROMIP.BY.
Достижение показателей качества рубрицирования при нестрогомсогласии между экспертами (полнота = 81.7%; точность = 68.2%; F-мера = 72.9%) следуетпризнать весьма успешным для 8 часов трудозатрат экспертов.DMOZ cate g orizatio n we bpag e s 2007, or onlyJudg e d0,90,80,70,6xxxx-1xxxx-20,5xxxx-30,4xxxx-4thescateg0,30,20,10F1F1 (microaverage)PrecisionPrecis ion (microaverage)RecallRecall (microaverage)Рис.21.3 Результаты рубрикации веб-страниц на основе тезауруса РуТез вэкспериментах РОМИП-2007322Из информации на семинаре РОМИП-2007 известно, что другие методыпредставляли собой модификации метода машинного обучения SVM – одного из самыхуспешных методов, применяемых в автоматической рубрикации текстов.
Анализ данныхколлекции показал, что проблемы методов машинного обучения связаны с серьезнойпротиворечивостью коллекции, а именно, со следующими обстоятельствами. Как база дляобучения были представлены данные ручной рубрикации сайтов. Однако внутри сайтамогут оказаться достаточно разные по содержанию страницы, что и затрудняет выработкуразделяющих правил методами машинного обучения (см. п.13.3.2).В текущем эксперименте у нас не было возможности сделать предварительныйпрогон и исправить ошибки и неточности описания. Поэтому имеется очевиднаявозможность улучшения полученных результатов тематической классификации вебстраниц на основе тезаурусных знаний.21.6.
Тезаурус как база для методов машинного обучения в рубрикации.Концептуальный индекс, построенный на основе тезауруса и учитывающийсинонимы, многозначные слова, словосочетания, отношения между упомянутыми в текстепонятиями, может быть полезен и как база для методов машинного обучения.В эксперименте на семинаре РОМИП 2004 (Агеев и др., 2004) было показано, чтоалгоритм машинного обучения SVM, настроенный на основе концептуального индекса,показал результаты, лучше, чем SVM на пословном индексе. Потенциально могут бытьинтересным и разные комбинации обоих индексов для достижения лучшейэффективности методов.В том же эксперименте было показано, что лучший результат был получен наоснове метода ПФА, который строит формулы описания рубрики в виде булевскихформул фиксированной структуры на пословном или концептуальном индексе.
Вэксперименте РОМИП 2004 был использован концептуальный индекс.Различные модификации алгоритма ПФА (Агеев и др., 2003) строят формулы вида:kJiU ti , j (основной алгоритм)i 1 j 1k Ji U ti , j i 1 j 1 k Ji U ti , j i 1 j 1 Mit'i ,mm 1(21.6) k Ji ' ti , j i 1 j 1 'где ti , j , ti', j — множества документов, содержащих некоторое понятие тезауруса(или, в общем случае, некоторый терм — элемент векторного представлениядокументов). Конъюнкции, составляющие формулу, имеют длину J i от 1 до 3.В 2007 метод ПФА был использован для анализа качества обучающей коллекциизадания по рубрикации РОМИП, было показано массовое наличие явно нерелевантныхстраниц в обучающей коллекции, что позволило спрогнозировать низкие результатытехнологий машинного обучения и выполнить задание с помощью инженерного подхода(см.
п. 22.5).323Чтобы пояснить характер, возникших проблем, рассмотрим рубрику №135 «Спорт-- Боевые искусства», для которой алгоритм строит следующую формулу с показателямина обучающем множестве (полнота = = 0.82, точность = 0.98, F-мера = 0.96):([Тип = L | Имя = КАРАТЭ ])OR ({[Тип = C | Имя = ХОККЕЙНЫЙ КЛУБ ]OR [Тип = T | Имя = ОХРАННОЕ ПРЕДПРИЯТИЕ ]}AND[Тип = T | Имя = БЕДСТВИЕ ])OR ({[Тип = C | Имя = КУЛЬТУРА ]OR [Тип = C | Имя = СЕВЕРО-ЗАПАДНАЯ ЧАСТЬ ]}AND[Тип = C | Имя = ОДЕЖДА ]AND[Тип = T | Имя = ВЕРОВАТЬ ])OR ({[Тип = C | Имя = МЕДИЦИНСКОЕ УЧРЕЖДЕНИЕ ]OR [Тип = C | Имя = КРЫЛАТСКОЕ ]}AND[Тип = T | Имя = ВОСТОЧНЫЕ ЕДИНОБОРСТВА ])OR ( [Тип = C | Имя = МАСЛЕНИЦА ])OR ( [Тип = L | Имя = ДЗЭНИН ])OR ( [Тип = C | Имя = САМООБОРОНА ]AND [Тип = в дереве | Имя = ИСТОРИЧЕСКИЕ НАУКИ ])Причины эффекта переобучения становятся понятны, если более внимательнопосмотреть на список сайтов обучающего множества.
Среди сайтов типа «www.karate.ru»,«aikido.kuban.net», «capoeira.narod.ru» и т.п., встречаются также:- tornado.spb.ru – не только «спортивный клуб таэквон-до», но и хоккейный клуб,а также охранные услуги и системы сигнализации;- kryltkd.narod.ru – (Спортивный Клуб "Олимп" в Крылатском и Кунцево) нетолько «тхэквондо, кикбоксинг, самооборона», но и «развитие гибкости, ОФП».В результате экспертного изучения качества получаемых формул был сделан выводо трудности реализации метода машинного обучения без специальных мер по очисткеобучающего множества и осуществлено описание рубрик посредством инженерногоподхода.Заключение к главе 21.Тезаурус РуТез и создаваемый на его основе концептуальный индекс можетприменяться в обеих технологиях автоматической рубрикации текстов.При инженерном подходе накопленная в тезаурусе информация дает возможностьболее быстрого и качественного описания содержания рубрик рубрикатора.Продемонстрированные в экспериментах результаты показывают, что некоторуюзначимую часть знаний о современной жизни общества и современном языке деловойпрозы нам удалось описать и упорядочить в рамках понятийных структур тезауруса.Кроме того, концептуальный индекс создает дополнительное признаковоепространство для каждого документа, что может позволить повысить качество методовмашинного обучения, применяемых для рубрикации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
