Тезаурусы в задачах информационного поиска. Лукашевич (2010) (1185451), страница 87
Текст из файла (страница 87)
Отношения между понятиямитезауруса могут применяться для снижения проблемы нехватки объема обучающейколлекции.324Глава 22. Общественно-политический тезаурус и автоматическое аннотированиеКак уже указывалось в п. 14.2.3, автоматическое аннотирование, то есть краткоеизложение содержания, одного или нескольких документов является одним из важныхнаправлений современных исследований в сфере информационного поиска.В этой главе мы рассмотрим методы автоматического аннотирования одного илинескольких документов на базе тезаурусных знаний и построенного тематическогопредставления документов.Тематическое представление одного или группы тематически связанныхдокументов позволяет нам решать типичные проблемы автоматического аннотирования, аименно,обеспечивать полноту представления информации, снижать повторы,обеспечивать связность и понятность аннотации.22.1.
Автоматическое аннотирование одного текста наоснове тематического представленияПри построении тематического представления текста в виде совокупностейблизких по смыслу понятий, упоминаемых в тексте (тематических узлов), мы выявляемосновных участников ситуации, описываемой в тексте. Так называемые основныетематические узлы моделируют главных участников описываемой ситуации.
Суть текстасоставляет описание взаимодействия между главными участниками (см. раздел 19.2).Таким образом, то новое и важное, что несет в себе текст и что должна отразить всебе аннотация, это именно то, каким образом взаимодействуют между собой эти главныеучастники. Отсюда следует первый принцип составления аннотаций: важными(информативными) и, следовательно, возможно включенными в аннотацию считаются тепредложения текста, которые содержат, по крайней мере, два понятия, входящих в составразных основных тематических узлов текста (Лукашевич, 1997; Loukachevitch, 1998).Напомним, что алгоритмы автоматического аннотирования на основе лексическихцепочек и WordNet при извлечении предложений требуют присутствия одного элементаиз основных лексических цепочек (см.п.14.2.3.3).Предложений, содержащих понятия одних и тех же двух основных тематическихузлов, в тексте может оказаться достаточно много.
Для аннотации необходимо выделитьодно предложение, в котором взаимодействие этих двух основных тематических узловхарактеризуется ―наилучшим образом‖.Не все основные участники начинают обсуждаться в тексте сразу, с первогопредложения -- часть из них возникает в последующих предложениях. Чтобы сохранитьсвязность и последовательность изложения текста, автор именно в этом первомпредложении новой темы должен наиболее точно указать связь новой темы со всемпредшествующим текстом. Таким образом, следуя за автором при вводе новоготематического элемента, можно повысить общую связность аннотации, то есть второйпринцип составления аннотации отдельного документа состоит в том, что для каждойпары выявленных основных тематических элементов текста (основных тематическихузлов) в аннотацию выбираются предложения, содержащие первое вхождение этой пары,следуя по порядку текста.Нужно отметить, что при хорошем покрытии предметной области Тезаурусомпоявление в очередном предложении новой темы выявляется весьма точно, а это означает,что связность получаемой аннотации в среднем весьма высока,Построение аннотации реализуется следующим образом:1) Для построения аннотаций сначала формируется множество "аннотационных"фрагментов, которые не являются вопросительными или восклицательнымипредложениями.3252) Перед построением аннотации создается таблица всех возможных паросновных тематических узлов.3) Начиная с начала текста, отбираются такие предложения, которые содержатеще не упоминавшуюся пару разных тематических узлов.Серьезной проблемой автоматического аннотирования является проблемаместоимений, которые могут появиться в выбранных предложениях и служить ссылкой натакие предложения текста, которые не вошли в состав аннотации.В настоящее время в случаях, когда очередное предложение текста подходит дляаннотации, но содержит местоимение, принимается одно из следующих решений:1) если предыдущее предложение входит в состав аннотации, то и данноепредложение включается в состав аннотации;2) если предыдущее предложение не входит в состав аннотации, то проверяется,нельзя ли это предыдущее предложение включить в состав аннотации.
Дляэтого необходимо, чтобы оно не содержало местоимений или следовало запредложением, включенным в аннотацию.3) в остальных случаях предложение с местоимением не включается в составаннотации.Качество технологии автоматической рубрикации тестировалось на конференцииSUMMAC (summarization conference) (Tipster SUMMAC, 1998).
Программа использовалаанглийский перевод Общественно-политического тезауруса.Задача, в рамках которой тестировался изложенный метод автоматическогоаннотирования, состояла в следующем. Каждый участник соревнования получал на двенедели 1000 документов и должен был представить две аннотации – аннотациюнаилучшей длины (то есть оптимальную длину аннотации нужно было определитьавтоматически) и 10-процентную аннотацию, т.е. аннотацию, составляющую 10процентов длины исходного текста.Тестирование в процессе соревнования относилось к так называемому классувнешних тестирований (extrinsic), то есть проверялось, насколько порожденная аннотацияпригодна для решения некоторой внешней задачи.Внешней задачей в данном случае была задача рубрикации.
Все документы,выданные для обработки, относились к двум большим темам «Мировая экономика» и«Налоги». При этом по полному тексту документа, его можно было отнести к болееподробным рубрикам. Так, например, для рубрики «Мировая экономика» такимиподрубриками были:- экспорт в промышленности,- внешняя торговля,- международная борьба с наркотиками,- иностранные производители автомобилей.Таким образом, если аннотациясделана правильно и сохраняет основную тему документа, люди-оценщики должныотнести аннотацию документа к той же подрубрике, что и сам документ. При этомкаждому человеку-оценщику давался документ, который мог оказаться аннотацией,начальным фрагментов документа или полным текстом.По ошибкам отнесения можно было оценить качество полученной аннотации.Качество рубрикации документов по аннотации, и таким образом, собственноаннотаций оценивалось по стандартным метрикам, использующимся при оцениваниисистем автоматической рубрикации: точность, полнота и F-мера.Наша система имела лучший показатель F-меры для аннотаций наилучшей длины ипоказатели 10-процентных аннотаций были лучше, чем средние (SUMMAC FinalReport, 1998).326В качестве примера работы описанного метода автоматического аннотированиярассмотрим следующий текст:Китай и Тайвань установили авиасообщение после 60-летнего перерываПосле почти 60-летнего перерыва открылось регулярное авиасообщениемежду Тайванем и материковым Китаем.
Первый чартерный рейс с 250пассажирами уже прибыл в столицу Тайваня из китайского города Гуанчжоу,передает «Би-би-си». Ожидается, что аэропорты острова будут приниматьрейсы из пяти китайских городов: Пекина, Шанхая, Гуанчжоу, Сямэня и Нанкина.Договоренность о прямых регулярных авиарейсах была достигнута в серединеиюня 2008 года на переговорах между руководством Тайваня и Китая.Восстановление авиасообщения произошло не в последнюю очередь благодаряпобеде на выборах главы администрации Тайваня в марте 2008 года сторонниковтесного сотрудничества с материковым Китаем.
Прямых регулярных авиарейсовмежду Тайванем и Китаем не осуществлялось с 1949 года, когда Тайвань сталубежищем потерпевших поражение в гражданской войне с коммунистамисторонников партии Гоминьдан. До июля 2008 года прямые рейсы междуматериковым Китаем и Тайванем осуществлялись только по спецдоговоренности,в основном - в дни праздников, напоминает Лента.руПриведем примеры тематических узлов, созданных в процессе обработки этоготекста (центр тематического узла выделен сдвигом влево; указана также частотаупоминания понятия в тексте):КИТАЙГАНЧЖОУШАНХАЙНАНКИНПЕКИН82211ТАЙВАНЬТАЙБЕЙ71АВИАЦИОННЫЕ ПЕРЕВОЗКИАВИАРЕЙСАЭРОПОРТ211ПОЛИТИЧЕСКАЯ ПАРТИЯКОММУНИСТ11ПРАВИТЕЛЬСТВОПУБЛИЧНАЯ ВЛАСТЬ11В рассматриваемом примере тематического представления основнымитематическими узлами стали узлы с главными дескрипторами КИТАЙ, ТАЙВАНЬ,АВИАЦИОННЫЕ ПЕРЕВОЗКИ, ГОРОД, РЕЙС, БИ-БИ-СИ.Для текста примера получаем следующую аннотацию, в которой упомянуты всеосновные тематические узлы данного документа:Китай и Тайвань установили авиасообщение после 60-летнего перерываПервый чартерный рейс с 250 пассажирами уже прибыл в столицу Тайваня изкитайского города Гуанчжоу, передает Би-би-си.
Ожидается, что аэропортыострова будут принимать рейсы из пяти китайских городов Пекина, Шанхая,Гуанчжоу, Сямэня и Нанкина.Отметим, что в аннотации пропущено первое предложение, которое не содержитновой пары тематических узлов по сравнению с заголовком текста.32722.2. Построение структурной тематической аннотации текстаДля некоторых типов текстов хорошая (связная и понятная) аннотация может бытьпостроена не всегда:- большинствотакихдокументовкакзаконы,президентскиеиправительственные документы, международные договоры имеют оченьсложную структуру, поэтому часто аннотация, основанная на любых принципахвыбора информативных фрагментов, может быть слишком длинна, тяжеловеснаи неясна;- автоматические аннотации газетных интервью обычно обрывочны и несвязны;- в ограниченные по длине аннотации текстов больших размеров могут неуместиться важные темы текста;- и, наконец, аннотации на исходном языке могут оказаться бесполезными дляпользователей многоязычных информационно-поисковых систем.
Пользователитаких систем могут быть незнакомы с языком, на котором написаны документыколлекции.Для краткого представления содержания вышеперечисленных типов текстовтребуются другие виды аннотаций (Лукашевич, Добров, 1998; Loukachevitch, Dobrov,2000a). Такой аннотацией мог бы служить список наиболее частотных терминов текста.Но в таких списках термины, относящиеся к различным подтемам текста, перемешаны,что затрудняет их восприятие. Кроме того, большое количество терминов наиболеепредставительной темы может занять все предоставленное место, и термины другихважных для текста тем будут упущены.Структурная тематическая аннотация представляет содержание текста посредствомописания участников его основной темы, которые моделируются совокупностью понятий,относящихся к этим темам. Структурная тематическая аннотация содержит наиболееинформативные фрагменты тематического представления текста, которое включает всепонятия текста, разбитые на тематические узлы.Тематическое представление, содержащее все понятия текста, является слишкомподробным, чтобы служить структурной аннотацией текста, предъявляемойпользователю.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
