Тезаурусы в задачах информационного поиска. Лукашевич (2010) (Тезаурусы в задачах информационного поиска. Лукашевич (2010).pdf), страница 6

earthy, continental, midland, coastal, littoral, riparian,; alluvial; terrene &c.(world) 318; landed, predial, territorial; geophilous; ripicolousAdv. ashore; on shore, on land,Таблица 1.1 Фрагмент словарной статьи Тезауруса Роже (Roget, 1982)Обычно отмечаются следующие особенности словарей типа тезаурусов Роже,препятствующие применению таких тезаурусов в автоматической обработке текстов.Во-первых, в структуре такого тезауруса, в отсылках между категориямизаключено большое разнообразие различных типов отношений, которые явным образомне указаны, что затрудняет их использование в приложениях.Во-вторых, существенным фактором является отсутствие выделенных значенийслов. В тех случаях, когда то или иное слово упоминается в разных разделах тезауруса, тоэто может происходить как из-за того, что в разные разделы попали разные значения слов,так и из-за того, что одно и то же значение слова может быть отнесено в разныекатегории.Кроме того, отмечаются проблемы классификации, связанные с жесткойзаданностью древесной структуры категорий тезауруса.

Возникают вопросы по поводупоследовательности решений разделения на категории: какие именно признаки выделять вкатегории тезауруса, а какие нет (Морковкин, 1970).В связи с перечисленными проблемами тезаурусов типа тезаурус Роже и в связи стем, что число публикаций по применению таких тезаурусов для автоматическойобработки текстов сравнительно невелико, мы далее не будем подробно рассматриватьэксперименты, базирующиеся на использовании такого рода тезаурусов.22Глава 1. Информационно-поисковые тезаурусыИнформационно-поисковые тезаурусы появились в 60-е годы 20 века. В это времябольшинство информационно-поисковых систем не являлись полнотекстовыми, а хранилидостаточно ограниченный набор информации о документе: библиографические данные,реферат.

Добавление списка ключевых слов, характеризующих основное содержаниедокумента, существенно расширяли возможности поиска документов. С началасемидесятых годов создаются национальные и международные стандарты разработкиинформационно-поисковых тезаурусов.В соответствии с определениями стандартов информационно-поисковый тезаурус –это нормативный словарь, явно указывающий отношения между терминами ипредназначенный для описания содержания документов и поисковых запросов.Основными целями разработки информационно-поисковых тезаурусов являютсяследующие:- обеспечение перевода естественного языка документов и пользователей на одини тот же словарь, используемый для индексирования и поиска, таким образом,различия в лексическом составе документа и запроса пользователя сводились кодним и тем же единицам тезауруса,- обеспечение последовательного использования единиц индексирования,- обеспечение отношений между терминами - отношения между единицамитезауруса позволяют найти оптимальный термин для описания документа илизапроса,- использование как поискового средства при поиске документов.Информационно-поисковые тезаурусы создавались как инструмент для ручногоописания документов специалистами-индексаторами.

Поисковый запрос такжепредполагалось формулировать на основе единиц тезауруса.Появление полнотекстовых информационно-поисковых систем, а такжевозможностей поиска по всем словам текста с помощью методов ранжированногоинформационного поиска (см. раздел 11.1) значительно снизило значимость разработки ииспользования информационно-поисковых тезаурусов, поскольку давало возможностьпоиска текста неподготовленному пользователю в любых предметных областях, безпредварительных затрат на разработку тезаурусов.Многочисленные исследования по определению эффективности различныхметодов представления документов при информационном поиске показали, чтоэффективность пословного индексирования сравнима с эффективностью поиска,использующего ручное индексирование по качественному тезаурусу (Salton, 1986; SparckJones, 1981), для создания которого нужно было еще затратить достаточно много средстви усилий, кроме того, нужно было еще осуществлять качественное ручноеиндексирование документов по этому тезаурусу.Эксперименты по автоматическому индексированию документов и запросов набазе информационно-поисковых тезаурусов не привели к практическому использованиюсозданных информационно-поисковых тезаурусов в процессе автоматической обработкитекстов.В данной главе мы рассмотрим основные структурные особенностиинформационно-поисковых тезаурусов, методы их создания и использования, а такжеобсудим, как эти особенности ограничивают применение информационно-поисковыхтезаурусов в процессе автоматической обработки текстов.231.1.

Единицы информационно-поисковых тезаурусовОсновными единицами тезаурусов являются термины предметной области.Большинство версий стандартов по информационно-поисковым тезаурусамуказывают на связь терминов с понятиями предметной области. Американский стандартуказывает, что термин является одним или большим числом слов, обозначающих понятие.Стандарт ISO-2788 подчеркивает, что индексирующий термин - это представлениепонятия предпочтительно в форме существительного или именной группы.При этом понятие рассматривается как единица мысли, формируемая мысленнодля отражения всех или некоторых свойств конкретного или абстрактного, реальносуществующего или мысленного объекта. Понятия существуют как абстрактныесущности, независимо от терминов, которые их выражают.Российский ГОСТ рассматривает понятие как форму мышления, отражающуюсущественные свойства, связи и отношения предметов и явлений, а термином вопределении ГОСТа является слово или словосочетание, являющееся точнымобозначением определенного понятия какой-либо области знания.При этом, определяя единицы тезауруса,ГОСТ 7.74-96 не опирается наопределение термина, а определяет единицы тезауруса как лексические единицыинформационно-поискового языка – то есть обозначения отдельного понятия, принятые винформационно-поисковом языке и неделимые в этой функции.Стоит отметить, что не все разработчики тезаурусов четко разделяли понятия итермины.

Так, разработчики тезауруса AGROVOC характеризуют его как терминоориентированный (term-oriented), что находит свое проявление в том, что к терминуневозможно добавить синонимы. Эта особенность тезауруса рассматривается авторамикак недостаток, который необходимо исправить (Soergel и др., 2004).Таким образом, разработчики тезаурусов предполагают, что понятие предметнойобласти обычно имеет несколько возможных вариантов лексического представления втексте, которые рассматриваются как синонимы.

Среди таких синонимов выбираетсядескриптор – термин, который рассматривается как основной способ ссылки на понятие врамках тезауруса. Другие термины из синонимического ряда, включенные в тезаурус,называются аскрипторы или недескрипторы. Они используются как вспомогательныеэлементы, текстовые входы, помогающие найти подходящие дескрипторы.Поскольку информационно-поисковые тезаурусы обычно создаются дляконкретных предметных областей, то их построение существенным образом базируется натаких сущностях как «понятие» и «термин», под которым обычно понимается слово илисловосочетание, номинирующее понятие определенной области знания или деятельности(Суперанская и др., 2003, Гринев, 1993; Лейчик, 1994; Володина, 1996).Именно такое понимание термина является основанием рассматриватьинформационно-поисковые тезаурусы как вид онтологических ресурсов (см. раздел 4.1).1.1.1.

Дескрипторы информационно-поискового тезаурусаДескрипторы тезауруса должны соответствовать выбранной предметной областитезауруса. Каждый дескриптор, внесенный в тезаурус, должен представлять отдельноепонятие данной области. Дескриптор может быть однословным или многословным.Поскольку часто достаточно трудно понять, представляет ли отдельное понятиемногословное словосочетание, многие тезаурусы и руководства уделяют особое вниманиеосновным принципам включения в тезаурус в качестве дескрипторов многословныхтерминов.Набор дескрипторов тезауруса должен удовлетворять следующим требованиям:- посредством выделенных дескрипторов должно быть возможно описать темыабсолютного большинства текстов предметной области;24для уменьшения субъективности индексирования множество дескрипторов недолжно включать совокупности близких дескрипторов, формируются классыусловной эквивалентности, когда совокупности близких, но различных понятийсводятся к одному дескриптору (LIV, 1994);- дескриптор должен быть сформулирован однозначно, его подразумеваемое врамках тезауруса значение должно быть понятно пользователю.

Еслиоднозначный и ясный дескриптор подобрать не удается, термин, взятый вкачестве дескриптора, снабжается релятором (краткой пометой) иликомментарием.Стандарт z39.19 рекомендует использовать реляторы для имен дескрипторов дажев тех случаях, когда дескриптор звучит однозначно внутри заданной предметной области,но имеет другие значения в общеупотребительном языке или других значимых областях.«Это облегчает поиск по нескольким базам данных и сопоставление дескрипторовразличных предметных областей». Например, предлагается вводить дескрипторShells(structures) для инженерной предметной области, поскольку слово shell имеет многозначений в английском языке.Комментарий к дескриптору может серьезно направлять, ограничиватьиндексатора по использованию того или иного дескриптора для описания текстов.Так, в тезаурусе LIV (LIV, 1994), который используется для индексированиядокументов в Исследовательской Службе Конгресса США, имеется дескрипторBUILDING CONSTRUCTION (СТРОИТЕЛЬСТВО),который снабжен следующимкомментарием:-Используется для публикаций о процессе строительства.

Для публикаций построительному бизнесу, описывающих финансы, планирование, управление,используется дескриптор Construction industries. Публикации о типахпроизводимых работ индексируются дескриптором Construction workers.При наличии нескольких кандидатов на роль дескриптора факторами, влияющимина выбор дескриптора, могут быть (ГОСТ 7.25; Герд, с.159-160, 2005):- соответствие стандартам и рекомендациям по научно-техническойтерминологии, - в стандарте Z39.19 такое соответствие называется ―literarywarrant‖ – литературный мандат,- краткость и понятность (ГОСТ 7.25),- соображения частотности (Герд, 2005; ГОСТ 7.25; Z39.19) – частотность втекстах и запросах позволяет приблизить язык тезауруса к языку пользователейи документов (Z39.19)- выбор наиболее стилистически нейтрального термина. Например, стандартZ39.19 рекомендует в качестве дескриптора предпочесть термин developingnations (развивающиеся страны), а не underdeveloped countries (недоразвитыестраны).

Следует избегать в качестве дескрипторов неологизмов, жаргонных исленговых выражений.- Герд А.С. (Герд, 2005) указывает, что при выборе дескрипторов важноучитывать лексическую структуру иерархически подчиненных дескрипторов(из двух или большего числа синонимов дескриптором считался тот термин,лексическая структура которого повторяется в подчиненных ему терминах).Например, из двух терминов возникновение дислокации и зарождениедислокации в качестве дескриптора выбирается второй, так как подчиненныетермины гетерогенное зарождение дислокации, гомогенное зарождениедислокации, дублируют лексему зарождение.Задача выделения дескрипторов из набора близких по значению терминов тесносвязана с широкой проблемой стандартизации и унификации терминологии.