Тезаурусы в задачах информационного поиска. Лукашевич (2010) (1185451), страница 94
Текст из файла (страница 94)
Этапы создания онтологии ОЕНТОсновной задачей при создании лингвистической онтологии большого размерасилами небольшого коллектива является максимальное использование методовавтоматизации, а также фрагментов ранее созданных лингвистических онтологий.Процедура формирования первой версии онтологии ОЕНТ включала интеграциюинформации из нескольких разных источников.24.2.1. Автоматический набор терминологии по текстамДля каждой науки из рассматриваемого списка (математика, физика, химия,биология, геология) были сформированы коллекции документов (от 3000 до 8000документов, от 50 до 90 Мб). Источником коллекций являлись документы, доступные вИнтернет, следующих основных типов:- материалы школьных уроков;- рефераты;- университетские лекции;- материалы специализированных сайтов.Была произведена обработка специальными процедурами автоматическогоизвлечения терминоподобных словосочетаний, что дало возможность проверки352употребимости терминов в материалах, а также нахождения терминов, входящих в составпредметной области.Для извлечения терминоподобных словосочетаний было использовано дваалгоритма.Первый алгоритм извлечения словосочетаний выделяет существительные,прилагательные, согласованные пары и тройки прилагательных и существительных, атакже генитивные конструкции (существительное + существительное в родительномпадеже и т.п.) (см.
п.23.2).Второй алгоритм может выделять часто повторяющиеся именные группы,состоящие из нескольких слов, в том числе предложные (Добров и др., 2003).Кроме того, тексты сопоставлялись с терминами Общественно-политическоготезауруса. Полученные терминоподобные слова и словосочетания упорядочивались поубыванию суммарной частотности и убыванию количества содержащих их документов.24.2.2.
Автоматизированное формирование первой версии онтологииОсновной целью при формировании первой версии ресурса являлось быстроеполучение приближения предметной области. При этом выбор делался в сторону большейизбыточности первого приближения, чтобы в дальнейшем минимизировать повозможности поиск и добавление новых терминов.Для отбора терминологии по каждой предметной области были образованыверхние части частотных списков терминоподобных слов (по 10 тысяч) и словосочетаний(по 15 тысяч), которые были направлены на быструю разметку экспертам. Отметим, чтонижняя часть этих списков соответствовала уровню встречаемости в 5-6 документах.Эксперты должны были в рамках «своей» науки пометить принадлежность кпредметной области того или иного термина.
Допускалась пометка термина длянескольких предметных областей, но полнота такого рода разметки не требовалась. Послеокончания этого этапа списки разных экспертов были объединены – получился список из32 тысяч помеченных слов и словосочетаний.Следующим этапом стало использование терминологии, включенной в Тезаурусрусского языка РуТез. Этот тезаурус содержит общеупотребительную лексику, лексику итерминологию нормативно-правовых актов и материалов СМИ. Поэтому имеет значимоепересечение с терминологией практически любой значимой предметной области.Для каждой новой предметной области были заданы несколько понятий верхнегоуровня, такие как =НАУКА=, =РАСТЕНИЕ= и т.п., касающиеся сущности исследуемыхпредметных областей и их предметов ведения.
Для таких понятий были выбраны способырасширения по иерархии тезаурусных связей (полное расширение или расширение толькопо таксономическим отношениям). Полученные группы понятий были помеченыспециальными пометками отнесения к дополнительной предметной областисоответствующей науки и к специальной служебной рабочей предметной области«кандидат».После этого список отобранных экспертами терминов по текстам был сопоставленс текстовыми входами понятий Тезауруса РуТез. В случае совпадения с текстовым входомиз тезауруса, все понятия, ассоциированные с данным текстовым входом, получалидополнительные пометки новых предметных областей – соответствующей науки (наук) ипредметной области «кандидат».Если отобранный экспертами термин был не известен, то заводилось новоепонятие, название и единственный текстовый вход которого совпадали с даннымтермином. Новое понятие получало пометки принадлежности к предметной областисоответствующей науки и «кандидат».
Кроме того, автоматически вводилосьтаксономическое отношение ВЫШЕ к специальному временному понятию в каждойнауке, например, =@ГЕОЛОГИЧЕСКАЯ ТЕРМИНОЛОГИЯ=, =@ХИМИЧЕСКАЯТЕРМИНОЛОГИЯ=, и т.п.353Наконец, для отобранных из Тезауруса РуТез понятий (получивших пометку«кандидат») было выполнено «замыкание» - были добавлены понятия, расположенныевыше по таксономическим связям. Эти понятия получали аналогичные дополнительныепометки предметных областей.Таким образом, в результате предыдущих этапов был сформирован «пополненный»терминологический ресурс. Так как все интересующие нас понятия имели пометкуотнесения к служебной предметной области «кандидат», то мы использовали стандартнуюпроцедуру «экспорта» фрагмента тезауруса для формирования нового ресурса.24.2.3.
Методология работы экспертовПосле появления первой версии онтологии с корпусом, а также со словарямипредметной области начинают работать эксперты – инженеры по знаниям.Основными целями их работы являются следующие:- изучая конкретные языковые выражения, их словарные определения,употребление в конкретных текстах определить, какому понятию соответствуетзначение данного языкового выражения. Если такое понятие уже существует,данное языковое выражение приписывается этому понятию.
Для новогопонятия создается отдельная единица в иерархической сети;- Для каждого понятия по корпусу набирается максимально возможное числоразличных слов, выражений, значения которых соответствуют этому понятию –текстовых входов понятия;- Для каждого понятия проводится концептуальный анализ для выяснения еготаксономических отношений и отношений онтологической зависимости.Поскольку эти отношения являются наиболее важными для широкого кругапонятий,их часто можно выявить на основе анализа определенийсоответствующих терминов в терминологических словарях, употреблений втекстовых контекстах, сопоставления определений и текстовых контекстов.Как показывает практика, в связи с многократно описанными проблемамиполучения знания от экспертов в предметной области (Гаврилова, 2001), наиболееэффективным является максимально полная разработка ресурса на основе анализатекстового корпуса.
В многочисленных исследованиях подтверждено, что к описаниюпредметной области следует привлекать специалистов по знаниям, а также специалистовпо языку, чем полностью доверить данную работу специалистам в предметной области.Во-первых, описание структуры научного знания предметной области является другимвидом деятельности, чем, собственно, исследование в рамках данной науки. Во-вторых,большинство ученых действует в рамках своей научной школы, недостаточно представляяпонятийный аппарат других школ. В-третьих, каждый исследователь видитнедостаточную детализацию любого понятия в рамках своей науки (вполне достаточнуюдля информационной обработки результатов исследований).Далее созданный проект ресурса предъявляется экспертам в предметной области,которые уже достаточно легко находят в нем возможные ошибки и неточности, могутобъяснить, почему им не понравилось то или иное отношение.Следует отметить, что на этапе разработки онтологии в качестве инженеров познаниям выступают лингвисты, которые имеют опыт работы с текстовыми корпусами,лексическими значениями.В настоящее время инженерами по знаниям используются следующих триосновных источника:- профильные и общие энциклопедии, терминологические словари – какисточник профессиональной информации;- накопленные списки терминоподобных слов словосочетаний, которые оченьэффективны при добавлении синонимов, вариативно отличающихся отуказанных в опубликованных энциклопедических источниках;354-каждый текстовый вход должен быть проверен по употреблению в Интернет.Такая проверка производится с использованием глобальных поисковых машин.Рис.24.1 Основная экранная форма редактирования отношений итекстовых входов понятий24.3 Текущее состояние проектаВ настоящее время онтология включает 50 тысяч понятий, 140 тысяч терминовтаких областей как математика, физика, химия, геология, экология, биология.Описанные термины в значительной мере покрывают терминологию этих областей,вводимую в школе и на начальных курсах ВУЗов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
