Автореферат (Многоязыковый информационный поиск с использованием мультиагентной платформы)

1На правах рукописиШоуман Марва Ахмед ЭлшахатМНОГОЯЗЫКОВЫЙ ИНФОРМАЦИОННЫЙПОИСК С ИСПОЛЬЗОВАНИЕММУЛЬТИАГЕНТНОЙ ПЛАТФОРМЫСпециальность 05.13.17 – Теоретические основы информатикиАВТОРЕФЕРАТдиссертации на соискание ученой степеникандидата технических наукМосква - 2015ОБЩАЯ ХАРАКТЕРИТИКА РАБОТЫАктуальность темыОбъем специальной информации, относящейся к самым разным областямнауки и техники, в интернете постоянно растет. Использование этой информации невозможно без эффективного инструмента поиска во всем доступном объеме данных.

Такой инструмент должен искать интересующие пользователяспециалиста данные не только в специально структурированных, но и в неструктурированных документах на всех известных пользователю языках, т.е.осуществлять многоязыковый информационный поиск (МИП).МИП ориентирован на представителей научного сообщества, знающихиностранные языки, а также иностранных студентов, обучающихся по самымразным направлениям.Основным критерием качества для систем МИП в силу особенности ихприменения для поиска научной или учебной информации на нескольких языках являются не столько быстродействие, точность, полнота, как для обычныхпоисковых систем, сколько высокая релевантность первых полученных результатов. Под релевантностью при этом понимается семантическое соответствиепоискового запроса и найденного документа.Ведущие универсальные поисковые системы, такие как Google, Yandex идр.

обеспечивают высокое быстродействие, точность и полноту поиска на языкезапроса, но для получения результатов на заданных языках требуют изменениярегиона поиска и, следовательно, ввода отдельного запроса для поиска на каждом языке, а также не предполагают объединения и качественного ранжирования полученных результатов.Немногочисленные существующие специализированные системы многоязыкового информационного поиска имеют существенные недостатки.

Так,например система, предлагаемая Chandra Mohan, Sadanandam, Raju Korra (английский – французский – немецкий – хинди, 2013), имеет значительное времяпоиска и не предполагает ранжирования результатов, а в системе, разработанной Leyla Zhuhadar, Olfa Nasraoui, Robert Wyatt, Elizabeth Romero (английский –испанский, 2010) используются сложные методы ранжирования найденных документов, применение которых дополнительно увеличивает и так существенноевремя отклика системы.

Также не существует многоязыковых поисковых систем, ориентированных на арабский и русский языки.Следовательно, проблема создания методики многоязыкового информационного поиска с ранжированием полученных результатов по степени релевантности остается актуальной.Вместе с этим практика последних лет показала, что при создании распределенных систем целесообразно использовать мультиагентную технологию.Это связано с тем, что мультиагентные системы обладают высокой гибкостью,хорошей масштабируемостью и повышенной надежностью. Указанные свойства явились решающими при выборе мультиагентной реализации системы3МИП.

При этом эффективная реализация мультиагентной системы предполагает обоснованный выбор ее архитектуры, а потому выполнения соответствующих исследований.Объектом исследования настоящей работы является система МИП, предметом исследования – релевантность результатов поиска поисковому запросу.Цель работыПовышение релевантности первых результатов многоязыкового информационного поиска в рамках применения мультиагентного подхода.Задачи работы:1. Анализ процесса МИП и выявление операций, которые должны бытьвыполнены в процессе поиска на заданных языках для получения результатов, ранжированных по степени релевантности запросу.2.

Выбор критерия качества МИП, дополнительного к традиционным:быстродействию, точности, полноте и др., который позволит оценитькачество ранжирования результатов поиска.3. Разработка архитектуры и реализации мультиагентной системыМИП.4. Разработка структурной модели МИП, учитывающей мультиагентную реализацию поисковой системы.5. Построение формальной процедуры оценки релевантности найденного документа по качественно заданным весам терминов в запросеи документе.6. Разработка методики МИП, включающей ранжирование результатовпоиска по степени релевантности документов.7.

Выполнение экспериментальных исследований и оценка их результатов.Методы исследованияВ работе использованы алгоритмы анализа текста (лексемизация –фильтрация – лемматизация), метод ранжирования документов на основевекторной оценки, структурная модель процесса МИП в виде нечеткогометаграфа, системы нечеткого логического вывода Сугено и Мамдани.Научная новизна работы заключается в следующем:1.

Получена модель одно- и многоязыкового информационного поиска с использованием мультиагентной реализации в виде нечеткогометаграфа, выявляющая составляющие процесса поиска, их последовательность, а также возможности их комплексирования.2. Разработана методика МИП, включающая предварительную обработку текстов, получение оценок релевантности с применением нечеткого логического вывода и ранжирование найденных документов.3. Разработана многоагентная архитектура системы МИП, определены функцииагентов и передаваемые сообщения, что позволило получить реализацию системы МИП с минимальным объемом передаваемых данных.44.

Предложен способ формализации вербальной оценки релевантности документов, полученная оценка использована для последующегоранжирования результатов поиска.5. Предложено выполнять ранжирование результатов информационного поиска в случае одного или нескольких языков с использованием алгоритмов нечеткого логического вывода Мамдани и Сугено,что увеличило вероятность нахождения требуемых документов среди первых найденных по сравнению с существующими поисковымисистемами.Практическая ценность заключается в создании мультиагентной системы информационного поиска для трех языков: русского, арабского ианглийского. Разработанная система расширяет возможности поиска в Интернете и повышает его эффективность за счет сокращения количества вводимых запросов и ранжирования получаемых результатов.Достоверность результатов работы обеспечена адекватностью используемых моделей, корректностью математических преобразований иподтверждена результатами проведенных экспериментов.Внедрение результатов работыРезультаты работы в виде методики, а также аналитических и программных средств использованы в ряде хоздоговорных разработок НПЦ«ИНТЕЛТЕК ПЛЮС», а также в учебном процессе кафедры Компьютерные системы и сети МГТУ им.

Н.Э. Баумана.Апробация работы. Основные положения и результаты диссертационной работы представлялись и докладывались на:1. II-ой Международной научно-практической конференции «Актуальные проблемы и перспективы развития радиотехнических и инфокоммуникационных систем «Радиоинфоком-2015», 14-18 апреля 2015 г., МИРЭА. Москва.2. Конференции Евразийского Союза Ученых (ЕСУ), Москва, 2015.3. XI-ой Международной научно-практической конференции «ИНФО-2013», 1-10 октября 2013 г., г. Сочи.Публикации.

Основные научные результаты диссертационной работы отражены в 9 статьях, в том числе 3 статьи – в журналах, включенныхВАК в Перечень ведущих.Структура и объем диссертации. Диссертация состоит из введения,четырех глав, заключения, и содержит 130 страниц текста, 31 рисунок и 14таблиц.СОДЕРЖАНИЕ РАБОТЫВо введении дана общая характеристика решаемой проблемы, обоснована актуальность темы, определены цели, задачи и методы исследования,5отмечены научная новизна и практическая ценность работы, сформулированы положения, выносимые на защиту, приведены сведения по апробации,внедрению результатов, публикациях, структуре и объему диссертации.В первой главе выполнен анализ процесса МИП, выявлены проблемыего реализации и определен критерий оценки качества ранжированиянайденных документов.МИП предполагает: ввод поискового запроса, как правило, состоящего изнескольких терминов, автоматический перевод поискового запроса на все заданные пользователем языки, извлечение тысяч веб-страниц, относящихся ктеме, фильтрацию релевантных и ранжирование полученных результатов постепени релевантности запросу.Из таблицы 1, в которой перечислены основные работы за последние10 лет в области МИП и указаны их недостатки, следует, что основнымипроблемами создания систем МИП являются: неточный перевод терминов вследствие их неоднозначности (контекстной зависимости) и сложности грамматики естественного языка прииспользовании систем машинного перевода, что приводит к нахождению иобработке нерелевантных документов наряду с релевантными; отсутствие ранжирования или большая вычислительная сложностьполучения оценок релевантности результатов, что приводит к недопустимобольшому времени ранжирования для большого количества найденныхдокументов.Таблица 1 – Анализ существующих систем МИПАвторыЯзыкиОсобенности реализации НедостаткиJialun Qin,Английский - Перевод запроса «словоОшибки перевода запроYilu Zhou,китайский– слово».са.Michael Chau,Дополнительные вреHsinchun Chen,менные затраты на об(2006)работку нерелевантныхссылок.Отсутствие ранжирования документов.Leyla Zhuhadar, Английский - Перевод запроса по слоБольшие временные заOlfa Nasraoui,испанскийварю с ограниченнымтраты на подсчет оценкиRobert Wyatt,набором научных тем.релевантности и удалеElizabethСложная оценка реление нерелевантных доRomeroвантности по модели век- кументов.(2010)торного пространства.Chandra Mohan, АнглийскийПеревод запроса «словоОшибки перевода запроSadanandam,– француз– слово».са.Raju Korraский –Сбор текстов на четырех Отсутствие ранжирова(2013)немецкий языках.ния документов.хинди6Основными критериями, по которым в настоящее время осуществляется сравнение поисковых систем, являются быстродействие, точность(precision), полнота (recall), а также F-мера, характеризующая точность иполноту одной величиной.