Диссертация (Многоязыковый информационный поиск с использованием мультиагентной платформы)

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙУНИВЕРСИТЕТ ИМ. Н.Э. БАУМАНАНа правах рукописиШоуман Марва Ахмед ЭлшахатМногоязыковый информационный поиск с использованиеммультиагентной платформыСпециальность 05.13.17 – Теоретические основе информатикиДиссертация на соискание ученой степеникандидата технических наукНаучный руководительд.т.н., профессор Г.С. ИвановаМосква – 20152ОглавлениеВведение5Глава 1 Анализ процесса информационного поиска и постановка задачимногоязыкового информационного поиска ...................................101.1Анализ процесса многоязыкового информационного поиска ивыявление проблем его осуществления .............................................111.1.1 Анализ многоязыкового информационного поиска .....................141.1.2 Индексирование документов и запросов ......................................211.1.3 Проблемы индексирования ............................................................221.1.4 Язык индексирования.....................................................................231.2 Критерии оценки систем информационного поиска ...........................251.3 Анализ моделей оценки релевантности информационного поиска ...261.3.1 Логическая модель .........................................................................271.3.2 Векторные Модели .........................................................................291.3.3 Вероятностные Модели .................................................................311.3.4 Модель логического вывода ..........................................................331.4 Анализ применимости мультиагентной организации для реализацииМИП .....................................................................................................36Выводы по главе 1.......................................................................................39Глава 2 Исследование процесса многоязыкового информационного поискаи разработка его структурной модели............................................412.1 Структура документа ............................................................................432.2 Способы анализа текстов при информационном поиске ....................452.2.1 Лексемизация ..................................................................................4732.2.2 Удаления слов-остановок...............................................................482.2.3 Лемматизация .................................................................................492.2.4 Оценка весов терминов ..................................................................502.2.5 Нормирование весов терминов ......................................................532.2.6 Построение функции ранжирования .............................................542.3 Разработка мультиагентной архитектуры системы МИП ...................562.4 Разработка модели информационного поиска для одного языка .......592.4.1 Анализ применимости метаграфа в качестве модели ..................592.4.2 Анализ применимости нечеткого метаграфа в качестве модели .612.4.3 Модель одноязыкового информационного поиска в виденечеткого метаграфа .......................................................................................632.5 Разработка модели многоязыкового информационного поиска .......67Выводы по главе 2 ......................................................................................70ГЛАВА 3 Разработка методики многоязыкового информационного поиска..........................................................................................................713.1 Анализ применимости систем нечеткого логического вывода дляоценки релевантности документов и формирование функцийпринадлежности и правил вывода......................................................723.2 Алгоритм оценки релевантности документов с использованиемсистем нечеткого логического вывода ...............................................803.3 Экспериментальная оценка применимости систем нечеткого выводаМамдани и Сугено для оценки релевантности документов припоиске на одном языке ........................................................................8243.3.1 Оценка результатов ранжирования с использованием СНЛВМамдани ..........................................................................................................853.3.2 Оценка результатов ранжирования с использованием СНЛВСугено ..............................................................................................................863.4 Разработка методики многоязыкового информационного поиска спомощью мультиагентной системы ...................................................90Выводы по главе 3.......................................................................................91Глава 4 Экспериментальное подтверждение результатов работы ...............934.1 Разработка экспериментальной системы .............................................934.1.1 Программные платформы мультиагентной архитектуры ............934.1.2 Реализация экспериментальной мультиагентной системы дляодноязыкового информационного поиска ...................................................1004.1.3 Реализация экспериментальной мультиагентной системы длямногоязыкового информационного поиска .................................................1054.2 Оценка качества предлагаемой мультиагентной системы ...............107Выводы по главе 4.....................................................................................116Заключение ....................................................................................................117Список сокращений и условных обозначений ............................................119Литература.....................................................................................................1205ВведениеАктуальность темы диссертации.

Объем специальной информации,относящейся к самым разным областям науки и техники, в интернете постояннорастет. Использование этой информации невозможно без эффективного инструментапоиска во всем доступном объеме данных. Такой инструмент должен искатьинтересующиепользователя-специалистаданныенетольков специальноструктурированных, но и в неструктурированных документах на всех известныхпользователю языках, т.е. осуществлять многоязыковый информационный поиск.Многоязыковыйинформационныйпоиск(МИП)ориентированнапредставителей научного сообщества, знающих иностранные языки, а такжеиностранных студентов, обучающихся по самым разным направлениям.Основнымкритериемкачествадлямногоязыковыхинформационныхпоисковых систем в силу особенности их применения для поиска научной илиучебной информации на нескольких языках являются не столько быстродействие,как для обычных поисковых систем, сколько высокая релевантность первыхполученных результатов.

Под релевантностью при этом понимается семантическоесоответствие поискового запроса и найденного документа.Ведущие универсальные поисковые системы, такие как Google, Yandex и др.обеспечивают высокое быстродействие и полноту поиска на языке запроса, но дляполучения результатов на заданных языках требуют изменения региона поиска и,следовательно, ввода отдельного запроса для поиска на каждом языке, а также непредполагают объединения и качественного ранжирования полученных результатов.Немногочисленныесуществующиеспециализированныесистемымногоязыкового информационного поиска имеют существенные недостатки.

Так,например система, предлагаемая Chandra Mohan, Sadanandam, Raju Korra(английский – французский – немецкий – хинди, 2013), имеет значительное время6поиска и не предполагает ранжирования результатов, а в системе, предлагаемойLeyla Zhuhadar, Olfa Nasraoui, Robert Wyatt, Elizabeth Romero (английский –испанский, 2010)используются сложные методы ранжирования найденныхдокументов, применение которых дополнительно увеличивает и так существенноевремя отклика системы. Также не существует систем многоязыковых поисковыхсистем, ориентированных на арабский и русский языки.Следовательно,проблемасозданияметодикимногоязыковогоинформационного поиска (МИП) с ранжированием полученных результатов постепени релевантности остается актуальной.Вместе с этим практика последних лет показала, что при созданиираспределенныхинтеллектуальныхсистемцелесообразноиспользоватьмультиагентную технологию. Это связано с тем, что мультиагентные системыобладают высокой гибкостью, хорошей масштабируемостью и повышеннойнадежностью.

Указанные свойства явились решающими при выборе мультиагентнойреализации системы МИП. При этом эффективная реализация мультиагентнойсистемы предполагает обоснованный выбор ее архитектуры, а потому выполнениясоответствующих исследований.ЦельюдиссертацииявляетсяПовышениерелевантностипервыхрезультатов автоматического многоязыкового информационного поиска врамках применения мультиагентного подхода.Задачи исследований. Для достижения поставленной цели необходимобыло решить следующие задачи:1. Анализ процесса МИП документов и выявление операций, которыедолжны быть выполнены в процессе поиска на заданных языках дляполучения результатов, ранжированных по степени релевантностизапросу.72. Выбор критерия качества МИП, дополнительного к традиционным:быстродействию, точности, полноте, выпадению и др., который позволитоценить качество ранжирования результатов поиска.3. Разработка архитектуры и реализации мультиагентной системы МИП.4.

Разработка структурной модели МИП, учитывающей мультиагентнуюреализацию поисковой системы.5. Построение формальной процедуры оценки релевантности найденногодокумента по качественно заданным весам терминов в запросе идокументе.6. Разработка методики МИП, включающей ранжирование результатовпоиска по степени релевантности документов.Выполнение экспериментальных исследований и оценка их результатовМетоды исследования. В работе использованы алгоритмы анализа текста(лексемизация – фильтрация – лемматизация), метод ранжирования документовна основы векторной оценки, структурная модель процесса в виде нечеткогометаграфа, системы нечеткого вывода типа Сугено и Мандани.Научная новизна.