Диссертация (Многоязыковый информационный поиск с использованием мультиагентной платформы), страница 9

Уровень интерфейсов. На этом уровне интерфейс пользователяпозволяетвзаимодействоватьссистемойчерезграфическиетекстоориентированные интерфейсы путем ввода ключевого слова.2. Поисковый уровень. На этом уровне поисковый агент отправляетключевое слово в поисковую машину Google, которая возвращает ссылки,собирая URL доступных веб-сайтов в Интернете, и сохраняет их в базе данных.3. Уровень анализа текстов. На данном уровне агент автоматическиизвлекает тексты из URL-ссылок, обычно из большого количества различныхнеструктурированных текстовых ресурсов и выявляет в них полезнуюинформацию,используялексемизацию(удалениезнаковпрепинания,специальных символов и замену отступов и других нетекстовых символоводним пробелом), фильтрацию стоповых слов (удаление нейтральных слов,которые не характеризуют документ) и лемматизацию (выявление общихкорней слов).

Также на этом этапе рассчитываются веса терминов в найденныхдокументах, а также выполняется их нормализация.4. Уровень ранжирования результатов. На последнем уровне выполняетсярасчет релевантности текстов и ранжирование документов [18].Уровни поиска и анализа реализованы агентами, которые используютинструмент для информационного поиска с открытым исходным кодомRapidMiner, как будет описано в главе 4.Каждыйагентможетподключатьсядругкдругу,атакжевзаимодействовать друг с другом при решении задачи автоматизированногопоиска документов и извлечения весов каждого термина после лексемизации,удаления стоповых слов,лемматизации с использованием стандартнойпрограммной Java- платформы (JADE) и приложения RapidMiner.

Входнойзапрос в такой системе представлен для одного языка. Также возможно58повторение запроса с использованием любого другого языка, но это потребуетмного времени, и модель системы будет негибкой. Многоязыковая системапозволит решить эту проблему.Реализация автоматического многоязыкового поиска кроме операцийодноязыкового поиска предполагает выполнение перевода и обработки текстовна разных языках. Все эти операции целесообразно выполнять разнымиагентами, как показано на рисунке 2.3.Пользователь пишет ключевое слово запроса с помощью интерфейса налюбом из трех языков.

Агент 1 вводит запрос. Агент 2 переводит запрос надругие языки. Агент 3 ищет URL-ссылки в Интернете. Агент 4, Агент 5 и Агент6 осуществляют поиск информации по этим ссылкам и извлекают необходимуюинформацию, а также выполняют анализ текстов и посчет весов терминов длякаждого документа. Агент 7 выполняет ранжирование результатов поиска.Рисунок 2.3 – Архитектура мультиагентной системы МИППридекомпозицииучитывались два принципа:разрабатываемоймультиагентнойсистемы591) специализация агента для выполнения одной (в данном случаеобобщенной) операции;2) уменьшение объемов передаваемой в сообщении информации.Прелагаемая архитектура трехязыковой многоагентной системы поискаможет быть расширена для произвольного количества языков.

Для добавленияеще одного языка следует добавить словари для перевода терминов на этотязык и агента, умеющего выполнять анализ текстов на этом языке.Разработаем модель процесса поиска, учитывающую декомпозициюпроцесса по тем же принципам. Начнем с более простого одноязыковогопоиска.2.4 Разработка модели информационного поиска для одного языкаЧтобы показать детализацию перечисленных обобщенных операций,модель, представляющая процесс поиска, должна позволять отображатьотношения между отдельными объектами, между отдельным объектом игруппой объектов и между группами объектов. В качестве такой модели вработе используется метаграф.2.4.1 Анализ применимости метаграфа в качестве моделиМетаграф – математическая модель, основанная на графе, в которойкаждая мета вершина является множеством, включающим один или болеевершин.

Он сохраняет все свойства графов [69], [70], [71].Метаграфы имеют много приложений в сфере систем обработкиинформации, поддержки принятия решений, моделей управления, системуправления, основанных на правилах, в которых одна работа состоит из многихзадачобработкиинформации,выполняемыхлюдьмиилимашинами.Метаграфы в таких ситуациях могут предоставить полезную и всеобъемлющую60функциюдлямоделированияпутемрасширенияфункциональныхвозможностей, предлагаемых традиционными графовыми структурами, т. е.диграфами и гиперграфами. Метаграф позволяет разным компонентам процессабыть представленным как графически, так и аналитически.Басу(Basu) и Блэнинг (Blanning) представили концепцию метаграфа вработах [12], [13]. В указанных работах метаграф S = <X, E> рассматриваетсякак графическое представление, состоящим из двух множеств X и E.

Здесь Xявляется порождающим множеством, а E – множеством ребер, определенныхпорождающим множеством. Порождающее множество X метаграфа S, т. е.набор элементов X = {x1}, l= 1,2,3,……,L представляет переменные ипоявляется в ребрах метаграфа.Ребром метаграфа является пара e = <Ve, We>E (где E являетсямножеством ребер), которая состоит из внутренней вершины Ve⊆X и внешнейвершины We⊆X. Простой путь h(x, y) от элемента x до элемента y являетсяпоследовательностью ребер <e1, e2, . . .

, ek>, такой что x – внутренняя вершина(e1), y – внешняя вершина (ek) и для ek , k=1,2,…,K-1. При этом x ≠ y. Общийвход x в пути (обозначенном как общий_вход(x)) является множество всехдругих элементов внутренней вершины дуг пути, которые не находятся вовнешней вершине других дуг пути, и общий выход y (обозначен какобщий_выход(y)) является множеством всех элементов внешних вершин,отличных от y. Длиной простого пути является число дуг в пути [14], [15].Модель метаграф таким образом позволяет показать два уровня операцийинформационного поиска – элементарные и обобщенные, но не позволяет приэтом учесть неопределенность используемых оценок.612.4.2 Анализ применимости нечеткого метаграфа в качестве моделиОтображениенеопределенностисоответствияилинесоответствиядокумента множеству результатов возможно в нечетких графовых моделях.Так для нечеткого графа нечеткое множество вершинфункцией μ: X →[0, 1], а нечеткое множество реберопределенофункцией ρ:→[0, 1] .Таким образом, нечеткий граф может быть описан множествами вершин иребер, а также двумя функциями μ и ρ.

Для удобства обозначения множества Xи E опускают, и поэтому в литературе используется обозначение G= ( ,илиG = (μ, ρ , где вершины и ребра имеют значения принадлежности [16], [17].На протяжении последних десятилетий был предложен ряд нечеткихграфов для представления неопределенных отношений между нечеткимиэлементами. Однако существование нечетких графов не позволяет эффективномоделировать прямые отношения между множествами нечетких элементов.Широко используемые нечеткие графы имеют следующие ограничения,распространяемые и на традиционные графы:1. Ненаправленный нечеткий граф может представлять отношения между существующими двумя переменными, он не может представить направлениеэтих отношений.2. Отношения входов и выходов между парами элементов могут быть описанынечетким направленным графом.

Однако он не может представить отношения, где имеется более чем одна переменная на входе и/или на выходе.3. Нечеткий гиперграф описывает любое нечеткое отношение как множествонечетких элементов, но не может отличать входные переменные от выходных.4. Используя дуги в сочетании с ребрами, нечеткими И/ИЛИ, с помощью графаможно попытаться представить отношения, даже если имеется более чемодна входная и выходная переменные. При описании отношений между мн-62ожествами переменных возникает слишком много совмещенных ребер длянечетких И/ИЛИ, что трудно различать на графе.Важно то, что для всех графов отсутствуют методы алгебраическогоанализа для манипулирования отношениями между множествами элементов.Это мотивирует разработку нечеткого метаграфа.

Основное отличие междунечеткими метаграфами и традиционными структурами теории графовзаключается в том, что нечеткий метаграф описывает прямые отношения междумножествами элементов вместо отдельных элементов. Каждое ребро в нечеткомметаграфе является упорядоченной парой множеств элементов. А ребро неявляется ни упорядоченной парой элементов в нечетком направленном графе,ни неупорядоченным множеством элементов в нечетком гиперграфе.Нечеткий метаграф представляет собой обобщение концепции метаграфа,предложенной Басу (Basu) и Блэннингом (Blanning) [18].

Нечеткий метаграфможет дать отличные передовые решения в условиях сложных обстоятельств,при которых другие структуры графов найти очень сложно. Таким образом,пользователь с помощью этой эффективной системы принятия решений сможетсделать быстрые эффективные решения для преодоления проблемы [19].Нечеткий метаграф является концепцией фазификации четкого метаграфа спомощью нечеткого порождающего множества.Нечеткое порождающее множество является множеством узлов всехэлементов нечеткого метаграфа [68–71, 75, 80].

Рассмотрим конечноемножество X={x1, x2, x3… xl}. Нечеткий метаграф в рассматриваемых работахпредставлен как тройка S ={X, , }, в которой– нечеткая граница множестваметаграфе каждый компонентk– подмножествовершин.– нечеткое множество на X, и={ k, k=1, 2, 3... K}. Также, как в обычномописан упорядоченной парой < k,внутренних вершинkиk– подмножествоk>.В паревнешних63На рисунке. 2.4 показан нечеткий метаграф, чье граничное множествосостоит из1= <{1,2},{ 3}> и2= <{ 3,4}, { 5,6 }>.Рисунок 2.4 – Нечеткий метаграф [18]2.4.3 Модель одноязыкового информационного поиска в виде нечеткогометаграфаАнализвыполненныйприменимостиразличныхв разделах 2.4.1видовструктурныхмоделей,и 2.4.2, позволяет построить модельодноязыкового поиска в виде нечеткого ориентированного метарафа.В настоящей работе под ориентированным метаграфом понимаетсячетверка⃗⃗(),где X – множество вершин, U – множество дуг, uXX, V – множествометавершин vX или V2X, 2X – множество всех подмножеств множества X(булеан), E – множество метадуг eVVVXXV.