Многоагентная автоматизированная система адаптивной фильтрации потоков текстовой информации, страница 2

Средняя вероятность правильной фильтрации сообщенийНР соответственно приведенным профилям составила: 68,2%, 79,6%, 82,0%. Вероятностьложной фильтрации пользовательских сообщений: 0%, 0,01%, 1,4%. Для сравнения,современные коммерческие системы в режиме с уровнем ложных сработок порядка 2-3%достигают пикового показателя вероятности правильной фильтрации 70-75%.Положения, выносимые на защиту:1) Архитектура, функциональный состав и интерфейсы АСФ НР, реализованные ……,позволяют………2) Система сквозного учета сообщений, позволяет управлять системой фильтров, чтообеспечивает …..3) Метод формирования обучающей выборки с учетом голосов пользователей поотдельным сообщениям и уровня доверия к каждому пользователю, обеспечивает …...4) Метод выбора пространства признаков в задаче контекстной обработки потоковтекстовой информации позволяет учитывать значимые словосочетания.5) Метод и алгоритм обучения многослойной нейронной сети с переменной структурой,входным сигналом которой являются разряженные векторы большой размерности,обеспечивает……………….6) Аппаратно-программная реализация функций фильтрации незапрашиваемой рассылкиэлектронной почты глобальной сети Интернет, определеяет…………….Практическая ценность работы.

Разработанные в диссертации модели текстовых сообщений,методы учета голосов пользователей и алгоритмы настройки нейронных сетей, а такжеаппаратно-программный комплекс, реализующий многоагентную АСФ НР, построенный наоснове разработанных принципов позволяют:1) повысить эффективность фильтрации потоков нежелательной информации;2) упростить и ускорить цикл адаптации систем интеллектуальной фильтрации;3) автоматизировать и сократить ручной труд при наладке системы;44) предоставить пользователям гибкий механизм управления процессом фильтрации.Разработанные алгоритмы и программы могут быть использованы для дальнейшего развития исовершенствования различных интеллектуальных систем фильтрации и управления потокамитекстовой информации.Реализация результатов.

Полученные в работе результаты: математические модели, методы иалгоритмы, а также разработанная АСФ НР внедрена и ежедневно используются, обеспечиваябезопасность нескольких сотен (на момент публикации автореферата) пользователейкорпоративных систем электронной почты в России и странах ближайшего зарубежья. Срединих:1) распределенная почтовая служба Международного Института Экономики и Права(АСФ НР внедрена более чем в 10 филиалах).2) почтовый портал ОАО “Концерн “РТИ-Системы”;3) интернет-центр кафедры ИУ4 МГТУ им.

Н.Э. Баумана.Копии актов о внедрении прилагаются.Внедрение результатов работы продолжается, они также могут быть использованы длясоздания широкого круга автоматизированных систем в различных прикладных областях:обеспечение безопасности, адаптация к профилю пользователя и т.д.Апробация работыРезультаты работы были представлены на семинарах “Наукоемкие технологии иинтеллектуальные системы” в МГТУ им. Н.Э. Баумана.ПубликацииПо материалам и основному содержанию работы имеется 12 публикаций, в том числе научнотехнические статьи и доклады на конференциях.Структура и объем работыДиссертационная работа состоит из введения, четырех глав, заключения, спискалитературы.

Общий объем диссертации 251 страниц, 62 рисунков, список использованныхисточников из 320 наименований.КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИВо введении обоснована актуальность решения задач борьбы с НР, сформулирована цельи задачи исследования, обоснована научная новизна и изложена структура диссертации,показано место АСФ НР рассматриваемого класса в современных корпоративныхинформационных системах.В первой главе проведен анализ существующих АСФ НР, решающих задачу адаптивнойфильтрации сообщений электронной почты, определены их особенности.

Основныеособенности заключаются в том, что данные АС должны: во-первых, функционировать на базестандартной инфраструктуры электронной почты предприятия, во-вторых, обрабатыватьбольшие объемы данных, передаваемых в интерактивном режиме, в-третьих, обеспечиватьупрощенную адаптацию системы при обнаружении ошибок фильтрации, в-четвертых,реализовывать сложные многоитерационные алгоритмы обработки данных. Разработана ихклассификация в зависимости отК БУ высшегоархитектуры системы, способа ееуровняинтеграцииссуществующейинфраструктуройэлектроннойпочты, по режиму выявленияБУошибок фильтрации, по режимуК обслуживаемымнастройки системы фильтров, посистемамВходящиеиспользуемымметодамБФБПфильтрации и математическому сообщенияаппарату контекстного анализаРис. 1.

Структурная схема агента АСФ НР(раздел 1.1). Данная классификация5ВнешниесетиПользователь Пользовательопределяет требования к функциональным возможностям АСФ НР, изложенным в разделе 1.2.Последний раздел главы посвящен описанию обобщенной методики построениямногоагентной автоматизированной системы адаптивной фильтрации НР корпоративногоуровня. Структура АСФ НР строится из агентов, имеющих идентичное структурнофункциональное построение (рис. 1). Блок фильтров (БФ) осуществляет разделениеоднородного потока входящих сообщений на два (поток НР и поток прочих сообщений).

Блокпредоставления (БП) реализуются на базе элементов стандартной инфраструктуры электроннойпочты предприятия и обеспечивает технические функции передачи потоков данных междуэлементами АСФ НР. Блок управления (БУ) обеспечивающим целостность и слаженностьработы АСФ НР и управляет деятельностью прочих функциональных блоков в данном агенте.Каскадное объединение агентов в сеть или иерархию позволяет построить АСФ НРпрактически любой конфигурации, отвечающей требованиям оперативного реагирования наошибки фильтрации. На рис. 2 представлена типовая структура и потоки данных АСФ НРкорпоративногоуровня,котораяАУсостоит из агентов трех видов:БУ• одинцентральныйагентАдминистраторфильтрации(ЦАФ),АП1ЦАФобслуживающийвсехБУпользователей корпоративнойБУсистемы;БФБП• множествоагентовпользователей(АП),АП2ориентированныхнаБУБФБПобслуживаниеодногопользователя;БФБП• одного или нескольких агентовуправления(АУ),Рис.

2. Потоки данных в типовой схеме АСФ НРпредставляющихсобойвырожденный вид агента АСФНР (см. рис. 1) и служащих для реализации функций удаленного управления АСФ НР.В разделе 1.3. описываются выполняемые отдельными агентами функции, принципыпостроения и взаимодействия отдельных функциональных блоков, а также функции,предоставляемые пользователям системы и административному персоналу.В АСФ НР по функциональному признаку выделены три подсистемы: подсистема управления(ПУ), включающая БУ всех агентов АСФ НР; подсистема фильтрации (ПФ), состоящая из БФ;подсистема технического обслуживания (ПТО), состоящая из БП.

Их целостное искоординированное взаимодействие обеспечивается с помощью ведения глобального реестрасообщений (ГРС), который позволяет регистрировать и учитывать обработку отдельныхсообщений в различных подсистемах АСФ НР.Вторая глава посвящена исследованию и разработке математических моделей, методов иалгоритмов для решения задачи адаптивной фильтрации потоков текстовых данных, т.е.разработке математического обеспечения АСФ НР.В разделе 2.1 рассматривается математические методы контекстного учета поступивших вАСФ НР сообщений.

Представлена хэш-функция, вычисляемая по тексту сообщения,позволяющая представить сообщение с помощью уникального 120-битного числа(идентификатора сообщения – ИС). ИС в частности позволяет выявить повторно поступающиев систему сообщения (полные текстовые дубликаты) даже при модификации его формальныхпараметров.В разделе 2.2 рассматривается математические методы коллективной фильтрации НР.В разделе 2.2.1. представлены методы, позволяющие формировать общую выборкусообщений НР на основании поступающей от пользователей информации об ошибкахфильтрации. Поскольку отдельные пользователи могут ошибочно относить некоторые6легитимные сообщения к классу НР, предусмотрена гибкая система, позволяющая учестьквалификацию отдельных пользователей.В этом разделе определяется метод разделения общей выборки на две непересекающиесявыборки: обучающую (ОВ) и проверочную (ПВ).

ОВ участвует в синтезе нейронной сети иформировании пространства признаков, ПВ используются для оценки качества обучения.В разделе 2.2.2. представлены математические методы, позволяющие настраиватьиндивидуальные параметры фильтрации в зависимости от результатов голосования поотдельным сообщениям других пользователей системы. Данные методы позволяют изменятьстатус уже прошедших систему фильтров сообщений.В разделе 2.3 представлен математический аппарат для решения задачи адаптивнойфильтрации текстовых сообщений.

В ее структуре выделены два основных элемента:кодирование и классификация (см. рис. 3). При кодировании сообщение представляется спомощью вектора в выбранном пространстве признаков. Классификация позволяет отнестисообщение к одному из классов (СНР или обычное) и осуществляется с помощью нейросети.ВыборкаОпределениезначимыхпризнаковИсходноесообщениеМодельпространствапризнаковМодельСНРСинтезнейроннойсетиСНРКодированиеКлассификацияРис. 2.

Решение задачи адаптивной классификацииОбычноесообщениеСинтез конкретного пространства признаков и нейросетевого классификатораосуществляется в процессе настройки системы на основании сформированной обучающейвыборки.В разделе 2.3.1 определяется метод формирования пространства признаков. В работеиспользуется метод, при котором текстовый фрагмент представляется в виде точки n-мерногопространства: X = ( x1 , x 2 ,..., x n ) , где каждая отдельная компонента соответствует либо словуобщего словаря V, либо сочетанию слов словаря V. Под сочетанием здесь понимаетсямножество слов (2-5 слов), встречающиеся в одном и том же словаре текстового фрагмента Vij.Учет словосочетаний позволяет повысить точность классификации. Поскольку учет всехвозможных словосочетаний невозможен, в работе осуществляется выбор наиболее значимых изних с использованием стохастического моделирования лингвистической структуры текстовыхфрагментов, относящихся к одному классу в ОВ.В разделе 2.3.1.1.

описывается математический аппарат автоматического формированиясловарей значимых слов. Эти слова далее используются в процедурах кодирования отдельныхтекстовых сообщений.В разделе описывается процедура составления общего словаря системы V, в которыйпопадают все слова из всех текстовых сообщений в ОВ. Перед занесением слова в словарь оноприводится к канонической форме (в соответствии с процедурой стемминга). Не выражающиесмысла общие слова (это союзы, предлоги и т.п.) не вносятся в словарь, для чего предусмотрених список.