Многоагентная автоматизированная система адаптивной фильтрации потоков текстовой информации

Московский Государственный Технический Университетим. Н.Э. БауманаЦыганов Илья ГермановичМНОГОАГЕНТНАЯ АВТОМАТИЗИРОВАННАЯ СИСТЕМА АДАПТИВНОЙ ФИЛЬТРАЦИИПОТОКОВ ТЕКСТОВОЙ ИНФОРМАЦИИСпециальность 05.13.01 «Системный анализ, управление и обработка информации (внауке и промышленности)»Авторефератдиссертации на соискание ученой степеникандидата технических наукМосква - 2004Работа выполнена в Московском Государственном Техническом Университетеим. Н.Э.

БауманаНаучный руководительканд. техн. наук, доцентВласов Андрей ИгоревичОфициальные оппоненты:Ведущая организацияФедеральное государственное унитарное«Научно-производственноепредприятие(Москва)предприятие«Пульсар»Защита диссертации состоится «____»____________2010 г. в ____ часов на заседаниидиссертационного совета _____________ в Московском государственном техническомуниверситете им. Н.Э.

Баумана по адресу: 105005, г. Москва, 2-ая Бауманская ул., д.5, стр.1.С диссертацией можно ознакомиться втехнического университета им. Н.Э. Баумана.библиотекеМосковскогоВаш отзыв в 1 экземпляре просим высылать по указанному адресу.Автореферат разослан «_____»___________2010 г.Телефон для справок: 8(499) 267-89-63.Ученый секретарь диссертационного советад.т.н., профессор1государственногоОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫАктуальность:Автоматические системы фильтрации (АСФ) информационных потоков представляютсобой обширный класс систем, использующихся для защиты пользователей от полученияинформации нежелательного характера.

АСФ широко используются в системах электроннойпочты глобальной сети Интернет, где угрожающих масштабов достигла незапрашиваемаярассылки (НР) сообщений коммерческого характера. Однако в ответ на широкое внедрениеАСФ НР, распространители НР стали активно применять различные методы, позволяющиеобойти автоматические алгоритмы фильтрации, что значительно повысило уровень ошибокАСФ НР и снизило их эффективность. Поэтому сейчас возникла потребность в разработкеновых подходов к фильтрации, основанных на принципах адаптации при выявлении ошибок.Во всех современных АСФ НР, однако, настройка фильтров при выявлении ошибок досих пор осуществляется в ручном режиме и требует постоянного участия оператора,обладающего специальными знаниями и полномочиями.

В современных условиях, когдаобъемы НР существенно возросли, использование ручного труда в контуре обратной связиприводит к значительным задержкам и/или росту затрат на эксплуатацию системы. Поэтомусейчас актуальной является задача построения гибкой адаптивной системы фильтрации,способной к самонастройке, осуществляемой в автоматическом режиме при полученииинформации об ошибках фильтрации, поступающей от пользователей систем электроннойпочты в реальном масштабе времени.Решение поставленной задачи включает два основных аспекта: 1) разработка архитектурысистемы, позволяющей учитывать голоса пользователей при выявлении новых видов НР; 2)разработка адаптивного алгоритма, позволяющего автоматически настраивать системуфильтрации по выявленным примерам сообщений НР.В настоящее время корпоративные системы электронной почты являются одними изнаиболее сложных в наладке и эксплуатации.

Переход на новый тип систем связан снеобходимостью переобучения административного персонала и пользователей, что неизбежноприводит к убыткам предприятия. Поэтому сейчас актуальным является разработка АСФ НР набазе существующей инфраструктуры и стандартного программного обеспечения (ПО) системэлектронной почты. Новые возможности АСФ НР должны гибко интегрироваться всуществующие системы, не изменяя привычные для пользователя функции.В условиях, когда от пользователя поступает информация о том, какие из полученныхсообщений являются НР, адаптация фильтров основывается на выделении характерных для НРпризнаков (слов и словосочетаний), содержащихся в текстах НР. Основные сложности в такоманализе связаны с тем, что сообщения НР имеют различную тематику, поэтому такой анализпредполагает выделение в текстах тематических групп и характерных для них подмножествслов и словосочетаний. Подобная задача в условиях, когда размерность велика, не может бытьрешена с помощью классических линейных методов.

Поэтому актуальным является разработканелинейных методов адаптации. В работе для этого используются последние достижения вобласти построения нелинейных нейросетевых классификаторов с переменной структурой.Большой вклад в развитие теории нейронных сетей и ее применении к решению задачадаптивной фильтрации и классификации внесли Хебб Д., Минский М., Розенблат Ф., УидроуБ., Андерсон, Кохонен Т., Гроссберг С., Коско Б., Галушкин А.И., Горбань А.Н., Мкртчян С.О.и многие другие.Разрабатываемые в работе принципы, модели, методы и алгоритмы могут бытьиспользованы во многих прикладных областях, например, в системах управления документами(СУД); системах управления деловыми процессами (СУДП); системах управления внешними ивнутренними потоками информации (например, на базе Web) в системах передачи данных(СПД) предприятий; системах адаптации к профилю пользователя; системах обеспечениязаданного уровня безопасности и многих других.2Цель работы.

Цель работы состоит в разработке средств фильтрации потоков новогопоколения, способных повысить эффективность функционирования существующих АСФ НР засчет:1) создания эффективных схем учета и использования информации об ошибкахфильтрации, поступающей от пользователей;2) привлечения пользователей систем электронной почты к настройке фильтров;3) минимизации и автоматизации ручного труда при настройке фильтров;4) реализации алгоритмов адаптации фильтров в реальном масштабе времени припоявлении уже первой информации об ошибках фильтрации;5) использования современных нелинейных нейросетевых методов синтеза и настройкифильтров;6) расширения функциональных и сервисных возможностей современных корпоративныхАСФ НР.Для достижения поставленной цели в работе был решен комплекс задач, в частности:1) анализ возможностей существующих корпоративных АСФ НР;2) определение требований к функциональному составу, алгоритмическому ипрограммному обеспечению АСФ НР.3) разработка и исследование многоагентной архитектуры АСФ НР, позволяющейпользователям участвовать в процессах фильтрации и адаптации;4) разработка комплекса средств, позволяющих производить сквозной учет поступающих вкорпоративную систему сообщений;5) разработка математических методов, позволяющих производить формированиеобучающей выборки с учетом голосов пользователей по отдельным сообщениям;6) разработка математических методов выбора пространства признаков в задаче анализасодержания сообщений;7) разработка адаптивных алгоритмов синтеза нейронной сети с переменной структурой,позволяющих осуществлять фильтрацию НР в реальном масштабе времени;8) исследование и выбор методов программной и аппаратной реализации средствфильтрации НР;9) разработка аппаратно-программного комплекса фильтрации НР на основеразработанных принципов;10) экспериментальное исследование, подтверждающее эффективность предложенныхмоделей, методов и алгоритмов в реальных условиях.Методы исследования.

При решении поставленных задач использованы элементы теорииинформационных систем, передачи и обработки данных, элементы теории экспертных систем иобработки знаний, нейроматематики, теории нейронных сетей, теории оптимизации,математический аппарат теории автоматического управления, теории вероятностей иматематической статистики, линейной алгебры, теории марковских случайных полей, элементытеории эргодичности, положения теории автоматизации проектирования, теорииконструирования и надежности ЭА.Научная новизна работы состоит в следующем:1) Проведен анализ и систематизация возможностей существующих корпоративных АСФНР и методов их интеграции в системы электронной почты.2) Выработаны требования к функциональному составу, алгоритмическому ипрограммному обеспечению, выполнение которых необходимо для построенияэффективных в современных условиях АСФ НР.3) На базе стандартной инфраструктуры систем электронной почты разработана иисследована многоагентная архитектура АСФ НР, позволяющая отдельнымпользователям участвовать в процессе фильтрации НР: воздействовать на алгоритмынастройки фильтров и осуществлять выбор степени жесткости фильтрации виндивидуальном порядке.34) Разработан комплекс средств, позволяющих производить сквозной учет поступающих вкорпоративную систему сообщений.5) Разработаны математические методы, позволяющие производить формированиеобучающей выборки с учетом значимости голосов отдельных пользователей.попоступившем в систему сообщениям.6) Разработаны математические методы выбора пространства признаков в задаче анализасодержания сообщений, что позволило повысить точность анализа за счет учетазначимых словосочетаний.7) Разработан метод синтеза нейронной сети с переменной структурой, входным сигналомкоторой являются разряженные векторы большой размерности (десятки тысяч).8) Проведены исследования и выбор методов программной и аппаратной реализациисредств фильтрации НР.9) Разработан аппаратно-программного комплекс фильтрации НР на основе разработанныхпринципов;Достоверность полученных научных результатов, выводов и рекомендацийдиссертационной работы подтверждена результатами экспериментальных исследований,проведенных на базе почтового портала концерна “РТИ-Системы”.

Полученные в работерезультаты наглядно демонстрируют эффективность использования разработанных моделей,методов и алгоритмов для решения задач автоматической фильтрации незапрашиваемойрассылки.В период с 2004 г. по 2005 г. проведены работы по внедрению разработанной АСФ НР вкорпоративной системе электронной почты Международного Института Экономики и Права.Естественно, что в условиях, когда пользователи индивидуально регулируют степень жесткостифильтрации, оценка качества системы существенно зависит от выбираемых параметров. Вовремя эксплуатации данной системы на базе почтового портала концерна “РТИ-Системы” былипроведены работы по построению трех пользовательских профилей системы: “жесткая”,“умеренная” и “мягкая” фильтрация.