Автореферат (Нейро-нечеткие методы и алгоритмы анализа электронных неструктурированных текстовых документов)

На правах рукописи Козлов Павел Юрьевич НЕЙРО-НЕЧЕТКИЕ МЕТОДЫ И АЛГОРИТМЫ АНАЛИЗА ЭЛЕКТРОННЫХ НЕСТРУКТУРИРОВАННЫХ ТЕКСТОВЫХ ДОКУМЕНТОВ Специальность 05.13.17 — Теоретические основы информатики АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук Москва — 2017 Работа выполнена на кафедре Прикладной математики ФГБОУ ВО «Нацио- Официальные оппоненты: Бутусов Олег Борисович, доктор физико-математических наук, профессор, Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский политехнический университет», кафедра математики, профессор, Стоянова Ольга Владимировна, доктор технических наук, доцент, Федеральное государственное бюджетное образовательное учреждение высшего образования «Санкт-Петербургский государственный университет», кафедра информационных систем в экономике, старший преподаватель Ведущая организация: Федеральное государственное бюджетное обра- зовательное учреждение высшего образования «Тверской государственный технический уни- верситет» Защита диссертации состоится «26» янва1эя 2018 г.

в 16 час 00 мин. на заседании диссертационного совета Д212.157.01 при ФГБОУ ВО НИУ «МЭИ» по адресу: 111250, г, Москва, ул. Красноказарменная, д. 13, корпус М, ауд. М-704. С диссертацией можно ознакомиться в библиотеке ФГБОУ ВО НИУ «МЭИ». Автореферат разослан 2017 г. Ученый секретарь диссертационного совета Д212.157.01, кандидат технических наук, доцент М.В. Фомина нальный исследовательский университет «МЭИ» 1ФГБОУ ВО «НИУ «МЭИ») Научный руководитель: доктор технических наук, профессор Дли Максим Иосифович, зам. директора по научной работе филиала ФГБОУ ВО «НИУ «МЭИ» в г. Смоленске ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Акт альность темы аботы.

В настоящее время одним из основных направлений государственной политики в Российской Федерации является повышение степени открытости органов государственной и муниципальной власти различных уровней, в том числе на основе организации их виртуального взаимодействия с населением. В результате происходит процесс постоянного совершенствования интернет-порталов органов исполнительной и законодательной власти, с использованием которых каждый гражданин или организация могут в электронном виде направить сообщение (жалобу, обращение, предложение и т.д.). Число подобных электронных контактов непрерывно растет.

Например, за 2016 год в Администрации Санкт-Петербурга и Смоленской области поступило около 38 000 и 10 000 электронных сообщений, соответственно. С учетом жестко регламентированных сроков подготовки ответа возникает необходимость обеспечения автоматизированной обработки указанных сообщений с целью их рубрицирования (классификации) для повышения оперативности взаимодействия с профильными структурными подразделениями администраций. Решение данной задачи непосредственно связано с использованием процедур извлечения данных из текстовой информации на основе применения методов анализа электронных текстовых документов.

Электронные сообщения с точки зрения возможности их автоматизированной обработки обладают рядом специфических особенностей: ° в значительной части случаев небольшой размер, что затрудняет его статистический анализ; ° отсутствие структуризации (специальной разметки и полей для компьютерной обработки), что усложняет процедуры извлечения информации, ° наличие большого количества грамматических и синтаксических ошибок приводит к необходимости реализации нескольких дополнительных этапов обработки; е нестационарность тезауруса 1состава и важности слов), который зависит от выхода новых нормативных документов, выступлений должностных лиц и политических деятелей и т.д., что приводит к необходимости использования процедур динамической кластеризации рубрик.

Целесообразность динамического мониторинга рубричного поля (состава и характеристик рубрик) также определяется необходимостью адаптации процедур реакции на поступающие сообщения к изменяющимся внешним и внутренним факторам (например, изменениям в организационной структуре органов власти). Очевидно, что указанные особенности рассматриваемых текстовых документов 1которые можно отнести к неструктурированным электронным текстовым документам — далее ЭНТД1, накладывают определенные ограничения на алгоритмы применения морфологического, синтаксического и семантического анализов, а также на соответствующие им процедуры формализации информации для автоматизированной обработки текстов, в том числе в рамках вирту- альных систем информационного обеспечения различных региональных социально-экономических процессов.

В то же время, известные методы, модели и алгоритмы извлечения знаний и данных из текстовой информации не учитывают в требуемой степени необходимость непрерывного исследования динамики рубрик для неструктурированных с точки зрения отсутствия специальной разметки для машинной обработки электронных текстовых документов с последующим учетом выявленных изменений при их разделении на рубрики ~рубрицировании). Следует также отметить, что небольшие размеры анализируемых электронных документов определяет целесообразность использования мульти- модельного подхода к их анализу и последующему рубрицированию на основе комплексного использования имеющейся статистической и экспертной информации.

Данная ситуация обуславливает противоречие между необходимостью повышения эффективности процедур автоматизированного анализа электронных неструктурированных текстовых документов в условиях изменения рубрик и несовершенством используемых в настоящее время методов и алгоритмов анализа текста на естественном языке с точки зрения результативности решения данной задачи. Указанное противоречие определяет актуальность темы научного исследования, которая связана с разработкой и практическим применением нового научно-методического и алгоритмического обеспечения информационных систем органов государственного управления различного уровня, осуществляющих автоматизированные анализ и рубрицирование (классификацию) ЭНТД. В итоге можно констатировать, что разработка и совершенствование нейро-нечетких методов и алгоритмов автоматизированного анализа электронных неструктурированных текстовых документов в условиях изменения рубрик является актуальной научно-технической задачей, которая имеет существенное значение для развития теоретических основ информатики в части совершенствования алгоритмов анализа текста и методов извлечения данных из текстов на естественном языке.

Степень аз аботанности темы. Разработке методов и алгоритмов автоматизированного анализа текстовой информации посвящены труды таких ведущих отечественных и зарубежных ученых, как Бочаров И.А., Виньков М.М., Заболеева-Зотова А.В, Мешалкин В. П., Орлова Ю.А., Попов Э.В., Розалиев В.Л., Фальк В. Н., Фоминых И. Б., Харин Н.

П., Шаграев А, Г., Вегаег А., Вечашу1е А., СЫ %апд, Рга~й Е., 1.е~чз 0.0., Мапшпц С., М11сЬеП Т.М., Капа Ноле-Ьш, Яшп1апЗ.К., КадЬачап Р., Катаде О., Косс1по 3.3., Ясйшке Н., БеЬазбап1 Р., %1йеп 1.Н., Уапц У,, а также защищенные диссертационные работы таких авторов, как Александров М.Ю., Бойцов Л.М,, Головко Н.В., Гулин В.В., Епрев А.С., Мокроусов М. Н., Сидорова Е.А., Толчеев В.О., Тревгода С.А„Чугреев В.Л., Шабанов В.И., Шелманов А,О., Шмулевич М.М. В работах данных авторов обоснованы основные подходы к морфологическому, синтаксическому и семантическому анализу электронных текстовых документов, Вопросы использования интеллектуальных методов в системах автоматизированного анализа и рубрицирования электронных текстовых документов нашли отражение в публикациях таких авторов, как Андреев А.М., Березкин Д.В., Ермаков А.Е., Мешкова Е.В., Морозов В.В., Симаков К.В., Цыганов И.Г., Шеменков П.С., а также в защищенных диссертационных работах Коржа В.В., Мешковой Е.В., Николаевой И.В., Полякова Д.В., Шеменкова П.С.

Представленные в указанных трудах научные результаты демонстрируют возможность комплексного использования статистических данных и экспертных оценок для более полного извлечения информации из текстовых документов различных видов. Однако, несмотря на значительное число научных работ по проблемам применения методов автоматизированного анализа и разделение по рубрикам текстовой информации в электронной форме, указанные выше особенности электронных сообщений, представляющих собой в общем случае ЭНТД, в достаточной степени отражения не нашли. елью иссле ования является снижение числа ошибок рубрицирования электронных неструктурированных текстовых документов в условиях изменения состава и характеристик рубрик на основе создаваемых нейро-нечетких методов и алгоритмов анализа этих документов, а также мониторинга и изменения рубрик.

нейро-нечетких методов и алгоритмов анализа электронных неструктурированных текстовых документов, Для реализации этой цели и решения научной задачи поставлены и выполнены следующие за ачи иссе тационного иссле ования: 1. Анализ задач и современных методов автоматизированного рубрицирования текстов и оценка перспектив их использования для анализа электронных неструктурированных текстовых документов с учетом особенностей электронных сообщений граждан в органы государственного и муниципального управления.

2. Разработка мультимодельного метода и алгоритмов анализа электронных неструктурированных текстовых документов с комбинированным использованием нечетко-логических, нейро-нечетких и вероятностных моделей. 3. Создание метода и алгоритмов мониторинга и изменения рубрик электронных неструктурированных текстовых документов на основе их нечеткой динамической кластеризации. 4.

Разработка каскадной нейро-нечеткой модели и модели на основе нечеткого дерева решений для анализа и рубрицирования электронных неструктурированных текстовых документов, а также реализующих их алгоритмов. 5. Оценка точности рубрицирования электронных неструктурированных документов с использованием разработанных методов, моделей, алгоритмов и средств с использованием вычислительных экспериментов. Практическое использование разработанных алгоритмов и программных средств для автоматизированного анализа электронных неструктурированных текстовых документов в Администрации Смоленской области, а также в учебном процессе филиала НИУ «МЭИ» в г.