Диссертация (Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования), страница 15

Хотя сама по себе реализациялогических функций при помощи ИНС считается тривиальной, она былаиспользованадлятестированиянейроэволюционнойсистемыподвумсоображениям.Во-первых, проверка оптимизации параметров: весовых коэффициентов,вида функций активации и пороговых значений. Реализация функции XOR92наглядно продемонстрировала точность настройки весовых коэффициентов иоптимальность выбора в качестве функции активации пороговой функции.Во-вторых, проверка релевантности генерируемой структуры ИНС. Дляуспешного решения задачи XOR многослойный персептрон должен иметь двавхода, скрытый слой из четырех нейронов и один выход. Сгенерированная в ходенейроэволюции ИНС обладает данной структурой, что является доказательствомэффективности процесса эволюции и правильности подобранных генетическихоператоров. Как известно, однослойный персептрон в принципе не способенклассифицировать линейно-неразделимые входные образы [114].Для успешного решения задачи XOR в ИНС должен быть сформированединственный скрытый слой, состоящий из двух нейронов с пороговымифункциями активации.

Обучающее множество для решения данной задачи припомощи ИНС было сформировано на основании таблицы истинности функцииXOR [98].Граф, иллюстрирующий структуру и процесс передачи сигнала ИНС,показавшей наилучшие параметры в ходе нейроэволюции, изображен нарисунке 3.2.Рисунок 3.2 – Граф ИНС для решения задачи XOR93ИНС имеет два входа и один выход. Весовые коэффициенты и пороги длядвух скрытых нейронов и единственного выходного нейрона имеют значения:11 = 12 = 1, = −1.5,21 = 22 = 1, = −0.5,31 = −2, 32 = 1, = −0.5.(3.15)Среднее время поиска решения составило 1.1 с, что в совокупности сточной настройкой параметров ИНС и оптимально подобранной структуройпозволяет говорить об эффективности предложенного метода.

На основаниирезультатов проведенного эксперимента следует отметить, что метод, с однойстороны, с достаточной точностью настраивает параметры нейронов, и с другойстороны, позволяет определить оптимальную (или близкую к оптимальной)структуру ИНС.3.2.3 Задача восстановления поврежденных данныхЗадачи восстановления поврежденных данных (зашумленных сигналов,поврежденных изображений) за счет слабой формализуемости показательны прииспытании нейроэволюционных методов [117]. В качестве такой задачи быловыбрано восстановление поврежденного изображения размера не более × px,X% пикселей которого неизвестны.

Процесс восстановления [97] осуществляетсяследующимобразом:навходобученнойИНСподаетсяповрежденноеизображение, X% пикселей которого повреждены. После этого на выходе ИНСформируется восстановленный образ. В нем X% пикселей замещены значениямивесов соответствующих нейронов.

В ходе эксперимента использовалисьизображения с глубиной цвета 16 бит и значениями параметров R=600, C=400.Цифровой шум в виде наложенной на изображение маски из пикселей случайногоцвета и яркости генерируется при ∈ [10; 80].Результатыработыалгоритмацелесообразнооцениватьвеличинойвосстановления изображения , вычисляемой по трем параметрам: расстоянию от94поврежденного изображения до исходного ( , ), расстоянию отвосстановленного изображения до исходного ( , ) и расстоянию отповрежденного изображения до восстановленного ( , ). Данныерасстояния вычисляются по метрике Минковского:(, ) =| − |max ∑=1,,(3.16)где , – значения цветов j-ых пикселей изображений U и V;K – количество пикселей.Каждое из изображений U и V при этом представлено в виде трех матриццветов, соответствующих модели RGB.

Величина восстановления изображенияпринимает значения на отрезке [0, 1] и рассчитывается по формуле:=( , )−( , )( , )(3.17)В ходе эксперимента была исследована зависимость эффективностипредложенногометодаотвеличиныповрежденияизображения,проиллюстрированная графиком зависимости на рисунке 3.3.Рисунок 3.3 – График зависимости величины восстановления изображенияот количества поврежденных пикселей95Как видно из рисунка 3.3, с ростом количества поврежденных пикселейэффективность метода снижается довольно быстро. Тем не менее, даже приX>60% метод показывает хорошие результаты восстановления изображения доуровня, на котором различимы основные фрагменты.

Для демонстрации работыметода на рисунке 3.4 представлены результаты восстановления изображениягеометрических объектов, 80% пикселей которого были повреждены.A - исходное изображение; B – поврежденное изображение; С –восстановленное изображениеРисунок 3.4 – Эксперимент по восстановлению изображения:Рисунок 3.4 был подготовлен для эксперимента в соответствии стребованием наличия четких границ у изображенных объектов, так каквосстановление такого класса изображений является наиболее показательным.Рисунок демонстрирует, что изображение было восстановлено с минимальнымколичеством искажений. Это говорит об эффективности применения данногонейроэволюционного метода в сложноформализуемых задачах восстановлениязашумленных и поврежденных данных.3.2.4 Сравнение эффективности нейэроэволюцонных методовВ ходе исследования эффективности предложенного метода были полученырезультатырешенияпредставленныхэталонныхзадачприпомощиразработанного метода и методов, проанализированных в первом разделе96диссертационной работы.

Для корректного сравнения эффективности методоврезультаты решения задач каждым из них были усреднены по 100 запускам. Нарисунке 3.5 приведена столбчатая диаграмма сравнения эффективности методовдля решения задачи об обратном маятнике. Предложенный метод и метод ESPпоказали равную эффективность, сформировав решение за 2 эпохи эволюции. Этосвидетельствует о том, что при должном разнообразии особей решениетривиальнойзадачиможетбытьсформировановпервыхпоколенияхнейроэволюции.Рисунок 3.5 – Сравнение эффективности нейроэволюционных методов длярешения задачи об обратном маятникеНа рисунке 3.6 приведено сравнение эффективности методов для решениязадачи о двух обратных маятниках.

Данная задача на порядок сложнее задачи оединственномобратноммаятнике,вкоторойоптимальноерешениеформировалось в первые эпохи эволюции. Предложенный метод оказалсяэффективнее всех рассматриваемых методов за исключением GNARL. С однойстороны, при помощи метода GNARL эффективное решение было сформированона одну эпоху раньше. С другой стороны, он проигрывает по количеству неудач.97Рисунок 3.6 – Сравнение эффективности нейроэволюционных методов длярешения задачи о двух обратных маятникахНа рисунке 3.7 приведена столбчатая диаграмма сравнения эффективностиметодов для решения задачи об обратном маятнике на плоскости.Рисунок 3.7 – Сравнение эффективности нейроэволюционных методов длярешения задачи об обратном маятнике на плоскостиДанная задача является более сложной, чем задача о двух обратныхмаятниках Предложенный метод показал наилучшие результаты, сформироваврешение за 37 эпох при двух неудачных запусках.

На рисунке 3.8 приведена98столбчатая диаграмма сравнения эффективности методов для решения задачиклассификации линейно-неразделимых образов (реализации функции XOR).Наилучшие результаты показали методы NEAT, SANE, DXNN, EPNet ипредложенный метод (формирование решения соответственно за 8, 9, 9, 10 и 11эпох). Результаты, продемонстрированные предложенным методом, не являютсясамыми высокими, но, тем не менее, могут считаться хорошими.Рисунок 3.8 – Сравнение эффективности нейроэволюционных методов длярешения задачи реализации функции XORНа рисунке 3.9 изображена столбчатая диаграмма сравнения эффективностиметодов для решения задачи восстановления изображения. Как видно из рисунка,предложенный метод показал наилучшие результаты, сформировав решение за146 эпох, что близко к результатам метода EANT – 148 эпох эволюции. Самыенизкие результаты показал метод NES (685 эпох).

Анализ таблицы показывает,что предложенный метод демонстрирует наилучшие результаты (в задачах обобратном маятнике и восстановления изображений) или близкие к наилучшимрезультатам (задача о двух обратных маятниках, об обратном маятнике на99плоскости, реализация XOR). Данный метод выигрывает у большинстваисследованных методов по количеству эпох и неудачных запусков.Рисунок 3.9 – Сравнение эффективности нейроэволюционных методов длярешения задачи восстановления изображенияТаблица 3.2 – Сравнение эффективности нейроэволюционныхметодов для различных типов задачПредложенныйметодCECNEDXNNEANTENS32/0Количество эпох/неудачОбратныйДвамаятникобратныхXORнамаятникаплоскости25/137/211/05/04/03/07/08/0150/14800/30614/28975/14741/16230/201312/27802/121040/11021/519/031/29/014/015/1441/4659/0235/0148/23360/0EPNetESPGNARLICONENEATSANENES3/02/04/06/06/011/09/1543/2019/1591/13903/624/163/3692/8717/4533/2719/341452/1479/1104/3834/1710/017/116/012/08/09/022/3152/0554/0408/7415/0210/0276/4685/5ЗадачаМетодОбратныймаятникВосстановлениеизображения146/2100Такимобразом,данные,полученныевходеэкспериментальногоисследования эффективности метода на эталонных нейроэволюционных задачах,свидетельствуют о целесообразности применения метода на практике.3.3 Реализация системы поддержки принятия решений на базенейроэволюции3.3.1 Модель системы поддержки принятия решений на базенейроэволюцииМодельСППРопределяетпопуляциюнейросетей,генерируемуюпосредством нейроэволюционного метода, среду (обслуживаемый нейросетьюобъект или его модель), источники данных и пользовательский интерфейс.Нейроэволюционный метод инкапсулируется в модуль принятия решений.КонцептуальнаямодельСППР,включающаяосновныеархитектурныекомпоненты и учитывающая взаимосвязь между ними, представлена нарисунке 4.1.DSSВнешняя средаМодульпринятиярешенийБДПользовательский интерфейсЛПРРисунок 4.1 – Архитектура СППРКак видно из рисунка 4.1, ЛПР взаимодействует с СППР посредствомпользовательского интерфейса.

База данных (БД) – это хранилище данных,используемых в процессе принятия решений. В некоторых случаях БД может101объединятьтакиеблокикакбазазнаний,базамоделей,различныеконфигурационные файлы. Она может пополняться как при помощи ЛПР, так ичерез дополнительные актуаторы значениями параметров внешней среды. Модульпринятия решений осуществляет анализ данных в БД и вырабатывает решение врамках данной задачи. Функциональная схема модуля принятия решенийпредставлена на рисунке 4.2.ВходыВыборки изБДХарактеристикиПараметрыЭкспертныеданныеОбработкаВыходыПроцесс принятия решенийРешенияРисунок 4.2 – Функциональная схема модуля принятия решений СППРВ качестве входов для модуля принятия решений используются выборки изБД, дополнительные характеристики (опционально), различные параметры и, вслучае необходимости участия ЛПР в процессе принятия решений, экспертныеданные.Входные параметры проходят дополнительную обработку (различныепреобразованиявсоответствиисусловиямизадачи,масштабирование,нормирование), и преобразуются в выходной вектор.

На основании векторавыходов осуществляется процесс принятия решений, результатом которогоявляется сформированное решение.1023.3.2 Программная реализация системы поддержки принятия решенийна базе нейроэволюцииРазработанноенейроэволюционнойпрограммноеСППРисредствоинкапсулирует(ПС)реализуетметодымодельвзаимодействияпользователя с СППР. Программный код ПС представлен в виде библиотекиклассов DSS_PACK, основной функционал которой заключается в следующем:организация взаимодействия СППР и пользователя (ЛПР); реализация моделиСППР; организация процесса нейроэволюции; создание, редактирование, экспорти импорт конфигурационных файлов настроек и выборок прецедентов в такихформатах как xml, json, txt; визуализация нейроэволюции посредством графиков итаблиц значений нейронов ИНС популяции. Для разработки базовых компонентовПС был использован мультипарадигмальный язык программирования C++стандарта C++11 в совокупности с библиотеками STL, Boost и QWT.