Автореферат (Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования), страница 2

5-я Международная научно-практическая конференция «Наука и общество»,Лондон, 2013 г.4. Международная научно-практическая конференция «Ценности и интересысовременного общества», Москва, 2015 г.5. Всероссийскаянаучно-практическаяконференция«Теоретическиеипрактические аспекты развития научной мысли в современном мире», Уфа, 2015 г.6Публикации. По результатам выполненных в диссертации исследованийопубликовано 9 работ, в том числе: 4 в периодических изданиях, рекомендованных ВАК; 5опубликовано в других изданиях, сборниках статей и докладов конференций.Структура и объем диссертации. Диссертационная работа состоит из введения, 4-хглав, заключения, списка сокращений и библиографического списка из 127 наименований.Работа содержит 157 страниц текста с 30 рисунками и 12 таблицами.ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫВо введении сформулирована проблема, цель и задачи исследования, определенаактуальность выбора темы диссертации.

Обоснованы используемые методы исследования,научная новизна и практическая значимость полученных результатов. Приведены сведения овнедрении результатов исследований, а также о публикациях, объеме и структуредиссертации.В первой главе выполнено исследование предметных областей поддержки принятиярешений и нейроэволюции. Рассмотрены современные подходы к задачам принятия решенийв условиях неопределенности и области их применения.Проведен анализбиоинспирированного подхода к интеллектуализации принятия решений, а также анализ иклассификация нейроэволюционных методов принятия решений.

На основе полученныхданных сформулированы цель и задачи исследования.Проведен анализ ключевых свойств основных нейроэволюционных методов(таблица 1), представлена классификация данных методов в зависимости от применяемогометода эволюции, очередности модификации параметров и топологии ИНС, способакодирования хромосом, входных ограничений на генерируемые особи, модифицируемыхсвойств и направления эволюции.По результатам классификации и анализа представленных методов можно сделатьвывод, что подавляющее большинство методов не модифицирует вид функции активации иее параметры, при этом большинство методов накладывают ограничения на структуру ИНС.Кроме того, во многих методах эволюция идет исключительно по пути усложнения либопоследовательного упрощения структуры.

Ни один из рассмотренных методов не сочетает всебе такие свойства как отсутствие ограничений на оптимизируемую ИНС, динамичностьэволюции, обработка всех возможных параметров ИНС. На основе анализа методов и оценкиобщих для них свойств поставлены цель и задачи исследования.Вторая глава посвящена разработке нейроэволюционного метода, алгоритмовглобального и локального поиска. Выявлены ключевые характеристики генетическихпредставлений, определена схема кодирования и описан сам нейроэволюционный метод. Дляалгоритмагенетическогопоискапроведенаоценкасходимости.Предложеннейроэволюционный метод, позволяющий корректировать топологию нейросети всоответствии с внешними условиями и обладающий совокупностью оригинальных свойств:адаптивностью структуры и низкой связностью особей, динамичностью эволюции,возможностью гибридизации.

Данный метод модифицирует не только параметры нейронов,но и топологию ИНС, что обуславливает адаптивность структуры особей. Посколькусложности при выборе топологии зачастую препятствуют применению ИНС на практике,адаптивный подход способен автоматизировать процесс модификации и обучения ИНС,повысить ее универсальность. Модификация топологии нейросети может осуществляться напротяжении всего процесса ее функционирования, в связи с чем реализованный процессэволюции обладает свойством динамичности.

Направление эволюции зависит от измененийсвойств среды: качественные и количественные изменения могут идти как по путиструктурного усложнения, так и упрощения ИНС. Эволюционное изменение количестванейронов и связей упрощает поиск компромисса между скоростью и точностью вывода.Реализованные генетические операторы обеспечивают комбинирование несколькихнейросетей в одну с сохранением их «жизнеспособности».7МетодENS3NEATEANTDXNNICONESANEESPCNECEGNARLEPNetNESТаблица 1 – Сравнение нейроэволюционных методовВид ограниченияМодифицируемое свойствоПараметрыТопологияПараметрыТопологияВид функцииНетПороги, весаДаактивацииИсходная популяция:только полносвязныеНетВесаДаИНС; количествонейронов фиксированоНетНетВесаДаНетНетВесаДаВид функцийНетНетактивации,Дапороги, весаИНС прямогоВид функциираспространения с 1-мВесаДаактивациискрытым слоемВид функцииПолносвязные ИНСВесаНетактивацииВид функцийТопологияактивации и пороги фиксирована и задается ВесаНетфиксированывначалеВид функцииНетНетактивации,Дапороги, весаВид функцииДа,Рекуррентные ИНСВесаактивацииограниченноВид функцииИНС прямогоДа,ВесаактивациираспространенияограниченноТопологияВид функциификсирована и задается ВесаНетактивациивначалеВ качестве структуры данных для генетического кодирования был выбран списоксмежности (таблица 2).

Размер занимаемой им памяти линейно зависит от количестванейронов и количества синаптических связей как ( + ). Компактностьпредставления открывает возможность оперирования топологией ИНС с экстра-большимколичеством нейронов. Список смежности ставит в соответствие каждомупроиндексированному нейрону i список пар вида {sij, wij}, где sij – индекс нейрона,связанного с j, wij – вес связи, ∈ [1, ]. Для входных нейронов этот список пуст. Также длякаждого нейрона хранится пороговое значение , вид type и K параметров 0 , … , функцииактивации f.

Каждый i-ый элемент списка смежности имеет вид:{, {{0 , 0 }, … , { , }}, , type , {0 , … , }, , } ,(1)где INi – минимальное количество узлов ИНС, через которые должен пройти входной сигнал,чтобы достигнуть i-го нейрона, OUTi – минимальное количество узлов, через которыедолжен пройти сигнал, сгенерированный i-ым нейроном, чтобы достигнуть выхода.Хранение и пересчет параметров INi и OUTi, а также индексация узлов ИНСспособствуют решению проблем конкуренции представлений и незащищенности инноваций,свойственных схеме прямого кодирования: новые узлы, добавляемые в ИНС операторами8мутации и кроссинговера, обладают большими индексами, чем узлы, сформированные впредыдущее эпохи нейроэволюции.

Наличие сведений о кратчайшем пути ко входным ивыходным узлам препятствует скрещиванию участков нейросети, несущих разнуюфункциональную нагрузку. Мутация в измененных за предыдущие эпохи участках ИНСменее вероятна, чем в не эволюционировавших участках. В частности, индексация узловснижает риск удаления из популяции новых элементов, что решает проблему незащищенныхинноваций.

При помощи данного универсального представления кодируются нейросетилюбой структуры и размера. Например, структуре нейросети на рисунке 1 можетсоответствовать список смежности, представленный в таблице 2.Рисунок 1 – Рекуррентная ИНС со скрытыми нейронамиТаблица 2 – Список смежности рекуррентной ИНС̅̅̅̅̅̅̅̅̅̅̅type̅{ , }i123456789101112——{10, 0.45}{11, 0.8}{12, 0.91}{1, 0.21}{1, 0.5}, {2, 0.42}, {3, 0.7}{1, 0.1}, {2, 0.3}, {4, 0.8}{5, 1}{6, 0.98}{7, 0.54}, {8, 0.5}{9, 0.75}000000-0.300000mthmthsigmsigmsigmggggththth1.5, 3, 1.68, 21.7, 2.5, 1.5, 21.0720.892.01, 0.51.68, 0.932, 0.931.08, 1.1, 0.7621.31.3002221111222222221111000Предлагаемый метод позволяет реализовать два пула, содержащих соответственновходные параметры и множество возможных функций активации нейронов.

На основе пулавходных параметров, составляющих множество потенциальных входов ИНС, в процессеэволюции формируются входные векторы особей. Данный пул предназначен дляоптимизации производительности ИНС при сохранении качества вывода. Пул функцийактивации содержит такие функции как сигмоида () = 1/(1 + − ), функция Гаусса11 − 2 / − −/() = √2 −2( ) , модифицированный гипертангенс ℎ() = /+ −/ и другие. Пулнеобходим для настройки параметров каждого нейрона и, соответственно, повышенияточности нейросетевого вывода. Помимо способа кодирования на эффективностьнейроэволюции непосредственно влияет подбор генетических операторов и вид функцииприспособленности, что отражено в соответствующих этапах нейроэволюционногоалгоритма.91.