Диссертация (Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования), страница 9

К методам, реализующимдеструктивный подход, относятся EPNet, Phased Pruning (модификация NEAT).– Управляемая эволюция. В отличие от конструктивного и деструктивногоподходов, данный подход не имеет таких недостатков как сходимость клокальному оптимуму инакладывание дополнительных ограниченийнатопологию ИНС.

К методам, основанным на управляемой эволюции, относятсяENS3, EANT, SANE, ESP, GNARL.3. Классификация нейроэволюционных методов по модифицируемымсвойствам нейросетей:– Оптимизация параметров. Метод модифицирует один или несколькопараметров ИНС: чаще всего – это весовые коэффициенты, и, в некоторыхреализациях, параметры функции активации.–Модификациятопологии.МетодоптимизируеттопологиюИНСпосредством удаления и добавления связей, нейронов и других структурныхэлементов, таких как слои и плоскости.– Модификация совокупности свойств. Метод реализует глобальный поиск(изменение топологии) и локальный поиск (подбор параметров).В таблице 1.3 приведено сравнение методов по количеству и типумодифицируемых параметров ИНС.49Таблица 1.3 – Классификация методов по модифицируемым свойствамМетодENS3NEATEANTDXNNICONESANEESPCNECEGNARLEPNetNESМодифицируемое свойствоПараметрыТопологияПороги, весаДаВесаДаВесаДаВесаДаВид функций активации, пороги, веса ДаВесаДаВесаНетВесаНетВид функции активации, пороги, веса ДаВесаДа, ограниченноВесаДа, ограниченноВесаНет4.

Классификация нейроэволюционных методов по способу кодированияхромосом:– прямое кодирование: NEAT, DXNN, SANE, ESP, CNE, GNARL, EPNet,NES;– косвенное кодирование: DXNN, CE;– гибридное кодирование: EANT.5.Классификациянейроэволюционныхметодовпокомбинациииспользуемых генетических операторов, среди которых:– селекция. Та или иная реализация оператора селекции присутствует вовсех нейроэволюционных методах;– мутация.

В методе ENS3 оператор мутации применяется с фиксированнойвероятностью. В методе NEAT реализованы два оператора мутации дляраздельной модификации топологии и параметров. Мутация для удалениянейронов не реализована в методах EANT и DXNN (в DXNN также нереализована мутация для удаления связей);– кроссинговер [48]. Данный оператор отсутствует в методах ENS3, EANT.В методе NEAT реализован кроссинговер на основании «инновационных чисел»;– специфичные операторы.50На основании свойств методов, изложенных в пунктах 1.3.1 – 1.3.12, иприведенной классификации, можно сделать следующие выводы:1.

Подавляющее большинство методов не модифицирует вид функции активациии ее параметры.2. Большинство методов накладывает ограничения на структуру ИНС.3. Во многих методах эволюция направлена исключительно по пути усложнения(в некоторых случаях – последовательного упрощения) структуры.4. Некоторые методы используют подход обучения с учителем, что требуетналичиярепрезентативнойвыборкипрецедентовидополнительныхограничений на структуру ИНС.Таким образом, ни один из существующих методов не сочетает в себе такиесвойства как отсутствие ограничений на оптимизируемую ИНС, динамичностьэволюции, модификация множества всех допустимых параметров ИНС.1.4 Формулирование целей и задач исследованияЦелью исследования является разработка метода, модели и алгоритмов набазеаппаратанейронныхинтеллектуализацииДостижениесетейпринятияпоставленнойиэволюционногорешенийцеливмоделированияусловияхреализуетсякакдлянеопределенности.решениекомплексавзаимосвязанных задач:1.

Исследование, критический анализ и классификация систем поддержкипринятиярешений,атакжеизвестныхнейроэволюционныхметодов,используемых для решения задач в условиях неопределенности.2. Разработка нейроэволюционного метода для генерирования эффективнойтопологии и автоматической настройки параметров нейросети в соответствии срешаемой практической задачей.513. Разработка алгоритмов глобального и локального генетического поискадляоптимизацииструктурыимодификациипараметровнейросетейпроизвольной топологии.4. Разработка методики расчета основных критериев оценки параметровнейроэволюционного метода для исследования его эффективности на множествеэталонных задач.5.

Построение модели системы принятия решений, инкапсулирующеймодуль для нейроэволюционной обработки данных в условиях неопределенности.6. Разработка программного инструментария, обеспечивающего реализациюнейроэволюционного метода и модели системы поддержки принятия решений вусловиях неопределенности.7. Экспериментальное исследование работоспособности и эффективностипредложенной модели СППР в приложении к актуальным практическим задачам,а также оценка качества полученных результатов.Всоответствиинейроэволюционныйсметод,поставленнымиобладающийзадачамиразработаноригинальнойновыйсовокупностьюследующих свойств:Адаптивность структуры особей.

При изменении параметров решаемойзадачи исходная топология нейросети может оказаться не оптимальной. Длякорректного функционирования в нестационарной окружающей среде нейросетьдолжна быть реконфигурирована. В соответствии с требованиями к устойчивостивывода[121]оптимизируютсянетолькопараметрынейронов,ноиперестраивается структура ИНС. Это позволяет учесть специфику конкретнойзадачи.Поскольку сложности при выборе топологии зачастую препятствуютприменению ИНС на практике, то адаптивная самонастраивающаяся системаспособна упростить и в определенной степени автоматизировать процесснастройки и обучения ИНС, повысить универсальность нейроэволюционногоподхода в целом.52Динамичность эволюции.

Реконфигурирование топологии и настройкапараметров нейросети осуществляются на протяжении всего процесса еефункционирования. Направление эволюции зависит от изменений свойств среды:качественные и количественные изменения могут идти как по пути усложнения,так и упрощения.Экспоненциальноеснижениебыстродействиянейросетисростомколичества ее элементов препятствует широкому распространению больших исверхбольшихИНС;такиесетисложнопроектироватьинастраивать.Эволюционное изменение количества нейронов и слоев упрощает поисккомпромисса между скоростью и надежностью вывода [103].Возможность гибридизации [73].

Генетические операторы применительно кнейросетям позволяют комбинировать нескольких нейросетей в одну ссохранением их «жизнеспособности». Благодаря этому становится возможнойгенерация «нестандартных», нерегулярных топологий и гибридных ИНС [122].Низкая связность. Раздельное обучение и объединение относительнонебольших нейросетей в одну разбивает процесс обучения на независимые этапы,а саму нейросеть – на отдельные функциональные блоки, среди которых можетвыделяться особый блок – память, по необходимости расширяемый за счетдобавления новых структурных элементов.Кроме того, разработанный нейроэволюционный метод лишен классическихнедостатков,которымподверженобольшинствоизвестныхреализацийнейроэволюции [104]:Конкуренция представлений (проблема перестановок) – это проблема,связанная с отсутствием биекции «генотип – фенотип», при котором один и тотже фенотип топологически может быть представлен в генотипе несколькимиспособами.

Применение оператора кроссинговера для двух схожих фенотипов сбольшой вероятностью генерирует поврежденную ИНС с повторяющимися илиотсутствующими элементами.53Незащищенностьинноваций–этоявлениеотсеиваниявходенейроэволюции новых конфигураций нейросетей, которые являются удачными,но первые несколько эпох демонстрируют низкую приспособленность из-заненастроенных весовых коэффициентов, порогов и параметров функцииактивации.Проблема начального размера и топологических инноваций во многихнейроэволюционных подходах возникает из-за того, что начальная популяцияформируется набором случайных топологий.

При этом затрачивается время наотсеивание заведомо нежизнеспособных особей, а сформированные популяцииимеют тенденцию к преждевременной сходимости к не оптимальным решениям.Преждевременная сходимость означает остановку генетического алгоритмадо достижения им глобального оптимума [109].«Паралич» и переобучение нейросети – неконтролируемый рост значенийвесовых коэффициентов нейронов в процессе обучения и, как следствие,активизация нейронов только при очень больших входных значениях ИНС [110].1.5 Выводы по первой главе1. Проведен обзор систем поддержки принятия решений в условияхнеопределенности и областей их применения, на основании которого показананеобходимостьвразработкеновоймоделиСППР,реализующейнейроэволюционный подход к задаче принятия решений.2.

Проанализированы возможности известных нейроэволюционных методовинтеллектуализации принятия решений, исследованы их ключевые свойства,достоинства и недостатки. В результате анализа методов сделан вывод оцелесообразности применения нейроэволюции в задаче принятия решений вусловиях неопределенности.3. Наоснованиианализаипроведеннойклассификациинейроэволюционных методов отмечено, что представляет особый научный и54практический интерес разработка нового метода, лишенного недостатков,присущих известным методам.4.

На основе обсуждения проблем разработки нейроэволюционных методовподдержки принятия решений в условиях неопределенности сформулированыцель и задачи исследования.55ГЛАВА 2. РАЗРАБОТКА НЕЙРОЭВОЛЮЦИОННОГО МЕТОДАИ АЛГОРИТМОВ ДЛЯ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ВУСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ2.1 Определение ключевых требований к реализации процессанейроэволюции2.1.1 Определение схемы кодирования хромосомБазой для любого метода эволюционного построения ИНС является выборсхемы кодирования-декодирования хромосом, то есть способа генетическогопредставления ИНС. Схема кодирования определяет класс сетей, которые могутбыть построены с помощью данного метода и именно от нее зависитэффективность процесса нейроэволюции.

Принято выделять два класса методовкодированияхромосом:прямоеикосвенное(параметрическое,слабосвязное) [46].Прямое кодирование фиксирует взаимно-однозначное соответствие междуфенотипом, образующим структурные элементы ИНС, и соответствующимиучастками хромосомы. Биекция фенотип – генотип удобна для реализации,позволяет отслеживать изменения популяции и причины этих изменений, а такжеприменятькхромосомамаппаратгенетическогопоиска.Изнаиболеесущественных недостатков такой схемы следует отметить зависимость длиныгенотипа от количества нейронов и связей и, как следствие, низкуюэффективность при увеличении пространства поиска для построения больших исверхбольших ИНС [55].Косвенное кодирование размещает в генотипе только правила построенияфенотипа.

Генетическое представление и, следовательно, пространство поискаГА, является более компактным, а сам генотип позволяет кодировать модульные56структуры. При определенных условиях это дает преимущества в адаптивностиполученных результатов [47].Не смотря на свойственную косвенному кодированию биологическуюправдоподобность и компактность представления, в предлагаемом методереализована схема прямого кодирования. Это обусловлено следующиминедостаткамикосвенногокодирования:низкойпроизводительностьюимедленной сходимостью; невозможностью отслеживания изменений генотипа,являющихсяпричинамизаданныхизмененийфенотипа;ограничениями,накладываемыми на генетические операторы. Реализация прямого кодирования,напротив, позволяет оперировать нейросетями произвольной топологии и смаксимальной точностью настраивать отдельные параметры нейронов и связей.Для корректного решения некоторых практических задач принятия решенийв условиях неопределенности требуются многослойные нейросети с экстрабольшим, порядка сотен тысяч, количеством нейронов.