Диссертация (Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования), страница 7

Кроссинговер осуществляется внутри случайноотобранных пар, формируемых из 25% наилучших особей.Результатом являются два потомка: нейрон, полученный с применениемодноточечного кроссинговера, и копия одой из родительских хромосом. Новыенейроны замещают наименее приспособленных особей в популяции. На каждойэпохе эволюции замещается 50% популяции нейронов. Оператор мутацииприменяется с вероятностью 0.1% для каждого бита в хромосоме.ДостоинствомметодаSANEявляетсяуспешноерешениепроблемпреждевременной сходимости и локального оптимума за счет поддержания впопуляции выборки из видов специализированных нейронов. Недостаткамиметода являются: ограничение на топологию ИНС, оптимизация только весовыхкоэффициентов без изменений таких параметров как пороговые значения и видфункции активации, что существенно сужает класс решаемых задач.351.3.7 Метод усиления субпопуляцийESP(EnforcedSubPopulations,усиленныесубпопуляции)–метод,основанный на методе SANE и расширяющий его введением рекуррентных связеймежду нейронами [56, 102].

Метод был разработан Фаустино Гомезом и РистоМиклайненом в 2002 году в Университете Техаса, Остин. Метод ESP изменяетколичество нейронов полносвязной ИНС, не затрагивая при этом топологию.Популяция состоит из отдельных субпопуляций [57] нейронов. Нейроныпредставителисубпопуляцийобладаютразличнойспециализациейивсовокупности формируют полноценную ИНС.

Процесс эволюции в данномметоде состоит из четырех основных шагов:1. Инициализация. На данном шаге задается количество скрытых нейроновu и инициализируются начальные субпопуляции хромосом нейронов. В отличиеот метода SANE, ESP формирует субпопуляции на первом шаге, а не в ходепроцесса эволюции из единой популяции. Хромосома инициализирует весавходных и выходных связей вектором случайных чисел.2. Оценивание. Случайным образом осуществляется выборка u нейронов поодному из каждой субпопуляции, которая формирует скрытый слой ИНС.Производится оценка приспособленности ИНС; значение приспособленностидобавляется к совокупному значению приспособленности каждого нейрона.Процесс повторяется до тех пор, пока каждый из нейронов в среднем непоучаствует в 10 оценках.3.

Рекомбинирование. Средняя приспособленность каждого нейронапопуляции вычисляется по формуле =,где – совокупное значению приспособленности нейрона; – суммарное количество оценок для данного нейрона.(1.11)36Нейроны внутри каждой субпопуляции ранжируются в зависимости отзначений .Лучшие25%особейрекомбинируютсяоператорамиодноточеченого кроссинговера и мутации, формируя новое поколение.Метод ESP использует оператор мутации BM (burst mutation, «мутациярасширением») [58]: для наилучших особей оператор определяет оптимальныеизменения внесением «шума», сила которого формируется распределением Коши() =( 2 + 2 ).4.

Цикл оценивания и рекомбинирования повторяется, пока погрешностьИНС не достигнет заранее заданного значения.Метод ESP решает проблему преждевременной сходимости и имеетдовольно высокую производительность [59]. Недостатком метода являетсяограничение, накладываемое им на топологию: формируемые нейросети являютсяполносвязными, что в ряде приводит к избыточности полученного решения. Вподавляющем большинстве случаев полносвязная структура может бытьсущественно сокращена с целью повышения производительности ИНС иснижения пространственной и временной сложности метода.1.3.8 Стандартный метод нейроэволюцииCNE (Conventional NeuroEvolution, стандартная нейроэволюция) – метод,модифицирующий весовые коэффициенты нейросети и не затрагивающий ееструктуру [52, 53]. Метод CNE - это одна из первых успешных реализацийнейроэволюции, предложенная Ричардом Белю, Джоном Маккинри и НиколасомШраудольфом и в 1990 году в статье «Evolving Networks: Using the geneticalgorithm with connectionist learning».

Не смотря на простоту, CNE внесзначительный вклад в развитие методов нейроэволюционной оптимизации [115].У «стандартной нейроэволюции» есть множество реализаций, но как правило подданным термином понимается в первую очередь сам метод CNE. Структура ИНС,37количество нейронов и все параметры за исключением весовых коэффициентовзадаются в методе заранее. Для оптимизации как правило выбираютсяполносвязные ИНС.Метод CNE состоит из четырех основных шагов:1. Генерирование случайным образом начальной популяции (0) изхромосом, формирующихся путем последовательной конкатенации значенийвесов. Весовые коэффициенты могут быть представлены двумя способами:действительными числами или в виде бинарного представления.2.

Оценка приспособленности ИНС. Преобразование закодированногогенотипа в фенотип с последующей оценкой ИНС. Остановка по достижениюусловия оптимальности ИНС.3. Рекомбинирование: селекция (отбор лучших особей в ранжированномряду), мутация, кроссинговер.4. Формирование новой популяции ( + 1) и переход на новую эпохуэволюции + 1.К достоинствам метода относятся: простота реализации преобразованийгенотип-фенотип, высокая скорость работы за счет компактного представлениягенотипов. У метода CNE также есть и недостатки. Так, существует высокаявероятность сходимости метода к локальному оптимуму.

Метод требуетпредварительного задания топологии нейросети, количества нейронов и связей, атакже обладает низкой масштабируемостью и не предназначен для решениясложныхзадач:количествопараметров,которымиоперируетметод,полиномиально возрастает в зависимости от размера нейросети.1.3.9 Метод клеточного кодированияCE (Cellular Encoding, клеточное кодирование) – метод косвенногокодированиядляэволюциипоследовательностииспользованияправил,управляющих делением клеток, из которых строится ИНС [60].

Метод изложен38Фредериком Грюау в 1994 году в докторской диссертации (Университет ENSLyon, Франция). Метод CE предназначен для параллельной модификациитопологии путем последовательного усложнения и настройки весов нейросети.Каждая клетка имеет входной и выходной узлы, посредством которых она можетбыть присоединена к другим клеткам. Клетка также содержит внутренниерегистры [61] – память, хранящую параметры ИНС и инициализируемуюначальными значениями: 1 – вес; 0 – порог; тождественное отображение –функция активации; 1 – коэффициент, на которой умножается полученноезначение функции активации. При делении клетки значения параметровдублируются.

ГА последовательно усложняет структуру и оптимизируетпараметрыИНС.Этоосуществляетсяпосредствомкосвенногоэмбриогенетического кодирования с построением грамматического дерева и Sвыражений.Метод CE в первую очередь ориентирован на построение модульных ИНС,состоящих из иерархически связанных подсетей. Он также пригоден дляформирования паттернов и рекурсивных структур [127].Метод CE состоит из двух основных шагов:1. Формирование набора правил.2.

Процессэволюционногопоиска,направленногонагенерациюпоследовательности применения правил, приводящей к оптимальномурезультату.Достоинством метода является возможность изменения функции активациинейронов. Также метод способен создать ИНС любой конфигурации безограничений на количество нейронов и топологию.

При этом формируемые врезультате применения генетических операторов особи являются гарантированножизнеспособными. Недостатком метода CE является высокая ресурсоемкость, таккак каждая клетка хранит копию грамматического дерева, маркеры и внутренниерегистры. Так как метод реализует косвенное кодирование, то ему присуща также39низкаяпроизводительность,связаннаяснеобходимостьюосуществленияопераций кодирования-декодирования грамматического дерева.1.3.10 Метод обобщенного наращивания рекуррентных связейGNARL(GeNeralizedAcquisitionofRecurrentLinks,обобщенноенаращивание рекуррентных связей) – метод эволюционного программированиядля создания рекуррентных ИНС, способный направлять эволюцию как по путиупрощения, так и усложнения структуры нейросети [29]. Метод был разработанПитером Энжелин, Грегори Сондерсом и Джорданом Поллаком в 1994 году вУниверситете Огайо, США.

Метод GNARL модифицирует топологию нейросетии весовые коэффициенты с помощью алгоритма имитации отжига (simulatedannealing) [78]. Данный алгоритм предназначен для решения задачи глобальнойоптимизации и основывается на имитации физического процесса, происходящегоприкристаллизациивещества(вчастности,приотжигеметаллов).Кристаллическая структура представляет собой кодированное решение. МетодGNARL состоит из основных шагов:1.

Создание n случайным образом сконфигурированных ИНС. Количествовходных узлов num-in и выходных узлов num-out нейросети фиксировано длякаждой решаемой задачи. Ограничений на скрытые узлы и связи ненакладывается, в том числе возможно рекуррентное соединение нейрона с самимсобой.2. ВкаждуюэпохуэволюцииИНСранжируютсяфункциейприспособленности , заданной заранее: : → . Репродукция лучших /2особей заключается в коррекции весовых коэффициентов и структуры для каждойродительской нейросети . Для этого вычисляется температура ():() = 1 −(),(1.12)40где – максимальное значение приспособленности в рамках решаемой задачи,определяется заранее.Температура () является мерой эффективности нейросети ииспользуетсявалгоритмеотжигадляопределенияструктурногоипараметрического сходства между предком и потомком следующим образом: чембольше температура ИНС, тем более сильным мутациям она подвергается.3.

Мутация. Мутации параметров ИНС заключаются в возмущениизначений весовых коэффициентов Гауссовым шумом с дисперсией ()2 : ← + (0; ()), ∀ ∈ (1.13)В методе реализовано четыре вида мутаций структуры ИНС:– Добавление k1 скрытых узлов с вероятностью Padd-node.– Удаление k2 скрытых узлов с вероятностью Pdelete-node.– Добавление k3 синаптических связей с вероятностью Padd-link.– Удаление k4 связей с вероятностью Pdelete-link.Каждое из значений ki выбирается на заданном заранее интервале,сформированном по формуле (1.12). При добавлении узла вместе с нимдобавляются требуемые связи, инициализирующиеся нулевыми весовымикоэффициентами; при удалении узла удаляются и его связи.4.

Завершение эволюции по достижению заданного условия останова; еслиусловие не достигнуто, осуществляется переход к шагу 2.Достоинством метода GNARL является решение проблемы локальногооптимума на этапе модификации топологии ИНС. Данная проблема свойственнаалгоритмам поиска восхождением на вершину, используемым во многихреализациях нейроэволюции [99]. Алгоритм поиска восхождением на вершинуможет быть неэффективным для пространств поиска, имеющих нескольколокальных оптимумов, плато и гребни. Тем не менее, метод не предназначен длямодификации таких параметров ИНС как пороги нейронов и параметры функцийактивации, что ограничивает область его применения.411.3.11 Метод эволюционного программирования нейросетиEPNet(EvolutionaryпрограммированиеNetwork,эволюционноеединовременнооптимизирующийProgrammingнейросети)–метод,топологию и весовые коэффициенты ИНС [79].

Метод был впервые предложенКаер Ассадом в 2003 году в статье «On Comparison between EvolutionaryProgramming Network-based Learning and Novel Evolution Strategy Algorithm-basedLearning». Метод оптимизирует только нейросети прямого распространения ссигмоидными функциями активации и реализует пять операторов мутации длякорректировки топологии нейросетей: удаление скрытых узлов, удаление связей,добавление узлов и связей, настройка весов. Метод EPNet состоит из десятиосновных шагов:1. ГенерированиеслучайнымобразомначальнойпопуляцииизMнейросетей. Количество скрытых узлов, количество связей и исходные весовыекоэффициенты задаются случайно на определенных заранее интервалах.2.