Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 18
Текст из файла (страница 18)
На рис. 111 совпадающий при р = 0 с блуждающим случайным поиском. Во-вторых, адаптация в процессе глобального поиска может быть введена путем соответствующего управления случайным процессом Д1), например, следующим образом: 4.14 для сравнения показаны три схемы обучения при различных комбинациях немедленной реакции и самообучения. б) в) а) Рис.4.14 — Схемы обучения на основе случайного поиска: а) без самообучения, б) с самообучением и алгоритмом поиска, в) с самообучением без алгоритма поиска.
112 На схеме а) показан случайный поиск без самообучения, который работает только с учетом немедленной реакции. В этом случае вероятностные характеристики случайного шага ~ неизменны. Следующая схема б) отражает применение самообучения совместно с алгоритмом поиска. Здесь вероятностные характеристики случайных шагов перестраиваются соответствующим образом по каналу обратной связи при одновременной работе алгоритма поиска. Последняя схема в) соответствует обучению сети только на основе алгоритма самообучения, когда немедленная реакция исключена.
В этом случае настройка сети осуществляется только за счет перестройки вероятностных характеристик поиска. Как нетрудно заметить, подобного рода процедура обучения прежде чем перестроиться на новое направление, может сделать несколько шагов в старом направлении независимо от получаемых результатов. Таким образом алгоритм обучения может некоторое время «подниматься по склону», преодолевая тем самым «хребты» целевой функции и обеспечивая поиску глобальный характер. Рассмотрим именно такой глобальный поиск, полученный за счет исключения немедленной реакции на неудачный шаг.
Пусть направление случайных шагов поиска в пространстве настраиваемых параметров определяется заданным многомерным 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ сУ(г() Ц р(~,л)сУ~ = ю. (4,281) Следовательно, ~ определяет среднее направление поиска. С другой стороны, это направление должно зависеть от предыстории процесса поиска, т.е, быть наилучшим с точки зрения предыдущей работы. Поэтому естественно называть направление к вектором предыдущего опыта 11051. Можно заметить, что этот вектор похож на вектор памяти А в процессе непрерывного самообучения.
Разница заключается в том, что в данном случае вектор т указывает лишь направление, а его норма не несет никакой информации в противоположность вектору памяти, норма которого определяет дисперсные свойства случайного выбора. Процесс обучения на основе глобального поиска разбивается на ряд этапов. Во время первого этапа (анализа) из исходной точки и,. (ус), определяющей состояние ИНС в данный момент времени, делается Д независимых проб ту с, ", су = 1,2,..., Д в соответствии с имеющимся распределением р(с, „т(Ус)) . При этом каждый раз определяется значение целевой функции Е,.(и,.(Ус)+ту,~'). На втором этапе (решении) определяется направление рабочего шага, которое зависит от результатов анализа, произведенного на первом этапе и решающего правила П(е), связывающего предыдущий опыт и полученную информацию и' (Ус+1) = и' (Ус)+туй(~,~,...,~~,Е (и' (Ус)+ту ~ )..., Е,.
(и,. (Ус) + ту с," о ), .т(Ус)), (4.282) где Π— векторная единичная функция, определяющая наилучшее в некотором смысле направление рабочего шага в свете только что полученной информации. Поэтому дальнейший поиск следует организовать именно в этом направлении, а поскольку направление поиска определяется вектором опыта, то на третьем этапе (обучения) естественно изменить вектор ~ в соответствии с полученными результатами (4.283) х(ус+1) = 0,(ь(ус),Ььм,.(ус)), ю(Ус +1) — ту Ли т (Ус), например (4.284) 113 распределением р(с,„т), которое зависит от некоторого (тс+1) — мерного единичного вектора т =(к„5,,...,,т„)' как от параметра. Распределение р(с,,5) должно обладать следующим свойством: направление математического ожидания случайного вектора ~ по всем возможным реализациям обязано совпадать с направлением вектора т, т.е.
(4.285) «(Ус+1) = йг(в(/с)+х),Ли,.(Ус)), где г), — параметр скорости накопления опыта. Соотношение (4.285) устанавливает преемственность между новым и старым направлениями вектора опыта, которая при малых значениях параметра велика, а при больших — мала. В последнем случае выражение (4.285) приближается к (4.284). Нетрудно видеть, что данный алгоритм имеет глобальный характер.
Действительно, пробные шаги ~'„~2„...,~о здесь производятся не в любом, а лишь в определенном предпочтительном секторе направлений, определяемом вектором в. Этот вектор, а точнее распределение р(», в), как бы устанавливает своеобразные «шоры», ограничивающие свободу случайных проб лишь в определенном секторе пространства настраиваемых параметров.
Направление рабочего шага при этом определяется по правилу й, исходя из полученной таким образом информации. Вследствие того, что направление поиска в не может значительно измениться за один шаг, такой поиск приобретает определенную инерционность. Наличие распределения р(~, в), определяющего направление шагов поиска, обеспечивает «плавность» траектории обучения, которая подобна траектории движения тяжелого шарика. При наличии оврага у целевой функции поиск будет производиться вдоль этого оврага независимо от того, поднимается он или опускается.
Это позволяет преодолевать «хребты» по «перевалам» критерия качества и отыскивать новые районы его локальных низин. Рассмотренный подход не находит глобальный оптимум целевой функции, а лишь выделяет те области пространства параметров, где он может находиться, На практике для решения конкретных задач целесообразным представляется использование более простых алгоритмов.
В первую очередь можно отметить алгоритм глобального поиска, у которого р(~, в) является дискретным распределением. Случайный вектор пробного шага ~, выбранный в соответствии с этим распределением, имеет координаты ~„~,,...,~„, которые определяются в соответствии с правилом 1 с вероятностью р,, ,/ +1 1 — с вероятностью 1 — р,, й+~ (4.286) 114 т.е, в направлении предыдущего рабочего шага. В случае, если обучение происходит в обстановке помех и нет уверенности, что направление в действительно является наилучшим, необходимо введение накопления, которое, например, реализуется в виде 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ где вероятность р, вычисляется по формуле 1+ (1 — 2с)х,. ~/и+ 1 (4.287) ю, - 1-я компонента вектора л = (.з,„~, „~„); 0 < с < 1 — некоторая константа. Направление рабочего шага для этого алгоритма естественно определить как 1)=~, (4.288) где ~' — направление наилучшей пробы, удовлетворяющей условию Е,(м,ф)+т) ~ ) = шш Е,(и,ф)+т1г~').
(4.289) Опыт, накопленный за один цикл анализа, запоминается в данном случае в виде вектора х, который совпадает с наилучшей пробой (4.290) Таким образом, целенаправленность поиска достигается за счет того, что вероятности (4.287) принимают одно из двух значений: с или 1 — с в зависимости от предыстории. Достаточно эффективным является также так называемый алгоритм с направляющей сферой 1203~, отличающийся от предыдущего тем, что вместо дискретного он использует непрерывное самообучение.
Пусть случайные пробы ~ ' определяются точками на поверхности (и +1)— мерной гиперсферы, а сама эта гиперсфера несколько выдвинута в направлении вектора х. Тогда образованные таким образом случайные направления имеют тенденцию в сторону вектора опыта, причем эта тенденция тем сильнее выражена, чем на большую величину выдвинута гиперсфера вдоль вектора ь. Направление случайного шага в данном алгоритме определяется выражением + ~о) (4.291) 115 где ~' — случайный единичный вектор, равновероятно распределенный по всем направлениям пространства параметров; г — радиус гиперсферы. На рис.
4.15 показано взаимодействие векторов ~' и .~ в процессе образования ~ (пунктиром обозначена гиперсфера возможных реализаций). Как видно, при г>1 все пробные шаги производятся внутри гиперконуса с осью ю и углом полураскрытия у = агсяп —. !И' Рис.4.15 — Определение направления в алгоритме с направляющей сферой. Несложно также заметить, что чем меньше г, тем уже конус и тем ближе друг к другу случайные пробы. Модификацией алгоритма с направляющей сферой является алгоритм с направляющим конусом.
Пусть в пространстве настраиваемых параметров определен гиперконус с вершиной в точке и, ось которого совпадает с направлением вектора .~, а угол при вершине равен 2у. Вокруг вершины конуса, как относительно центра, проводится гиперсфера радиуса и . Конус отсекает от этой сферы часть поверхности, на которой случайно выбирается Д пробных точек ~',~",...,~~. По значениям целевой функции в этих точках Е,.1и,. +~') определяется наилучшая точка, соответствующая минимальному значению критерия качества (4.289).
В этом направлении и производится рабочий шаг, Направление поиска таким образом целиком определяется указанным конусом, т.е. случайные пробы выбираются внутри него. Направление вектора опыта .~ при этом определяется наилучшей пробой предыдущего этапа (4.290). На рис.4.16 показано несколько шагов поиска для и <1, ~~=и+1=2 из состояния и, (О) с произвольным начальным направлением вектора .ю(0), который в процессе поиска корректируется по наилучшей пробе. На этом рисунке видно, что по мере накопления информации о поведении целевой функции вектор .к стремится развернуться в направлении обратном градиентному.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
