Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 20
Текст из файла (страница 20)
Затем производится возврат к операции отражения — проецирования для продолжения поиска на (1с+ 1)-й итерации. Деформируемый многогранник в противоположность правильному симплексу адаптируется к топологии целевой функции, вытягиваясь вдоль длинных наклонных поверхностей, изменяя направление в изогнутых оврагах и сжимаясь в окрестности минимума.
Коэффициент отражения а используется для проецирования вершины с наибольшим значением Е,. („и,. (1с)) через центр тяжести деформируемого многогранника. Коэффициент у вводится для растяжения вектора поиска в 122 при этом если Е,.(„„и,(й)) < Е,(,и,.(1с)), то „и,(1с) заменяется на „„4и',(/с) и осуществляется переход на отражение-проецирование при 1с+1. В противном случае „и,.
(Й) заменяется на „,„и,. (Й) и также происходит отражение на (1с+ 1)— м шаге; сжатие, которое происходит в случае Е,.(„„,и,.(Й))>Е,.(,и,.(Й)) и состоит в том, что вектор „и,.(й) — „,„и,.(Ф) «сжимается» в соответствии с выражением 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ 14.306) а(„„и,. (lс) — „и,. (/с)) =„„и,. (lс) — „„и,. (1с) и потребуем, чтобы на каждом шаге поиска центр тяжести симплекса смещался в антиградиентном направлении: 123 случае, если отражение дает вершину со значением Е,(„„и,. (Й)) меньшим, чем наименьшее значение целевой функции, полученное до отражения.
Коэффициент сжатия р' используется для уменьшения вектора поиска, если операция отражения не привела к улучшению результата по сравнению с Е,.(,и,.11с)). Таким образом, параметры а,р и у обеспечивают адаптацию деформируемого многогранника к топологии целевой функции, а их обоснованный выбор оказывает решающее влияние на результат решения задачи. После того, как деформируемый исходный многогранник промасштабирован надлежащим образом, например с помощью соотношений (4.296), (4.297), его размеры в процессе обучения должны оставаться постоянными пока характер целевой функции не потребует симплекса другой формы.
Это можно реализовать только при а=1. Кроме того, Дж. Нелдер и Р. Мид показали 12091, что при использовании а <1 число итераций метода возрастает, а при а >1 деформируемый многогранник хуже адаптируется к изменениям целевой функции, особенно при наличии изогнутых оврагов. Чтобы выяснить, какое влияние на процедуру поиска оказывает выбор Р и у, в 1215, 217, 219~ было проведено решение тестовых задач с различными комбинациями коэффициентов симплекса. В качестве приемлемых значений рекомендуется принять а=1, р =0.5, у=2. Размеры и ориентация исходного симплекса в некоторой мере оказывают влияние на количество итераций, но значения а,)3,у влияют значительно больше.
В то же время было установлено, что четко решить вопрос относительно выбора р и у невозможно и что влияние выбора о на эффективность поиска более заметно, чем влияние выбора у. Эти параметры следует выбирать из диапазонов 0.4 с р < 0.6; 2.8< у <3.0. Идеология адаптационной оптимизации породила множество алгоритмов, в основе которых лежит симплексное движение. С тем, чтобы приблизить движение симплекса к антиградиентному, в качестве центра отражения можно взять взвешенный центр тяжести (алгоритм Умеды-Ичикавы [210)), в алгоритмах Горского-Адлера предлагается смещать центр тяжести симплекса в антиградиентном направлении, информация о котором, содержится в вершинах симплекса, в 1220) рассмотрен симплекс- поиск, обладающий свойствами стохастической аппроксимации. Так или иначе, в основе всех этих алгоритмов кроме отражения лежат операции растяжения, сжатия и редукции, отказ от которых в ряде случаев позволяет не только упростить алгоритм поиска, но и повысить его быстродействие.
Запишем процесс движения деформируемого многогранника в виде (4.307) Г,,(Ус+1) = йУ(Ус) — тУЧ„Е,.(Ус), где (4.308) — центр тяжести всех вершин отражаемого симплекса. Используя вместо вектора-градиента Ч Е, (Ус) его оценку Ч, (Ус), l перепишем (4.307) в форме и+! р и у(Ус) л+1 и+1 и+1 ри,(Ус) (4309) с!+1 которая с учетом (4.300) существенно упрощается и приобретает вид [2211 (4.310) и У(Ус+1) =„и!(Ус) — тУ (и+1) Ч,. (Ус). Р(Ус 1)(Г ( и (Ус + 1)) Ч (Ус) и (Ус + 1)) Ч.(Ус+1)=Чу(Ус)+ ' " ' ' " ' р иу(1+1), 1+р в,'(У+1) Р(й-1) „иУ(У+1) Р(Ус — 1) д и'у(Ус) „и!~(Ус)Р(Ус — 1) Р(Ус — 1) = Р(й — 1) + т(У ) Р(У 1) (У ) Р(Ус — 1) и У(Ус+1) „и!У (Ус+1)Р(Ус — 1) Р(Й) = Р(Ус — 1)+ ,т(У.
1) Р(Ус (4.311) Таким образом, движение симплекса можно записать только в координатах отражаемой и отраженной вершин и приблизить его к антиградиентному направлению. Используя соотношения (4.294), (4.296), (4.302), все алгоритмы симплексного поиска можно записать в обобщенной форме 124 Оценка градиента Чу(й) строится, исходя из возможности аппроксимации цЕЛЕВОй фуНКцИИ Еу(Ус) В ОКрЕСтНОСтИ ОтражаЕМОГО СИМПЛЕКСа л-МЕрНОй гиперплоскостью, Используя то свойство симплексов, что на каждой итерации отбрасывается одна вершина отражаемого симплекса и добавляется одна вершина отраженного, для расчета параметров вектора Ч, можно использовать алгоритм текущего регрессионного анализа (4.42), (4.43) в форме 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ ,и,( +1) =„„-,( ) =„и,(М+, и,(М+-+ +„и,.(Ус)Я, +" +„и,.(Ус)1„= и~~1, (4.312) где 1 = (1„,Я,,...,Л„)' — (и+1) х1 — вектор параметров, определяющих конкретный алгоритм.
Так (4.313) соответствует регулярному симплексу, Л а1+ Н (4.314) (4.315) ри~(с+1) 0+2 ир(с) си1 и~(с)+с'с(д~-!и~('с) 6 и~('с)) При а >1 справедливо равенство 1222) ),и,(/с+1) — „и,(/с)(( =)! „и',(й) — „и',(Й)!. (4.316) Выбор а >1 приводит к растяжению комплекса, а < 1 — к сжатию, Д = л+1 превращает комплекс-поиск (4.315) в алгоритм Нелдера-Мида (4.302). В качестве параметров алгоритма комплекс — метода в 1222~ рекомендовано использовать а =1.3; Д = 2п; в 12151 рассмотрена процедура с Ц = и+ 2; в [2191 описан комплекс Митчелла — Каплана, в котором точки «облака» выбираются не случайно, а некоторым регулярным образом.
Несложно видеть также, что комплекс-метод «вписывается» в рамки конструкции (4.312) с 125 — алгоритму Нелдера-Мида и т,д. Симплексный поиск породил множество модификаций, среди которых в первую очередь можно отметить комплекс — метод 1210, 215], сочетающий в себе методологию симплекс — метода и случайного поиска. В этом методе вместо (и+ 1) — вершинного симплекса используется совокупность («облако») точек, выбранных случайным образом. Их число 0 должно быть не меньше чем л+1. В «облаке» выделяется самая «плохая» точка „и,(й), соответствующая наибольшему значению целевой функции Е,. („и,.
®) . Вместо противолежащей грани используется центр тяжести «облака» с исключенной точкой „и,(й). Если обозначить этот центр как „и,(й), то новая точка комплекса может быть определена с помощью соотношения (4.317) (4.318) и,. (/с+1) = и,. (/с)+ Ли,(/с), где Ли, (1с) — случайным образом выбираемое направление движения.
В случае, если Е,. (и,. (/с + 1)) < Е,. (и,. (й)), дальнейшее движение продолжается в направлении Ли,.(1), в противном случае выбирается новое случайное направление Ли,. (1с+1) . Несложно видеть, что случайное эволюционное планирование совпадает с КОМ-алгоритмом случайного поиска (4.231), (4.233). Введение в ВЕЧОР случайного блуждания в сочетании с самообучением позволяет задетерминировать движение в благоприятных направлениях и защититься от «застревания» в локальных экстремумах. Д„ля этого можно использовать адаптивное случайное эволюционное планирование в форме [223, 224) и,,(1с+1) = и,,(1с) — с1Ч,.(1с)+ДЛЕ,.(1с — 1)), (4.319) где Ч,.(1) — оценка градиента; ДЛЕ,.(1 — 1)) — случайная добавка, у которой дисперсия компонент о (Й) определяется приращением целевой функции ЛЕ,.
(1 — 1) = Е,. (и,. (1с)) — Е,. (и,. (1с — 1)) . Оценку градиента в этом случае в отличие от многошаговой процедуры (4.311) удобнее строить с помощью одношагового аддитивного алгоритма Качмажа (4.71), приобретающего в данном случае вид Ч,. (1+1) = %',. (/с)+ ' ' ', ' и,. (Ус+1), (4.320) г+ (,(~+ 1))(' а для управления дисперсией можно использовать соотношение 126 при этом при больших ~~ он фактически совпадает с методом статистического градиента (4.243), а движение центра тяжести «облака» приближается к антиградиентному.
Говоря о эволюционных алгоритмах, нельзя не вспомнить случайное эволюционное планирование (КЕЙВОР) 1210), являющееся противоположностью комплекс-методу. Согласно процедуре ВЕЧОР движение осуществляется по правилу 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ г аг,и-п (4.321) При движении в благоприятном направлении (АЕ,. (й — 1) < О) случайная компонента подавляется и движение приближается к антиградиентному, при застревании в локальном минимуме случайная компонента имеет дисперсию о', в случае, если алгоритм делает неудачный шаг (ЛЕ,.(й — 1) >О), случайная добавка, возрастая по амплитуде, «сбивает» движение с неверного направления.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
