Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 17
Текст из файла (страница 17)
И наоборот, в случае уменьшения критерия качества вероятность выбора этого направления увеличивается. Как видно, алгоритм самообучения работает в двух режимах: режиме поощрения при ЛЕ,. <О и в режиме наказания при ЛЕ,. >О. Если в первом случае реализуется положительная обратная связь, когда сделанный шаг приводит к увеличению вероятности такого же шага, то во втором — обратная связь имеет отрицательный характер, когда сделанный неудачный шаг приводит к уменьшению вероятности этого шага за счет увеличения вероятности противоположного шага. Таким образом, поиск начинается как чисто случайный, а со временем приобретает все более детерминированные черты. В рассмотренном алгоритме параметр памяти по любой координате (настраиваемому параметру) в результате одного шага поиска изменяется на постоянную величину, равную шагу по памяти т),.
Однако необходимость обучения определенного синаптического веса зависит прежде всего от полученного результата ЛЕ,. и степени участия этого веса в данном результате. Поэтому в ряде случаев целесообразнее использовать так называемый пропорциональный алгоритм самообучения в форме (4.266) а,(И+1) =аЯс) — т) Ьк,,(И вЂ” 1)АЕ,Я вЂ” 1), 106 реагирующий как на результат шага поиска, так и на степень участия конкретного настраиваемого параметра в этом результате. Алгоритмы (4,265), (4.266) «помнят» все предыдущие этапы поиска поэтому в нестационарных ситуациях целесообразно введение в процедуры самообучения фактора забывания в форме 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ а,. (~+1) = аа,, (®) — ц Лв „ж — ))ЛК,.
ж — 1), 0 < а < 1, (4.2б7) при этом а = 1 обеспечивает запоминание системой обучения всего пройденного пути, а а = 0 — только результата последнего шага. Недостаток этих алгоритмов, как и всех процедур поко ординатной оптимизации типа Гаусса-Зайделя, связан с их организацией, требующей в каждый момент движения только по одной переменной. Отсутствие промежуточных направлений снижает скорость сходимости.
Более эффективным представляется подход, основанный на непрерывном самообучении. Пусть А = (а„а,,...,а„)' — вектор, характеризующий вероятностные свойства поиска по всем настраиваемым параметрам, причем при а, =0 (~' =0,1,...,и) поиск предполагается равновероятным. Тогда направление случайного шага в пространстве синаптических весов удобно представить в виде векторной функции Ли,, =ЮГ(Г,А), (4.268) Г(~,0) = ~„ (4.2б9) т.е. при нулевом значении памяти поиск является равновероятным; М1Г(~, А)) = Жг А, (4.270) т.е. математическое ожидание направления случайного шага должно совпадать с направлением вектора А; ~ дисперсия случайного шага о'„,, обратнопропорциональна норме вектора А.
При выполнении этих условий функция пространственное распределение случайного изменяющееся по мере накопления опыта обучения. В качестве таких функций распространение получили [105] Г(~„А) = ()~ + А)( (4.271) 107 где à — некоторая непрерывная по норме и направлению векторная функция двух векторных переменных ~ и А. Функция Г(~, А) должна удовлетворять следующим естественным требованиям: (4.272) где У'(е) — монотонно убывающая скалярная функция 0 < У'( ° ) < 2, причем У'(0) = О. Заметим, что функция (4.272) описывает попадание в (и+1)— мерный гиперконус с углом 4агсв1в в вершине. 2 Алгоритм непрерывного самообучения можно записать в виде рекуррентного соотношения, связывающего два следующих друг за другом вектора памяти (4.273) А(1+1) = а А(Ус) — тУ (г).ЕУф — 1)+ Ь)Ли,.
(Ус — 1), иг(Ус+1) = иг(Ус)+гУ~'(Ус), с, (Ус+1) = аДУс)+Ь~(Й), если Е,,(и'у(Ус)+гу~ь(Ус)) < Е,(иг,(Ус)) и У (Ус + 1) = и У (Ус) — гУДУс), ~ (Ус +1) = ~ Ж) — е~ Ж) (4.274) е ггрсгтиеггом случае, и У(Ус+1) = и У(Ус), ~ (Ус+ 1) = сУ~'(Ус), если ЕУ (и У (Ус) — г)г, (Ус)) > ЕУ (и У (Й)). Смысл поиска с помощью процедуры (4.274) состоит в следующем. Из состояния и У(1) делается случайный шаг г)с.
(Ус), и если он оказался удачным, то среднее г,'(Ус+1) уточняется с помощью первого соотношения алгоритма. В случае неудачного шага происходит реверс в направлении — ДУс). Если же и реверсный шаг оказался неудачным, синаптические веса на этом такте не уточняются, а среднее корректируется на коэффициент сУ. Авторы этой 108 где Ь > 0 — коэффициент «скептицизма». Нетрудно заметить, что при использовании этого алгоритма и при выполнении условий, накладываемых на функциюГ(е), вектор А стремится перестроиться в направлении, обратном градиенту целевой функции. Это значит, что шаги поиска будут в среднем направлены в сторону быстрейшего уменьшения целевой функции. Еще один подход к введению самообучения в алгоритмы обучения связан с введением в процедуру настройки весов скользящего среднего [61.
Это приводит к тому, что среднее значение случайного вектора с,(Ус) становится ненулевым, т.е. поиск опять-таки задетерминируется в благоприятном направлении. Алгоритм случайного поиска со скользящим средним может быть записан в следующем виде 1206~: 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ процедуры рекомендуют следующие значения параметров: а = 0.4; Ь = 0.2; с = 0.4 и д = 0.5 и отмечают, что алгоритм «не застряет» в незначительных локальных экстремумах целевой функции. В работе Келли и Уилинга 1215) описан алгоритм, который имеет вид (4,275) А(Ус + 1) = а А(/с) + (1 — а)(и',.
1/с +1) — и,. (Ус)), где фй) — переменный шаг поиска, который увеличивается после успешного шага и уменьшается после неудачного; А(й)- вектор памяти, указывающий среднее направление поиска на предыдущих шагах; а и р' — скалярные весовые множители. На й-м шаге поиска случайный вектор Д1) и вектор памяти А(й) формируют взвешенную сумму, определяющую направление движения в пространстве настраиваемых параметров.
Уточняемое значение и,. (й +1) будет принято или отвергнуто в зависимости от выполнения неравенства Е,.(и,.(1+1)) < Е,.(и:,.(й)). После того как новый вектор и,.(1+1) принят или отвергнут, г11й) увеличивают или уменьшают. Данная процедура в процессе самообучения также стремится сформировать усреднененное направление движения близкое к антиградиентному. В принципе, рассмотренные алгоритмы обучения на основе случайного поиска решают ту же задачу, что и алгоритмы, в основе которых лежат процедуры градиентной и ньютоновской оптимизации. Вместе с тем существует широкий класс задач, где детерминированные методы не работают вообще — это задачи глобальной оптимизации, когда целевая функция имеет множество экстремумов.
Задача отыскания глобального экстремума функции многих переменных является проблемой значительно более сложной и трудоемкой, чем определение локального экстремума. Дело в том, что многоэкстремальная функция почти не дает возможности судить о поведении критерия качества по нескольким наблюдениям, что возможно при унимодальности. Естественно, что число наблюдений при поиске глобального экстремума должно быть значительно большим. Простейшей процедурой поиска глобального экстремума является так называемый блуждающий глобальный поиск [2031. В общем случае эта процедура является статистическим расширением регулярного градиентного метода (стандартного дельта-правила обучения).
С целью придания поиску глобального характера на градиентное движение алгоритма обучения накладывается случайное возмущение ~(й), которое создает режим стохастического блуждания. В непрерывном случае градиентный метод минимизации целевой функции Е,.(~) сводится к движению вектора ь,.(~) в (и+1) - мерном пространстве 109 сЬь,. Я = — т)~7. е,.(~)+~(~), Й (4.276) где Д~) — (и+ 1) — мерный нормальный случайный процесс с нулевым математическим ожиданием, дельтаобразной автокорреляционной функцией и дисперсией составляющих а,,а,,...,а, . В [1051 доказано, что в общем случае этот алгоритм обеспечивает отыскание глобального экстремума.
Разумно подбирая дисперсии о,.' в процессе поиска, т.е. адаптируясь к конкретной форме целевой функции, можно значительно ускорить отыскание глобального экстремума. При этом адаптацию в процесс такого поиска можно ввести двояким образом. Во-первых, вводя инерционность в процесс обучения, получим поиск аналогичный движению по методу «тяжелого шарика» [1771. Такое движение описывается следующим дифференциальным уравнением: (4.277) где Ь вЂ” коэффициент демпфирования (чем больше Ь, тем меньше сказывается введенная инерционность).
В дискретном времени выражению (4.277) соответствует алгоритм обучения, описываемый разностным уравнением второго порядка (4.278) 110 настраиваемых параметров под действием «силы», направленной в сторону антиградиента. Траектория движения по антиградиенту и,. (~) приводит процесс обучения к некоторой особой точке. Если исходная точка и,(0) находилась в области притяжения глобального экстремума, то соответствующая траектория приведет к глобальному минимуму функции Е,. (~) .
Если же точка н,. (~) не принадлежала к области притяжения глобального экстремума, то движение в направлении антиградиента приведет в локальный минимум, из которого невозможно выбраться под воздействием сил, направленных по антиградиенту. Именно в таких случаях оказывается полезным включение в дельта-правило обучения некоторого случайного механизма. Случайные толчки могут помочь точке и,.(~) преодолеть барьер, отделяющий локальный минимум, в который попал процесс обучения, от области, в которой целевая функция Е,.(~) может еще убывать. Такое движение под воздействием детерминированного сноса в сторону антиградиента и случайных толчков определяется дифференциальным уравнением 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ ,1Д~) Е, (~) = — у~Я вЂ” и ' + а'НЯ, Ж ~ Ж (4.279) где у >0 — параметр автокорреляции случайного процесса Д~); о — величина, определяющая дисперсию ~0); НЯ вЂ” векторный белый шум.
В дискретном случае уравнению (4.279) соответствует рекуррентный алгоритм настройки (4.280) Как видно из (4.279), (4.280), оптимизация процесса поиска может проводиться за счет соответствующего выбора параметров у, ~7 и о,', каждый из которых воздействует на определенную характеристику процесса поиска. Так варьируя величиной параметра автокорреляции у, определяющего скорость затухания процесса Д~) и, следовательно, степень его связи с прошлым, можно воздействовать на характер случайного поиска, т.е. при необходимости сделать его более или менее зависимым от предыстории. Интересным представляется взаимодействие параметров у и и .
Если шаг поиска и определяет интенсивность процесса накопления опыта обучения, то у характеризует уровень забывания этого опыта во время поиска. В этом смысле данные параметры являются антагонистическими. Если у =О, то забывания нет вообще и вектор Д1) возрастает в направлении антиградиента. Дисперсия процесса Д~) определяется величиной а' и интенсивностью возмущающего белого шума Н(1).
При большом значении о" процесс поиска может стать неустойчивым (поиск «разносит»), при малом — ухудшаются глобальные свойства. Вводя в процесс поиска режим самообучения, основанный на анализе реакций (4.237), можно существенно улучшить его глобальные характеристики. При этом необходимо иметь в виду, что в режиме глобального поиска эти реакции должны иметь двоякий характер: с одной стороны — это немедленная реакция как в локальном поиске, направленная на устранение результатов неудачного шага, а с другой — при помощи механизма самообучения должны перестраиваться статистические характеристики процесса Д~) . Таким образом, часть результата обучения приходится на один, а другая часть полученного эффекта — на другой вид реакции. Исключение одной из этих реакций не лишает алгоритм поиска способности к оптимизации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
