Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 14
Текст из файла (страница 14)
Так, например, оптимальная форма алгоритма (4.135) имеет вид еу(Ус)х(й) 7( У( уу.уж)(1-,(У»~.(~)~!" (4.210) а алгоритму (4.136) соответствует процедура Алгоритмы (4.201) — (4.204) относятся к так называемым пакетным алгоритмам обучения, когда вся имеющаяся выборка наблюдений обрабатывается одновременно — по «эпохам», а уточнение синаптических весов производится в ускоренном времени.
Естественно, что использование подобных процедур в реальном времени достаточно проблематично, поскольку между двумя тактами реального времени должно успеть произойти несколько эпох обучения. Использовать псевдоньютоновские алгоритмы обучения в реальном времени можно, ограничивая объем обрабатываемой выборки, т.е.
переходя к одношаговым и многошаговым алгоритмам с конечной памятью [196, 197~. Рассматривая одношаговый вариант алгоритма (4.204) в виде е, (Ус)хй) ьУф+1) = иУ(й)+ у, (1 — у, Ж»1хЖ)1 (4.211) Аналогично предыдущему для произвольной регуляризующей добавки можно записать одношаговый алгоритм обучения и,.(1+1) = и,.(й)+гУ(У,,У', +ф1.) 'У,.(Ус)(ИУ(й) — у(и,'. (й)х(й»), (4.212) который с помощью формулы Шермана-Моррисона преобразуется к простому виду [198~ , Уу(У)-Чу(ь,'ж)хж» иУ(Ус+1) = ь'У(Ус)+гУЕ,1 ', ',,УУ(Ус), УУ+ У,' (й)Е, ~У,(Ус) (4.213) являющемуся обобщением (4.71). Для обучения искусственных нейронных сетей достаточно широкое распространение получил псевдоньютоно вский алгоритм ЛевенбергаМарквардта [18,331 имеющий вид и.ф+1) = и (Ус)+(У (й)У~ф)+ф1) '.У.(й)(сУ.®) — у(и'.ф)хф») (4214) Несложно видеть, что он представляет собой частный случай процедуры (4.213) и путем несложных преобразований может быть приведен к форме [2011 д У (Ус) — ~УУ(ьУ (Ус)х(Ус» и.(Ус+1) — и.(Ус)+ У (Ус), Р+1~,УУ(У )~~' (4.215) и,(1+1) = и,(Ус)+юг '(й)(сУУ(к) — у(и~(й)хф»)УУ(Ус), (4,216) г(Ус) = ~х г(й — 1)+ )(.УУ(Ус)(), 0 < а < 1, частным случаем которого является (4.53).
Беря в качестве основы (4.213), получаем алгоритм являющейся нелинейным обобщением аддитивного алгоритма Качмажа. Таким образом при использовании алгоритма Левенберга-Марквардта полностью отпадает необходимость в операции обращения матриц. Вводя экспоненциальное взвешивание устаревшей информации, на основе (4.209) можно построить модифицированный алгоритм типа стохастической аппроксимации 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ с из(1+1) = и,. (Ус)+хУ г 'й.
'(Ус)(сУУ(Ус) — у(и~(й)х(Ус)))У,. (Ус)„ (4.217) г(Ус) = а г(Ус — 1)+ УЗ+ У,'. (Ус)1. 'УУ(Ус)„0 < а <1, Р' (Ус,Х) =(У,'.®УУ" (Ус)+,0' К,' ) ', Р" (О,Х) =(Р'К,") ', (4218) М" (Ус, у) =,У~с (Ус)(Л;с (й) — туу(Х с (Ус) и,'. (Ус))) (4.219) — (л+ 1) х1 — вектор. Еще раз заметим, что машинные итерации происходят с частотой, превышающей частоту поступления данных. Тогда многошаговый нелинейный алгоритм может быть записан в виде 11111 (Ус) = ', (Ус)+7У Р Ж К)М (Ус Х), (4.220) ввод Ус -го наблюдения: — у т (~)Рс»-~ (~ 1+ УУ (й)Р ~(Ус — 1,у)УУ(й) )' сброс (й — у) -го наблюдения: Р' '(Ус ) =Р" '(й ) ' ' (4.222) У, (Ус с)Р (Ус .с)Уу(Ус — Ус) ~' ввод нового регуляризатора УУ У.
на Ус -й машинной итерации: также обладающий сглаживающими и следящими свойствами. Наряду с экспоненциальным взвешиванием информации по аналогии с (4.34) — (4,41) и (4.72) можно рассмотреть алгоритмы с конечной памятью типа «скользящее окно». Введем следующие обозначения: 1< у <Ус - память алгоритма; .У~(й) — (п+1) ху — матрица, образованная градиентами УУ(й — у+1), УУ(й — у+2), ...,УУ(Ус); с) ~ (Ус) — у х1 — вектор обучающих сигналов на интервале Ус — у+1, й — у+2,...,й, у(Х~(Ус)и,'.
(Ус)) — вектор выходов настраиваемого нейрона на интервале Ус — у+1, ..., Ус, полученный в результате Ус -й машинной итерации; сброс старого регуляризатора: М" (/с,у) = М' 'И,Х)+ У,(Ус)(д,(Ж) — ~/(и,' ~(7с)х(й)))— — 1, Ж вЂ” Ж)(сР, И вЂ” Х) — у(ь'," МхФ вЂ” Х))) (4,225) ~Р,. (х) = Ф(( х — с, )(,., ), (4.226) вводя отображение, осуществляемое сетью в виде (4.227) и локальную целевую функцию (4.228) несложно рассчитать производные по свободным параметрам Рассмотренные алгоритмы (4.206)-(4.225) являются адаптивными модификациями ньютоновских процедур обучения и позволяют обеспечить настройку нейронных сетей в стохастических и нестационарных условиях.
Говоря о настройке нейронных сетей, в общем случае следует иметь ввиду не только синаптические веса, но и другие свободные параметры. Так в [91 с помощью алгоритмов обучения предлагается кроме синаптических весов настраивать центры и ковариационные матрицы рецепторных полей радиально- базисных сетей. Так, полагая в качестве радиально-базисной функции обобщение (3.14) 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ дЕ,. (й) = — е,. (/с)Ф(((х — с, )),, ), ия Ч, Е,(й) = 2е,.(й)и „Ф'(1х — с,)(.,)г,,'(х(/с) — с,), с дЕ,.
(Ус) = — е,. (Ус)и,,Ф (/!х — с,. /~, )(х(Ус) — с,.)(х(Ус) — с,.) (4.229) Алгоритм обучения радиально-базисной нейронной сети, содержащий линейную и нелинейную процедуры, в общем случае имеет вид и„(1+1) = и„(й)+и (1)е,(й)Ф(1х(1) — с,(Ус)( .,„,), с,(/с+1) = с,.(7с) — и,(/с)е,.(7с)и',,(Рс)Ф (()х(Ус) — с,,(/с)(,,„э)Е,, (/с)(х(й) — с,.(Ус)), (4.230) Е,.1(1+1) = Е,.1(7с)+и. (й)е,.
(7с)и „(Ус)Ф (()х(Й) — с,(Й)) ~,,ц). (х(й) — с, Щ)(х(й) — с, (Ус))~, 4.5 Эволюционные алгоритмы обучения Рассмотренные выше алгоритмы обучения, основанные на градиентных и ньютоновских процедурах оптимизации, реализуют так называемый регулярный подход, в рамках которого вычисление на каждом шаге сии аптических весов осуществляется на основе достаточно строго формализованных правил.
Однако, как отмечалось в [28, 31), регулярные процедуры хороши, но годятся не для всякой целевой функции и не для всякой архитектуры сети. В ситуациях, когда целевая функция либо выходной сигнал сети или являются недифференцируемыми, или многоэкстремальными, или просто вычисление производных по каким-либо причинам нежелательно или затруднительно, на первый план выходят эволюционные алгоритмы обучения, развивающиеся в трех относительно независимых направлениях: случайный поиск [202-2061, эволюционное планирование [207-210) и генетическое программирование [211-2141.
В общем случае обучение на основе эволюционного подхода основывается на элементарном методе проб и ошибок, когда решение ищется случайно и при удаче принимается, а при неудаче отвергается с тем, чтобы немедленно снова обратиться к случайному выбору как источнику возможностей. Такая случайная основа поиска решений опирается на уверенность, что именно случайность содержит в себе все возможности, в том числе и наилучшее решение [105~.
В общем случае метод проб и ошибок является универсальным подходом (хотя и не всегда достаточно «быстрым») к решению задач в где п„(й), х1,(й), и (к) — параметры шага по соответствующим настраиваемым переменным. 4.5.1 Алгоритмы случайного поиска Общая форма алгоритмов случайного поиска в задачах обучения нейронных сетей имеет вид (4.231) и,. (й + 1) = и,. (й) + Ли,.
(7с), где Ли,.(й) — случайная корректирующая добавка, определяющая направление смещения вектора синаптических весов на каждой итерации их уточнения. Простейшей из таких процедур является метод случайной оптимизации (К.ОМ) [б1, состоящий в том, что к текущему вектору синаптических весов и,. (й) добавляется случайный вектор Дй) . Далее вычисляется значение целевой функции Е,. (и,. (й)+ Дй)) и в случае Е,.(и,.Я)+ ~(7с)) < Е,.(и',(й)) (4.232) полагается и,(/с+1) = и,(/с)+ ~(Ус). (4.233) В противном же случае и,®+1) = и,.Ж), т.е.
уточнение не происходит, а генерируется новая случайная проба Дй) . К этому алгоритму близок гомеостатический поиск [203~ в форме условиях дефицита априорной и текущей информации, к которым в полной мере могут быть отнесены задачи обучения нейронных сетей. Одним из проявлений эффективной реализации проб и ошибок в природе являются законы эволюции, представляющие собой итеративный процесс, который включает воспроизведение в условиях мутаций, естественный отбор, случайные рекомбинации, индивидуальное обучение [441. Наиболее ярко элемент случайности в пробах и ошибках проявляется в виде мутаций, которые имеют стохастический характер. Эти мутации могут либо улучшить, либо ухудшить приспособительные свойства биологической особи.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
