Хайкин С. - Нейронные сети (778923), страница 108
Текст из файла (страница 108)
° Единственной модой алгоритма стохастической аппроксимации, описанной выражением (8.47), которая сходится, является 81(1). Все остальные моды этого алгоритма будут сводиться к нулю. ° Мода 91 (1) сходится к ~1. Таким образом, выполняется условие 5 теоремы об асимптотической устойчивости.
В частности, в свете разложения, описываемого выражением (8.58), можно формально утверждать, что зт(г) — ц, при 1 - оо, где п1 является нормированным собственным вектором, ассоциированным с наибольшим собственным значением матрицы юрреляции К. Далее необходимо показать, что в соответствии с условием 6 теоремы об асимптотичесюй устойчивости существует такое подмножество А множества всех векторов, что 1пп и (и) = ц, бесконечно часто с вероятностью 1. Для этого прежде всего нужно обеспечить выполнение условия 2, чего можно достичь с помощью жестких ограничений, налагаемых на зт(и). Норма этого вектора должна оставаться ниже некоторого определенного порога о.
Норму зт(и) можно определить следующим образом: '8зт(и) 8' = шах /и~ (и) ) < а. (8.74) 8.4. Фильтр Хебба для выделения максимальных собственных значений бзб Пусть А — компактное подмножество пространства Я, определенное множеством векторов с нормой, не превышающей порога а. Несложно показать следующее (932]. Если [[и(п)[[ < а и константа а достаточно велика, то [[и(п+ 1)[[ < [[и(п)[[ с вероятностью 1. Таким образом, по мере увеличения количества итераций и, тч(п) может случайно оказаться внутри А (бесконечно часто) с вероятностью 1. Так как область притяжения В(п, ) включает все векторы с ограниченной нормой, то А Е В(п, ). Другими словами, условие 6 выполняется. Итак, мы обеспечили выполнение всех шести условий теоремы об асимптотической сходимости и показали, что (при вышеупомянутых условиях) алгоритм стохастической аппроксимации (8.47) гарантирует сходимость тч(п) с вероятностью 1 к собственному вектору ц„связанному с наибольшим собственным значением к, матрицы корреляции К.
Зто не единственная стационарная (Йхеб) точка алгоритма, но только она является асимптотически устойчивой. Общие свойства фильтра Хебба для извлечения максимального собственного значения Представленный вниманию читателя анализ сходимости показывает, что единственный самоорганизующийся нейрон, работающий под управлением правила обучения (8.39), или, что эквивалентно, (8.46), адаптивно извлекает первый главный компонент из стационарного входного сигнала. Первый главный компонент соответствует наибольшему собственному числу матрицы корреляции случайного вектора Х(п). В действительности значение Х, связано с дисперсией выходного сигнала модели у(п). Пусть пз(п) — дисперсия случайной переменной У(п), реализация которой обозначается как у(п), т.е.
пз(п) = Е[т з(п)), (8.75) где У(п) имеет нулевое среднее значение для входного сигнала с нулевым средним. Устремляя в (8.46) и к бесконечности и используя тот факт, что при этом условии и (п) достигает значения ц,, получим: х(п) = у(п)ц, при и — оо. Используя это соотношение, можно показать, что дисперсия пз(п) достигает значения й1 при количестве итераций и, стремящемся к бесконечности (см. задачу 8.2).
536 Глава 8. Анализ главных компонентов В результате линейный Хеббоподобный нейрон, работа которого описывается выражением (8.4б), сходится с вероятностью 1 к стационарной точке, которая характеризуется следующим 1798]. Дисперсия выхода модели достигает наибольшего собственного значения матрицы корреляции К: 1пп оа(л) = Х,. и ае (8.76) Вектор синаптических весов этой модели достигает соответствующего собственного вектора: 11ш тч(п) = г), (8.77) при !цп йзч(п)й' = 1. (8.78) Пример 8.2 Согласованный фильтр (шатсйео йнег) Рассмотрим случайный вектор Х(п), составленный следующим образом: Х(п) = а+ У(3ъ), где а — фиксированный единичный вектор, представляющий каилонелт лолезиого сигнала (а1йпа1 сошропепг); У(п) — компонент белого шума со средним значением О.
Матрица юрреляции таюго входного вектора имеет следующий вид: И = Е(Х(п)Х~(п)) = вв + о'1, где оз — дисперсия элементов вектора шума У(л);! — единичная матрица. Наибольшее собственное значение такой матрицы будет следующим: Х, = 1+о'. Соответствующий собственный вектор пз имеет вид пз =а. Не составляет труда показать, что зто решение удовлетворяет уравнению для собственных значений: Эти результаты предполагают, что матрица корреляции К является положительно определенной, а наибольшее собственное число )с, имеет кратность 1.
Они так- же имеют место для неотрицательно определенной матрицы К, если Х,>0 и име- ет кратность 1. 8.5. Анализ главных компонентов иа основе фильтра Хебба 637 У) х, Уг хз УГ Рис. 6.6. Сеть прямого распространения с одним слоем вы- „ числительных элементов Ю Для описанной в данном примере ситуации самоорганизующийся линейный нейрон (при его сходимости к устойчивому состоянию) выступает в качестве согласованного фияыира (пмгспео й)гег) в том смысле, что его импульсный отклик (представяенный синаптическими весами) соответствует компоненту полезного сигнала а входного вектора Х(п). 8.5.
Анализ главных компонентов на основе фильтра Хебба Описанный в предыдущем разделе фильтр Хебба извлекает первый главный компонент из входного сигнала. Линейная модель с одним нейроном может быть расширена до сети прямого распространения с одним слоем линейных нейронов с целью анализа главных компонентов для входного сигнала произвольной размерности [932]. Для большей конкретизации рассмотрим сеть прямого распространения, показанную на рис. 8.6.
В ней сделаны следующие допущения относительно структуры. 1. Все нейроны выходного слоя сети являются линейны.чи. 2. Сеть имеет т входов и ( выходов. Более того, количество выходов меньше коли- чества входов (т.е, ( ( т). Обучению подлежит только множество синаптических весов (ш,), соединяющих узлы ( входного слоя с вычислительными узлами 7' выходного слоя, где я=1,2,...,т;у =1,2,...,(. Выходной сигнал у,(п) нейрона у в момент времени п, являющийся откликом на множество входных воздействий (х,(п) 1( = 1, 2,..., т), определяется по следующей формуле (рис. 8.7, а): у,(п) = ~~~ и~„(п)х,(п), у' = 1,2,...,1. (8.79) 638 Глава 8. Анализ главных компонентов Синаптический вес ш,;(п) настраивается в соответствии с обобщенной формой правила обучения Хебба (932): (Зш||(п) = |! у (п)х,(п) — у,(п) ~~г шы(п)уь(п), .
' ' ' ' (8.80) 1 |=1,2,...,т; ы 2 где Ьштг(и) — коррекция, применяемая к синаптическому весу ш,;(п) в момент времени п; |! — параметр скорости обучения. Обобщенный алгоритм обучения Хебба (8епега1!хег! НеЬЪ|ап а!8ойбпп — ОНА) (8.80) для слоя из ! нейронов включает в себя алгоритм (8.39) для одного нейрона в качестве частного случая, т.е. для ! = 1. Для того чтобы заглянуть вглубь обобщенного алгоритма обучения Хебба, перепишем уравнение (8.80) в следующем виде: Ьш„(п) =з) у,(п) (х',(п) — ш;(п)у (п)), . ' ''''' ' (8.81) 2 ~ > где х',(п) — модифицированная версия |-го элемента входного вектора х(п), являю- шаяся функцией индекса т, т.е. х,'(п) = х|(п) — ~ шы(п)уь(п). (8.82) !лш,;(п) = т!у,(п)х,"(п), (8.83) где х,"(п) = х', — ш,(п) у,(п).
(8.84) Таким образом, принимая во внимание ш;|(п + 1) = шз(п) + Ьш,|(п) (8.85) ш,|(п) = г '[ш;(и+ 1)], (8.86) где г " — оператор единичной задержки, можно построить граф передачи сигнала, показанный на рис. 8.7, б, для обобщенного алгоритма Хебба. Из этого графа видно, Для конкретного нейрона у алгоритм, описанный выражением (8.81), имеет ту же математическую форму, что и (8.39), за исключением того факта, что в (8.82) входной сигнал х|(п) заменен его модифицированным значением х',(п).
Теперь можно сделать следующий шаг и переписать выражение (8.81) в форме, соответствующей пос|улату обучения Хебба: 8.8. Анализ главных компонентов на основе фильтра Хобби ИЭ -у~(л) лн(л) к,(л) ль(л) , (л) к,(л) к (л) у.(л) ля(л ь !) лл(л) к„(л) а) б) Рис. 8.7. Представление обобщенною апюритма Хебба в виде графа передачи сигнала: граф уравнения (8.79) (а); граф выражений (8.80), (8.8() (б) что сам алгоритм (согласио его формулировке в (8. 85)) базируется на локальной форме реализации. Учтем также, что выход у,(п), отвечающий за обратную связь на графе передачи сигнала (см. рис.
8.7, б), определяется по формуле (8.79). Представление последнего уравнения в виде графа передачи сигнала показано иа рис. 8.7, а. Для эвристического понимания того, как обобщенный алгоритм Хебба работает иа самом деле, в первую очередь запишем версию алгоритма (8.81) в матричном представлении: Ьтгу(п) = з)уу(п)х'(и) — з)у~~(п)тту(п), 7' = 1,2,...,(, (8.87) где х (и) = х(п) — ~> игь(п)уь(п). ь=г (8.88) 840 Глава 8. Анализ главных компонентов Вектор х'(п) представляет собой модифицированную форму входного вектора.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
