Хайкин С. - Нейронные сети (778923), страница 111
Текст из файла (страница 111)
Таким образом, пунктом, требующим наибольшею внимания, является первый. где з) — параметр скорости обучения (1еагшлй-гаге рагашегег), одинаковый в обоих уравнениях коррекции. Слагаемое у,(п)х(п) в правой части уравнения (8.105) представляет обучение Хебба, в то время как слагаемое — у,(п)у,,(п) в выражеиии (8.106) — аити-Хеббовское обучение. Оставшиеся слагаемые, — уз(п)и,(п) и уз(п)а,(п), включены в эти уравнения для обеспечения устойчивости алгоритма.
В своей основе уравнение (8.105) представляет собой векторную форму правила обучеиия Ойа, описанного в (8.40), в то время как уравнение (8.106) является совершенно новым и учитывает латеральиое торможение (258), [606). Абсолютная устойчивость сети, изображенной иа рис. 8.11, доказывается методом иидукции. 8.7. Адаптивный анализ главных компонентов... 561 Сделаем одно фундаментальное допущение, приведенное в разделе 8.4, и сформулируем следующую теорему в контексте нейрона з нейронной сети, показанной на рис.
8.11, работаюшей при выполнении условий (8.105) и (8.106) [258], (606]. Если параметр скорости обучения 11 принимает достаточно малое значение, обеспечивающее медленную корреюпировку весовых коэффициентов, то в пределе вектор прямых весов и усредненная мощность нейрона у' (дисперсия) достигают нормированного собственного вектора 9 и соответствующего собственного значения Х матрицы корреляции Кг 1,(п) = 9з, 1пп о~(п) = Х„ где ог(п) = Е[уг(Х)] и Х, > Хг » ... 3, » ... Х .
Другими словами, с помощью собственных векторов дь цг,..., 9з, нейрона з сети, показанной на рис. 8.!1, можно вычислить наибольшее собственное значение й, и соответствующий ему собственный вектор 9 . Для доказательства этой теоремы рассмотрим уравнение (8.105). Используя выражения (8.98) и (8.99), а также свойство а,' (п)у,,(п) = ут,(л)а,(п), выражение (8.105) можно переписать в следующем виде: те,(п+ 1) =зч (п)+ (8. 107) + ~„( )„т( ) ( )+ ( )„т( )1)т ( ) г( где матрица Я определяется формулой (8.104).
Слагаемое дг(п) оставлено без изменений, так как впоследствии оно будет отделено. При выполнении фундаментальных предположений, описанных в разделе 8.4, оказывается, что применение оператора статистического ожидания к обеим частям равенства (8.107) приводит к следующему; и.(п+ 1) = тч (л) +з](рлч (л) -1- щита (л) — ог(п)тч (и)), (8.108) т зч,(п) = ~~~ 0зь(п)к1ю к=1 (8. 109) где К вЂ” матрица корреляции входного вектора х(п); о~(л) — усредненная вы- ходная мощность вектора зц Пусть вектор синаптических весов лч,(п) является расширенным в терминах полного ортогонального множества собственных векто- ров матрицы корреляции К: 852 Глава 8. Анализ главных компонентов где Чь — собственный вектор, связанный с собственным значением Хь матрицы К; 6 ь (п) — коэффициент разложения, зависящий от времени.
Тогда можно использовать основное соотношение (см. (8.14)) КЧь = ХьЧь чтобы выразить матричное произведение Кттг (и) следующим образом; т т Ки,(п) = ~ 61ь(п)КЧ„= ~~г Цбгь(п)Ч„. ь=г я=1 (8.110) Аналогично, используя выражение (8.104), матричное произведение Кантат(п) можно представить в виде Кк)~а,(п) = К~Ч„Ч~,...,Ч,,)а,(п) = а,,(п) а г(п) (8.111) Хьа,ь(п)Ч„. ()~гЧг ~гЧг '' )~1 — гЧг — г) а,, г(п) Тогда, подставляя выражения (8.109)-(8.111) в равенство (8.108), получим (606); 6гя(п+ 1)Ч„= ~> (1+ т)ГЦ вЂ” гт~(п)))6гь(п)Чь + т) ~~г Хгагь(п)Ч . (8.112) С помощью описанной выше процедуры можно показать, что уравнение коррекции (8.106) для вектора весов обратной связи ат(п) может быть преобразовано к виду (см.
задачу 8.7) а,(п+ 1) = — з)Хьбгь(п)1ь + (1 — г))Хь + гг~(п)))а,(п), (8.113) где 1ь — вектор, все элементы которого равны нулю, за исключением Й-го, равного единице. Индекс Й при этом находится в диапазоне от 1 до Ц вЂ” 1). Следует рассмотреть два случая, в зависимости от положения индекса к' по отношению к значению т' — 1.
В первом случае он находится слева от границы, т.е. 1 < Й < т' — 1. Этот случай относится к анализу "старых" главных мод сети. Во втором случае индекс Й находится справа от границы, т.е. 7 < Й < гп. Этот случай относится к анализу "новых" главных мод. Общее количество главных мод равно т — размерности входного вектора х(п). 8.7. Адаптивный анализ главных компонентов...
663 1+я(Л -а.2(а)) ет(а) а„(а+ )) ад(и) а „(а+ 1) Рис. 8.12. Граф передачи сигнала для выраже- ний (8.114) и (8.115) Л(Л агг 2(а)) О,„(п+ 1) = — т)Л~а,~(п) + (1+ т)[Л~ — (т,'(п)])О,„(п) (8.114) ааь(п+ 1) = — т)Ллбаь(п) + (1 — т)[ЛЛ + о~(пфаал(п). (8.115) На рис. 8.12 представлен граф передачи сигнала для выражений (8.114) и (8.115).
Выражения (8.114) и (8.115) можно переписать в следующем матричном виде: ! О,ь(п + 1)] [ 1 + т)[ЛЛ вЂ” и,'(п)] т)Л„ ] [О,„(п)] огя(п + 1)] [ †)Лл 1 — т)[ЛЛ + гтз(п)]] [ оаь(п)] Система, описанная выражением (8.116), имеет двойное собственное значение: (8.117) Случай 1.1 < Й <7 — 1 Для данного случая выведем следующие уравнения коррекции для коэффициента Оть(п), связанного с собственным вектором г(ь и весом обратной связи а ь(п) из выражений (8.112) и (8.113) соответственно: $84 Глава 8. Анализ главных компонентов Из выражения (8.117) можно сделать два важных вывода. 1.
Двойное собственное значение р,„матричной системы (8.116) является независимым от всех собственных значений Хь матрицы корреляции К, соответствующих й =1, 2,...,) — 1. 2. Для всех )с двойное собственное значение р,„зависит только от параметра скорости обучения т! и средней выходной мощности пз нейрона )1 Следовательно, зто значение будет меньше единицы, поскольку з) — достаточно малое положительное число.
а,ь(п) = 0 для ) < к' < т. (8. 118) Следовательно, для любой основной моды (г > ) выполняется следующее простое равенство: 0,ь(п + 1) = (1 + з)[Хь — пэ(пЦ0,ь(п), (8.119) которое непосредственно следует из равенств (8.! 12) и (8.118). Согласно случаю 1, векторы ать(п)0,ь(п) сходятся к нулю при й = 1, 2,..., у-1. Если выходом линейно- го нейрона ) является случайная переменная У,(п), ее среднюю дисперсию можно выразить так: ,'(п) = к[У, (п)] = , ''Х,0,'„(п), к=э (8.120) где в последней строке использовалось соотношение 1=(с, [Π— в противном случае. Если р „< 1, то коэффициенты разложения 0 ь(п) в (В.)09) и веса обратной связи а ь(п) для всех (г будут асимптотически стремиться к нулю с одинаковой скоростью, так как все основные моды сети имеют одно и то же собственное значение [258), [606).
Результатом является то свойство, что ортогональность собственных векторов матрицы корреляции не зависит от собственных чисел. Другими словами, разложение чг,(п) в терминах ортогонального множества собственных векторов матрицы корреляции К, представленное в (8.109) и положенное в основу формулы (8.117), инвариантно к выбору собственных значений Х„Хз,..., )~, Случай 2. ) < Й < т Во втором случае веса обратной связи аэь(п) не влияют на моды сети, т.е. 8.7.
Адаптивный анализ главных компонентов... 666 т,,(п) = ', Й = 7' + 1,..., т. Оть(п) 0„(и)' (8.121) Тогда, используя (8.119), можно записать: 1+ з)[Ц вЂ” гтз(п)) т,ь(п+ 1) = [ з ) тть(п). (8. 122) Если собственные числа матрицы корреляции упорядочены по убыванию Оть (п) ( 1 для всех п и для к: = 7' + 1,..., т. Ом (и) (8.123) Более того, из выражений (8.
119) и (8.120) видно, что значение О,, (п+ 1) остается ограниченным, следовательно: тть(п) — 0 при п — сс для й = з' + 1,..., т. Аналогично, в свете определения (8.121) можно утверждать, что (8.124) Огь(п) — г 0 пРи и — г сс дла й = 7' + 1,..., т. При этом условии выражение (8.120) сводится к следующему: (8.125) а,'(и) = Х,О~,(и), (8.12б) и, следовательно, равенство (8.119) для й = 7' принимает вид О„(п+ 1) = (1+ з)Х,[1 — 0,,(п)))0,,(и). (8.127) Отсюда следует, что уравнение (8.119) не может расходиться, поскольку с ростом Огь(п), при котором ~о(и) > Хы выражение 1 + т)[Хь — гт~~(п)) становится меньше единицы, и в этом случае Озь(п) убывает по амплитуде. Пусть алгоритм инициализируется такими значениями, что 0„(0)фО.
Введем следующее определение: 666 Глава 8. Анализ главных компонентов Из этого соотношения можно получить, что 0 (и) — 1 при и — оо. (8.128) Из данного предельного условия и выражения (8.125) можно сделать два следующих вывода. 1. Из выражения (8.12б) получим ет (и) — Х прин — ч оа. (8.129) 2. Из выражения (8.109) получим вуз.(п) — и, при п — оо. (8. 130) Интенсивность обучения В алгоритме АРЕХ, описываемом уравнениями (8.105) и (8.106), для коррекции вектора прямых весов игл (и) и вектора весов обратной связи ат(п) используется один и тот же параметр скорости обучения з). Для определения оптимального значения параметра з) для каждого нейрона 7' можно использовать соотношение (8.117), установив двойное собственное значение р,„в значение нуль. В этом случае получим: 1 Чьопт( ) 2( (8.13 1) где пз(п) — средняя мощность выхода нейрона ~.
Однако более практичным будет 4 Строгое доказательство слодимости алгоритма ДРЕХ, при которой все нейроны обучаются совместно, было предложено в [1821. Другими словами, модель нейронной сети, показанная на рис. 8.11, извлекает 2-е собственное значение и связанный с ним собственный вектор матрицы корреляции К входного вектора х(п), если количество итераций п стремится к бесконечности. При этом, естественно, предполагается, что нейроны 1,2,...,7' — 1 сети уже сошлись к соответствующим собственным значениям и собственным векторам матрицы корреляции дд.
Представленная здесь трактовка алгоритма АРЕХ предполагает, что перед тем, как нейрон 7' вступает в действие, нейроны 1, 2,..., 3 — 1 сети уже обучены. Это сделано для того, чтобы упростить изложение материала. Однако на практике нейроны в алгоритме АРЕХ обучаются совместное. 8.7. Адаптивный анализ главных компонентов...
887 следующее значение этого параметра [258), (606): 1 т)1 = Х, т (8.132) Алгоритм АРЕХ в сжатом виде 1. Инициализируем вектор прямых весов тт, и вектор весов обратных связей а, малыми случайными значениями для момента времени п = 1, т' = 1, 2,..., т. Параметру скорости обучения т1 присвоим некоторое малое положительное число. 2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
