Уидроу, Стирнз - Адаптивная обработка сигналов (1044225), страница 13
Текст из файла (страница 13)
».+ю Поскольку произведение двух диагональных матриц равно матрице, составленной из произведений соответствующих элементов, (4,43) можно записать в виде 1нп (! — 2!Йе) Такая запись показывает, что условие сходимости выполняется, если параметр >г выбран так, чтобы О<р<1(Л „, (4.45) где ). „— максимальное собственное значение матрицы К Соотношение (4.45) является необходимым и достаточным условием сходимостн алгоритма наискорейшего спуска для квадратичной рабочей функции.
Если это условие выполняется, то 1!ш Ч' = О. Подставляя в (4.45) Ч'=4)-'Ч=(! '(% — %') и осуществляя обратное преобразование к исходной системе координат, находим Таким образом, в общем случае метод наискорейшего спуска является устойчивым н сходящимся тогда и только тогда, когда выполняется условие (4 45). На рис. 4.8 представлен еще один пример применения алгоритма наискорсншего спуска для двумерной квадратичной рабочей функции Здесь же показаны главные оси о'о и о',. В соответствии с (4.42) сходнмость определяется независимо по каждой главной оси, Скорость сходимости по каждой оси зависит от соответствующего знаменателя геометрической прогрессии.
Как следует из (4.44), этн знаменатели Это означает, что по мере продвижения итеративного процесса последовательность проекций вектора %» на каждую главную ось является чисто геометрической и определяется знаменателем, который задается соответствующим собственным значением. Последовательность проекций вектора %» в исходной системе координат складывается из суммы геометрических прогрессий и поэтому является более сложной.
Сравнение обучающих кривых Полезно сравнить методы Ньютона и наискорейшего спуска на основе сравнения обучающих кривых. Для вывода формул, описывающих обе обучающие кривыс, запишем выражения для квадратичной функции СКО (2.33) или (3.34): 5 = 8ю~+ Ч'КЧ. (4.53) Подставим сюда полученное решение разностного уравнения для метода Ньютона (4.35), преобразованное в соответствии с (3.37): $в = $спв+ (1 — 2!л)сл ~го КЧо. (4.54) Это соотношение описывает простую геометрическуло прогрессию, знаменатель которой гоко =- "л = (1 2)л) На рис. 4.9 приведена характерная обучающая кривая для метода Ньютона, отображающая зависимость СКО от числа итераций.
Эта кривая — график обычной экспоненциальной функции с единственной постоянной времени. (4.55) ' Точнее, любая матрица А, для которой сушесгвует мвтряцо Ал. — угри.к. перев. 62 Итеративный процесс в исходной системе координат можно описать, выразив (4.42) через вектор %в. Умножим сначала обе части уравнения (4.42) слева на 6): ОЧ, — — 0 (1 — 2)лЛ) лго.
(4.49) Используя подстановку Ч О '(% — %"), получаем %л = %* + 6) (1 — 2)лЛ) ь) ' (%, — %*) . (4.50) Далее воспользуемся следую'цим соотношением: (()А() — ')' = ()АЯ-' (!А6) — ' .. !)А() — ' = ОАь(1 — ', (4.51) где А — любая матрица, для которой существуют эти произведения,' Подставляя в (4.50) А=! — 21лЛ и выражение (3.5), имеем %в=%*+((1!(1 ' — 2ФЛ(1 ')'(%о — %*) =-% + + (! — 2)лй)» (%, — %е), (4.52) что представляет собой решение разностного уравнения для алгоритма наискорейшего спуска в исходной системе координат.
В заключение отметим, что в алгоритме наискорейшего спуска коррекция весовых коэффициентов всегда направлена по градиенту рабочей функции. В общем виде алгоритм определяется выражением (4.36); другой записью алгоритма, или решением разностного уравнения, является соотношение (4.52), Как было показано, алгоритм становится устойчивым при выполнении условия (4.45). ряс. 4.ц Обучаюшвя крквая для метода Ньютона, пркллекеккого в системе с многомерной кввдрвтпчяой рабочей фупкцксй (2.24), графики сечсяяй которой пряведекы пв ркс. 4.6 пря И=О,З о о 5 15 Аналогично выводится формула обучающей кривой для метода наискорейшего спуска.
Для этого случая запишем выражение рабочей функции (4.53), полученное в (3.35) в системе координат, образованной главными осями: $=-$,„п, ~-7 Л'лг'. (4.56) При подстановке в (4.56) решения разносгного уравнения (4.42) выражение принимает вид с„=-5вп„+ ((1 — 2)лЛ)еЧ;]т А (1-- 2)лЛ)ь У'= —,,+хг'т (!. 2)лЛ)л)4 Л (! — 2)лЛ)л )г'.
(4.57) Здесь матрицы (1 — 2!лЛ) и Л вЂ” диагональные, а произведение диагональных матриц коммутативно. Поэтому ьв — сюлв+ лго (1 2)лЛ) $„=$~, 4 У ц' ).в (1 — 2)л)л )гл, (4. 59) в=в Вывод окончательного результата (4.59) составляет задание упражнения 18. Итак, ясно, что обучающая кривая метода наискорейшего спуска складывается из суммы убывающих геометрических прогрессий со знаменателями вида 1о (4.58) (гоко) в = г'„= (1 — 2!л).в) '.
(4. 60) Обучающая кривая для метода наискорейшего спуска, примененного в системе с квадратичной рабочей функцией, приведена па рис. 4.10. Эта кривая является суммой экспонент, число которых равно числу весовых коэффициентов. Сравнение рис 4.9 и 4.10 показывает, что при одинаковых параметрах ц и при прочих равных условиях метод Ньютона обладает более быстрой сходимостью, чем метод наискорейшего спуска, В общем случае это действительно так, потому что в методе Ньютона для нахождения прямого пути к минимуму функции ошибки 3„ю используется информация, содержащаяся в элементах матрицы К.
Как показано на рис. 4.7 и 4.8, обычно алгоритм 63 Рис. 4.10. Обучающая кривая для метода наискорейшего спуска, примененного в системе с многомерной квадратичной рабочей функцией (2,24). Графики сечений приведены на рис. 4.7 при в=о,з о о 10 (в я панскорсйшего спуска реализует более длинный путь к ошибке "=,иш, В гл. 8 продолжено исследование сходимостн обоих методов. С другой точки зрения можно считать, что методы Ншотона и наискорейшего спуска отражают процессы в системе с обратной связью, т.
е. являются примерамн реализации введенной выше функциональной обратной связи. В дальнейшем будет показано, как можно применить функциональную обратную связь прн градиентном поиске минимума квадратичной рабочей функции. Упражнения 1. Рабочая функция системы с одним весовым коэффициентом имеет параметры 5=0,1; $еиа=б, в'=2. Запишите выражение для этой рабочей функции. 2. Каковы значения весовых коэффициентов первых пяти итераний при использовании простого алгоритма градиентного поиска, рассмотренного в начале гл.
4, если в=О, а параметр сходимости р=47 Другие данные возьмите из ус.ловия упражнения !. 3. Выполните упражнения 2 для в=8. 4. При каких значениях параметра сходимости р обучающая кривая будет соответствовать режиму с перерсгулированнем, есле рабочая функция с= — 0 4ва 94в+11 5. Запишите выражение и начертите график для рабочей фуию(пи, заданной з упражнении 4, если начальное значение весового коэффициента ва=-О, а параметр сходнмости р=!,5, 6.
Выведите формулу алгоритма Ньютона в дискретной форме, аналогич. пую (4.26), используя вместо производных разности. 7. Выведите формулу обучающей кривой для алгоритма Ньютона, примененного к рабочей функции на рис. 4.5. 8. Для примера на рис. 4.5 найдите с точностью до четвертого знака после запятой значения весовых коэффпцнентов для первых семи итераций, если ва=о. 9.
Для примера на рис. 4.5 найдите с точностью до четвертого знака после запятой весовой коэффициент вь если Фа=о; — 0,08; — 0,14; — 1,2; — !,3. Объясните полученные результаты и покажите, почему метод Ньютона может быть пе применим для неквадратичных рабочих функций. 64 (О и . Для рабочей функции, сечения которой изображены н 3 2 а рис, запи- шите формулу алгоритма в виде урззиепня (4.3!). Дока жите ~то дчя любого начального значения весовых коэффициентов алгоритм пр иводит к оптимально- му решению за один шаг 11. Для приагера на рис. 3.2 найдите векторы зесозы х коэффициентов пер- вых пяти итераций при использовании модифицированного о алгоритма Ньютона, описываемого уравнениеаг (4.32), если начальный некто % = (5, схадимости )(=0,1. Найдите %аз.
т Р а=, 2), а парапет 12. Предположим, что обратная матрица й-' и вектор г адиент в следующем виде: з ктор градиента ту заданы ~ра гра~ Запишите в явном вп е д формулу обучающей кривой для методов Нь т наискорейшего спуска. дов ьютова н 1З.П еп р д олажпм, что заданы следующие матрицы: =ц =Й Используя уравнения (4.34) и (4.38), запишите в явном ви е виде формулу, аписы- Польз ясь у ающую кривую для методов Ньютона и наискорег коре ~щего спуска, уясь полученными результатами, объясните, ясь °,, в чем состоит смысл взаимо- связи компонентов векторов весовых коэффициентов.
14. Для п им 1 . Д римера на рнс. 3,2 найдите векторы весовых козл". вых пяти ите а и" х коэффициентов перраций для алгоритма наискорейшего спуска, если н тор %=(5, 2), — О,!. Н " ю —, а р=, . айдите %ю и начальный век- 15. Ф нк к ив ю для м ункпия ошибки задана выражением (3.44). По остройте обучающую р у для метода Ньютона, если начальные весовые коэффициенты лю, а параметр р 0,05. е коэ ицнеиты равны ну- !6 Запишите азн р потные уравнения, описывающие об "чающие методов Ньютона и н учающие кривые для на и наискорейшего спуска, а обозначениях исх й координат. х исходной системы 17.
Ф нк ия у ц ошибки задана выражением (3.44). Постройте об ча вую для метода наиско ойте о учающую крин корейшего спуска, если начальные весовые к Равны нулю а =005 )а= коэффициенты 18, Выведите из уравнения (4,58) уравнение (4.59) путем вычислен гя изведения матрицы. зычнслення про- чиной, а в 4.36 нм у ( 2) параметр р является безразмерной в !9. Обънсннте, почем в (4.3 а а ' ой вели( . ) нмеет размерность, обратную мощности сигнала. Ответы к некоторым упражнениям !.
5=0,1( 2)а 2.в= а=о; в,=!,61 в,=1,92, ...; ва=1,99936, 4. 0((а(1,25 5. за=!+10( — О 2)ы а+' ва — (Зва+4) (бваа+4ва — 3) /(54вга-~-72ва4 7) 1 7143 в 1 0347 н 0 4484 9 О 4484 О 4484 -1 Зззз -1 115! -! 3333 3 — !2 Рис. 5.1. Измерение произ- водной 11, %ге= [2,0346 2.9685] "'. 14. Фее= [2,0231 2,9769] ". 15. й, = 4 — 'Зв[(09) гг ]. ! 7. йг =-4+0,5 [(09) ее+75(07) гг]. о е 4 г ггз (5,4) (5.6) Ошибки измерения 66 Глава 5 ОЦЕНКА ГРАДИЕНТА И ПРОЦЕСС АДАПТАЦИИ В рассуждениях гл.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
