Уидроу, Стирнз - Адаптивная обработка сигналов (1044225), страница 11
Текст из файла (страница 11)
Метод проведения измерений и его точность обсуждается в гл. 5. Для задачи, рассматриваемой в этой главе, предположим, ~то имеется точное значение градиента. Отметим, что использование отрицательного градиента необходимо для «движения вниз» по кривой.
' Отметим, что здесь, в отличие от гл. 3, индекс используется для обозначения номера итерации, а не номера весового коэффициента. йо Простой алгоритм градиентного поиска и его решение Повторный, или итеративный, процесс градиентного поиска, описанный выше для случая с одним весовым коэффициентом, алгебраически можно представить в виде тел „= ик+ 1з ( — т(ул), (4.4) где й — номер шага илн итерации. Таким образом, шл является текущим значением, в то время как солж, — новым значением Через "7л обозначен градиент при ги=ггл. Параметр р представляет собой константу, от которой зависит устойчивость и скорость сходимости; вопрос его выбора обсуждается ниже в этой главе.
Для случая с одним весовым коэффициентом из (42) получаем (4.5) Ы 2)„(.„в — ге«) Ы» ою Динамическое, или мгновенное, состояние пропесса итерапии от начального значения юо до оптимального решения ггж мояспо проанализировать с помощью уравнения, получаемого цри подст.- новке (4.5) в (44). шлж, —— гол — 2!г). (гид — гиж), (4.6) Меняя местами члены уравнения, получаем голан = (1 — 2!ь).) ыл+ 2!з) глж. (4.7) Это уравнение является линейным однородным разностным уравнением первого порядка с постоянными коэффициентами [11. Его можно решить методом индукпии па основе нескольких первых итерапий Относительно начального значения юо первые три итерации уравнения (4 7) дают ш, = (1 — 2!з) ) зло+ 2!а)дож; (4.8) гоэ = (1 — 2!зХ) эгло+2)зХшж[(1 — 2!гХ) + 1); (4 9) ш„(! 2)з)) зело+ 2!зйглж[ ( — 2!зк) г+ (1 2)зк) + 1) (4 10) С учетом этих результатов можно сделать обобщение для й-й итерации; гик=(1 2)зХ)'гло+21зла«Х (1 — 2!г))', (4.1 1) о=о „! — (! — йПЛ)л, 4 12 гол=(1- 2ф) юо+2РХю* ! 11 йрХ! (.
) в, = пэж+ (1 — 2Ф)'(зло — ю*) (4. !3) Этот результат дает в явном виде значение цэк для любой точки в процессе поиска и тем самым является «решением» алгоритма градиентного поиска. 51 ПараметР И Зкачепяе г характер итераткапото пропеееа )г) ( ! 1 ) , ) 0 т = 0 0>г> — 1 )г) а 1 О<я<1)Л О (р(1/2Л р = 1)2Л 112Л ( р ( 1/Л )т .т 11'Л или р ~( О устойчивый (сходюцнйся) Недорегулированный Критический С иеререгулированвем Неустойчивый (расходящийся) Обучающая кривая кт Рис. 4.2. Процесс коррекции весовых козффициентов яра различных зааченияк знаменателя геометрической црогрессин г.
Прн г=О (метод Ньютона) р а достигается за одну итера- цию 5 ю 15 л бэ Устойчивость и скорость сходивяости Величина г=! — 21еЛ в (4.!3) называется знаменателем геометрической прогрессии, так как является отношением соседних членов геометрической суммы в (4.11). Очевидно, для итеративного процесса с одним весовым коэффициентом величина г является определяющей. Равенство (4.13) будет «устойчивым» тогда и только тогда, когда ( г ! = ( 1 — 2)»Л ( ( 1.
(4.14) Это условие можно представить также в виде 1!Л=»)»~0. (4. 15) Если выполняется условие (4.14) или (4.15), т. е. если алгоритм (4.13) является устойчивым, то очевидно, что он является сходящимся к оптимальному решению: 1пп (гал) =гне. (4.16) л Скорость сходимости также зависит от знаменателя геометрической прогрессии. На рис. 4.2 изображены типичные зависимости, которые имеют место в процессе коррекции, при различных значениях знаменателя геометрической прогрессии г. Кривые не имеют физического смысла и получены простым соединением ряда точек, представляющих собой дискретные значения цтт,. Отметим, что если абсолютное значение г(1, то скорость сходимости растет с уменьшением г, достигая своего максимума при г=О, когда оптимальное решение достигается за один шаг.
Кроме того, при положительных значениях г<! нет колебаний мгновенных значений весового коэффициента, а при отрицательных — мгновенные значения весового коэффициента неоптимальны и сходятся к рде по правилу затухающего колебания. В первом случае говорят, что процесс является недорегулированным, во втором — с перерегулированием. При г=О процесс эквивалентен методу Ньютона (рассматриваемому ниже) и говорят, что он является критическим. Если г) 1, то в соответствии с (4.14) процесс является неустойчивым и расходящимся.
Влияние выбора параметра )л на г н характер итеративного процесса в системс с одним весовым коэффициентом показано в табл. 4.1. Таблица 4.1 Зависимость СКО от изменений весового коэффициента в процессе коррекции можно вывести исходя из (4.1). Если допустить по определению, что $» — значение СКО для фиксированного весового коэффициента гол, то с учетом (4.1) $»=$юю+Л(ггт» — го*) з. (4.17) Подставляя в эту формулу выражение (4.13), получаем $ л = $пип+ Л (ято — гн*) ' (1 — 2)»Л) ". (4.18) Очевидно, поскольку гол стремится к юе по закону геометрической прогрессии, СКО также стремится к $ ы по закону геометрической прогрессии Следовательно, в (4,18) знаменатель геометрической прогрессии значений СКО гскб =гз= (1 — 2)»Л) '.
(4.19) Рис. 4,3 Обучающая кривая — график зависимости СКО $» от й -«пм Рнс 4.4. Гь(стол Ньютона пря нахождеонн пуля фупкцнн 1(ю) состоит в переходе от юа х ю, по касательной к 1(ю) ь аа ) Оь, Поскольку этот знаменатель не может быть отрицательным, прогрессия значений СКО никогда не будет иметь колебательного характера.
Как и в предыдущих рассуждениях, устойчивость обеспечивается при выполнении условия (4.14) . На рис. 4.3 показано приближение СКО от начального $о к оптимальному значению З )„для системы с одним весовым коэффициентом. В приведенном примере «око=0,5, что соответствует « — — 0,707. Как и прежде, кривая не имеет физического смысла в промежутках между целыми )с. Она построена простым соединением точек, соответствующих мгновенным дискретным значения») ошибки. Кривую называют обучающей, и она показывает, ск)к в итеративном процессе происходит уменьшение СКО. Градиентный поиск методом Ньютона Выше было показано, что процесс градиентного поиска для одной перемеш)ой является критическим при «=О, т.
е. когда « = 1 — 2)»Х = О, (с =- 1(2Х, (4,20) В этом случае процесс за один шаг сходится к квалратишым функциям СКО и алгоритм его реализации называется методом Ньютона, так как он связан с элементарными вычислениями при нахо)кдении корней полинома Рассмотрим теперь вопрос применения этого метода к функциям одного весового коэффициента (одной переменной) и затем распространим его на рабочую функцию многих переменных.
Метод Ньютона 121 является прежде всего методом нахождения нулей функции, допустим функции 1(ц)), т е. методом решения уравнения 1(ц)) =О. Он состоит в том, что задается начальное значение що, а затем для вычисления следующей оценки щ) находится первая производная 1'(ц)е). Как показано на рис, 4 4, ш, находится как пересечение касательной в точке 1(що) с осью ю. Таким образом, из рис. 4.4 (ц)о) ='1(и)о))(ц)о и))) илн ц)) = ц)о 1(ц)оИ (ц)о).
(4. 21) Слелующую точку, щ,, вычисляют, используя в качестве начальной точки щ), и т. д. В общем случае и)» ) = и)» — 1(аи»)(1' (и)»); )г = О, 1, .. (4.22) Очевидно, сходимость метода Ньютона зависит от выбора начального значения и)о и от вида функции 1(и)), но известно, что лля широкого класса функций он обтадает быстрой сходимостью. Равенство (4.22) называют непрерывной формой метода Ньютона, так как в явном виде использована непрерывная функция 1(ю) и ее производная. Кроме того, существует и применяется дискретная форма этого метода, когда необходимо вычислить о4 1'(и)).
Полагая, что функция 1(щ) известна, или ее можно точно вычислить, на основании формулы обратной разности можно определить 1'(щ») = )()о),) — 1(п)» )) (. ) 4.23 Подставляя эту приближенную формулу в (4 22), получаем выражение для дискретной формы метода Ньютона. и)»+)=юл — ' —; Й=О, 1, ... (424) «(»)-7( ) Отметим, что в (4.24), а также в (4.22) на каждая итерации необходимо проверять, не обращается ли знаменатель в нуль. Пока будем пользоваться непрерывной формой метода Ныл~она. Как и выше, поиск минимума рабочей функции методом Ньютона необходимо начать с уравнения вида )(щ) =0 В общем слу.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
