Уидроу, Стирнз - Адаптивная обработка сигналов (1044225), страница 16
Текст из файла (страница 16)
(Подробный вывод рассиатривается з упражнении 18.) коэффициентов (5 57) коэффициентов Коварпационная матрица вектора весовых для метода 11ькзтона соч [Ул] =. )гс ы (К-')з,'4Л'бе (1 — 9). Коварпацпопная матрица век!ора весовых для метода наискорейшего спуска сот [Ул] =-- цс„„(й — [ейз) !)4гУбз, (5.58) где )л — константа адаптивного коэффициента переда !и; я' „, — минимальное значение СКО; 11 — корреляционная матрица входного си!.нала; Л' — число независимых измерений сигнала ошибки для каждого значения весовых коэффициентов с приращением; 6 — отклонение весовых коэффициентов, вводимое для измерения градиента. Среднее значение СКО и постоянные времени При отсутствии шума в адаптивном процессе методы Ньютона и наискорейшего спуска, а также другие адаптивные методы приводят к установившемуся вектору весовых коэффициентов, соответствующему минимальному значению рабочей функции.
В этом случае ковариационная матрица вектора У равна нулю и, сле- 78 Итак, основным результатом этого раздела являются соотношения для коварнацпонных матриц векторов весовых коэффициентов, которые выражены через переменные величины, определяемые при измерении сигнала ошибки.
В следующем разделе рассматривается среднее значение СКО, выраженное в этих же переменных. довательно, значение СКО равно; „. Однако наличие шума в адаптивном процессе приводит к тому, что установившийся вектор весовых коэффициентов отличается некоторым случайным образом от вектора, соответствующего минимуму рабочей функции, т. е, соответствует большему значению рабочей функции. В результате появляется некоторое среднее значение СКО, установившееся значение которой превышает й В гл, 2 показано, что для заданного вектора весовых коэффициентов % СКО равна ее математическому ожиданию.
Если вектор весовых коэффициентов не задан, то мгновенное значение СКО $х на А-й итерации есть значение СКО при %= — %х (см., например, равенства (4.17), (4.54) и т, д.) Для вывода выражения для среднего значения СКО необходимо провести дальнейшее вычисление среднего значения $х по произволыю большому числу итераций.
Как и в предыдущем разделе, предположим, что вектор весовых коэффициентов искажен шумом и изменяется случайным образом, и оценим, как это в целом влияет на значение $м Используя соотношение между - и У (4.53), находим среднее знаг!ение СКО=.- Е [$е — зь„,з„] = Е [У» РУл], (5.59) где усреднение осуществляется по номеру итерации й. Такое определение справедливо только тогда, когда вектор Ум как функция индекса А, является стационарным случайным процессом, т. е, когда вектор шума [х)м а также вектор входного сигнала Хх и полезный отклик с]е являются стационарными случайными процессами.
Таким образом, данное определение справедливо только в установившемся состоянии, т. е. после того, как переходные процессы, связанные с адаптацией, завершены. Физический смысл введенных определений поясняется на рис. 5.3. Случайные отклонения весового коэффициента от оптимального значения приводят к увеличению СКО. Среднее значение приращений, вызванных таким увеличением, есть сред- знеееним! нее значение СКО. Отметим, что здесь отклонение СКО не включает рассмотренную выше ошибку измерения, которая обусловлена специально вносимыми отклонениями весового и коэффициента. ! Выражение (5.59) для среднего значения СКО аналогично выражению (5.48) для Изменение ееееееге ковариационной матрицы век- кезффициентз тора У'ю Для получения результата, аналогичного соот- ь ношениям (5.57) и (5.58), не- рцс, кз Иллюстрация смысла отклонеобходимо в (5.59) подставить цил СКО выражение для вектора У1„поэтому снова требуется провести вывод отдельно для каждого нз методов — Ньютона и наискорейшего спуска.
Поскольку в предыдущих рассуждениях результаты получены для вектора У'», а не для У», преобразуем сначала (5.59), подставляя У1йУ=УтЛУ'. Тогда исходное выражение принимает вид среднее значение СКО= Е [У»т ЛУ»]. (5.60) Для метода Ньютона подставим в (5.60) выражение (5.42) для вектора У'1. Для упрощения (5,60) воспользуемся знаменателем геометрической прогрессии г: г = 1--29. Далее подстановка формулы (5.42) в (5.60) дает среднее значение СКО=. )»аЕ~ 2, г")»)„"„! Л 'ЛЛ ' х ! и=о (5.6 !) 1 Х Х г" А1» — — 1~ =- р' ~ Х ге+"'Е[)»)» и 1 Л-ьй)» „1].
(5.62) т=о и=в м=о среднее значение СКΠ— — р' Х, 'ггпЕ[)»)»т„! Л вЂ” 1)ч) „]. (5 63) и о Кроме того, поскольку шум градиента представляет собой стацио- нарный случайный процесс, математическое ожидание в (5.63) вы- числяется по всем индексам вектора М'. Таким образом, среднее значение СКО= р'Е [М„~ Л вЂ” ')»(»] 2; ггп = п=о Е [)»(» Л 1М»]. (5,64) Ранее сделано предположение, что вектор шума М, который складывается нз независимых ошибок измерения сигнала ошибки, принимает независимые значения при переходе от одной итерации к другой.
Поэтому в (5.62) все слагаемые с глчьп должны стремиться к нулю и, следовательно, где и'~» — компонент вектора )') м Подставляя этот результат в (5,64), получаем )12 среднее значение СКО= ! Х )м Е [и„,»], (5.66) ее=в Но математическое ожидание Е[п' »] — диагональный элемент коварнационной матрицы вектора М', и в соответствии с (5,53) оно равно В' пп/Л1бг.
Поэтому (5.66) принимает вид вы1п Й г среднее значение СКО= Х . (5.67) /»бе (! — г') =о й Снова полагап г=1 — 2Ри длЯ метода Ньютона полУчаем об!цее выражение 2 ь веп1п Р ! среднее значение СКО=- Х . (5.68) 4Л'йе (! — Р) ее=о )еп По практическим соображениям этот результат удобно выразить через постоянные времени адаптивного процесса.
Для определения числа постоянных времени, соответствующих заданному значению знаменателя геометрической прогрессии г, построим на основе геометрической последовательности отсчетов экспоненциальную огибающую, как показано на рис. 5.4. Пусть теперь эта огибающая описывается функцией е-ег', где / — время, а т — постоянная времени. Если одна единица времени соответствует одной итерации, то (5.69) ехр ( — 1/т) = г, что при разложении в ряд дает г = ехр ( — 1/т) = ! — 1/т -(- 1/(2 ! т') — 1Д3! та) + ... (5.?О) Поскольку для большинства приложений постоянная времени т выбирается большой (не менее 10), а знаменатель г — малым (не более 1), то имеет место следующее приближенное соотношение: гж 1 — 1/т (т большая).
(5.71) Хв' О ло» т й(»' Л-1]4»' =-[,'„... пь»] Рис. 5.4. Аппроксимация геометрической последовательности значений весовых коэффициентов зкспоненцизльиой кри- вой О Аь' и„ ь =Х ) па ы ! 1 г з Номер итерации (5.65) но Здесь предполагалось также, что процесс является устойчивым, и знаменатель г<1. В этом случае и е ие к и о о о и й е е\,е Кроме того, из соотношения г=1 — 2!г для метода Ньютона !г 1!2 т, поэтому (5.68) принимает вид (5.72) г г среднее значение С КО =- '" .'Е— 4Убг (2» 1) ог — о Лм р ь опггп у Х вЂ” (т большая). 8Лгбг т гг =о ! го (5. 73) Для дальнейшего упрощения равенства (5.73) выразим сумму через среднее х — ' — (Е+1)~ ' ) (5.74) а также подставим выражение (5.16) для относительного приращенвя, т. е.
среднего увеличения СКО, нормированного относительно величины ~ !г. С учетом этих подстановок выражение (5.73) принимает вид сре.шее значение СКО= Е [У» ЛУ»] = = !»г ~ ~' Е[М» „.! Л(! — 2!»Л)"4" М» .!). (5.76) ;=о «.— о Так же, как в (5,62), члены с гп~п стремятся к нулю, и снова, как и в (5.63), полагаем, гто вектор М' — стационарный случайный процесс, поэтому (5.76) принимает вид среднее значение СКО=- рг 2„Е [г[» Л(!в г —..Π— 2!»Л)»ой[„') =.. !ООЕ[81„",Л~ ~ (! — 2)»Л)г" !»[„'), 1г=о (5.77) где усреднение производится, как и выше, по индексу А, Теперь, поскольку матрицы под знаком суммы являются диагональными, можно найти, что каждый элемент суммы является членом степенного ряда.
Следовательно, можно записать У (! — 2р Л)-"= — '(Л „Лг)-г, ::о 4П (Более подробный вывод рассматривается в упражнении 20). 82 (5.78) среднее значение СКΠ— - ' '' '" '"'( ' "'" . (5.75) (!. -!- 1) г Х !!Л) 8ЛО Рт Аналогично найдем среднее значение СКО для метода наискорейшего спуска. В этом случе вместо (5.42) подставим в (5.60) формулу (5.47). Имея в виду, что Л вЂ” диагональная матрица, получаем Подстановка в (5.77) фоРмУлы (5,78) и РезУльтатов, получен ных в упражнении 18 к гл. 2, дает т 1 среднее значение СКО= !»'Е [8)гг Л вЂ” (Л— 4!г 1„ЛО) — г!»[»[= ! Е[Х», (1 — иЛ) — г[»!»! (5.79) 4 Полученный здесь результат аналогичен соотношению (5,64), если вместо !»г/(1 — «') подставить )»14, а вместо л подставить ! — !»Л.
При таких же подстановках в (5.67) выражение (5.79) принимает вид среднее значение СКО ==- 4мбг»г.=о ! Фт х (5.80) 4Л!' =о 1 — !глт где Р— как и выше, относительное приращение, возникающее при измерении градиента и равное болг»14оио В предшествующем анализе для метода Ньютона отмечалось, что среднее значение СКО удобно выражать через постоянную времени, и была определена постоянная нремсни т, соответствующая процессу сходимости вектора весовых коэффициентов к оптимальному. Определим теперь две другие постоянные времени, полезные для описания эффективности н скорости сходимости адаптивного процесса, а именно, постоянную времени обучающей кривой, которую обозначим через токо, и постоянную времени которую за неимением более подходящего термина назовем постоянной времени адаптации и обозначим через Токо.
Как будет показано, обе эти постоянные с точностью до множителя равны постоянной времени сходимости вектора весовых коэффициентов т. Постоянная времени т связана соотношением (5.71) со знаменателем геометрической прогрессии весовых коэффициентов г, С другой стороны, для знаменателя геометрической прогрессии обучающей кривой [из (4.19)] следует, что 'око=" .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
