Уидроу, Стирнз - Адаптивная обработка сигналов (1044225), страница 15
Текст из файла (страница 15)
5.1 законов распределения параметр К=2 или достаточно близок к этому значению, поэтому в дальнейшем будем считать К=2. В качестве примера негауссовского распределения из табл. 5.1 РассмотРим РавномеРно РаспРеделеннУю слУчайнУю величинУ бл с нулевым средним и стандартным отклонением о. Тогда аналогично выражениям (5.19) моменты распределения четных по- рядков 1 1 а'3'М (2,= ) б'Р (б) ((б= ( б'( ) ((б= —, (528) — 2о (73 т-(- 1 Подставляя этот результат в (5.25), имеем Поскольку в данном случае среднее значение ей=0, то 5=аз, т.
е. (5.29) совпадает с результатом, приведенным в табл. 5,1, Остальные законы распределения, представленные в табл. 5.1, рассмотрены в упражнениях к данной главе. Теперь, когда получены формулы для дисперсии величины можно перейти к вычислению дисперсии оценки градиента. При этом следует иметь в виду, что метод измерения производной состоит в определении разности между значениями $.
По-прежнему будем считать, что отсчеты сигнала ошибки (значения бй) являются независимыми. Тогда можно показать, что используемые при измерении производной значения $ также являются независимыми. Пусть о, как и раныпе, — некоторый компонент вектора 2/= = (чч/ — %"). Тогда по аналогии с (5.3) оценка соответствуюшего компонента градиента При упомянутом выше предположении о независимости дисперсия этой оценки равна сумме дисперсий обоих слагаемых в (5.30). Кроме того, дисперсия величины с$, где с — константа, равна дисперсии величины $, умноженной на с'.
Поэтому подставляя (5.27) в (5.30), при К=2, получаем гдй' ! 1 чаг ~ ~ = — айаг (б(о+ 6)! + — ч/аг Д (в — б)! = - до 462 46з Этот результат — общий для дисперсии оценки компонента градиента, если отдельные измерения величины бл являются независимыми, Если положить, что значение б в (5.31) мало, а в результате адаптивного процесса получено решение, близкое к вектору %*, 73 то оба значения величины С в (5.31) приближенно равны $„„,. В этом случае (5.31) упрощается: чаг ~ — ) =- (5.32) Поскольку значения )У и 6 одинаковы для оценок всех компонентов вектора градиента и сделано предположение, что отсчеты величины ам используемой во всех оценках, независимы, ошибки всех оценок независимы и имеют одну и ту же дисперсию, В соответствии с этим ковариационная матрица вектора градиента, найденного на Й-й итерации, со (77„) а Е (( 7д — т7 ) (т7, — )т! =- ~',""„— 1 !И (5.33) ~7д='7д+ Мм (5.34) Рассмотрим влияние этой искаженной шумом оценки градиента на вектор весовых коэффициентов сначала для метода Ньютона, а затем для метода наискорейшего спуска.
В методе Ньютона разностное уравнение для случая без шума определяется выражением (4.32) и имеет впд %~ -ы =-%д — !дй 'Ъгд (5.35! При оценивании гралиента и, следовательно, возникновении шума (5.34) это выражение принимает вид ЪУ, о — 1хгд %д РР.|~д — !дВ 'Мд. (5.36) 74 Влияние шума на поиск оптимального вектора весовых коэффициентов После того, как выведены формулы дисперсии оценки градиента, рассмотрим, какое влияние оказывает в процессе адаптации шум, возникающий при оценке градиента, на вектор весовых коэффициентов Далее оудет показано, что процесс адаптации, основанный на искаженных шумом оценках градиента, приводит к возникновению шума при поиске оптимального вектора весовых коэффициентов и к некоторым потерям, Характер такого влияния шума изменяется в зависимости от метода адаптации.
В этом разделе описывается процесс возникновения шума в векторе весовых коэффициентов для методов Ньюгона и наискорейшего спуска в такой мере, чтобы в последующих разделах можно было вычислить среднее и относительное среднее значения СКО. Для дальнейшего анализа введем для й-й итерации, т. е. при %=%к шумовой вектор оценки градиента Мд (М вЂ” вектор размерностью 1+1, и его не следует путать со скалярной величиной Лг, использованной ранее для обозначения числа наблюдений сигнала ошибки ед).
Тогда оценка гралиснта на )г-й итерации равна истинному градиенту при ЪЧ=%д плюс шум оценки градиента: Кроме того, в соответствии с (2.32) можно переписать это выражение для вектора весовых коэффициентов в обозначениях вектора отклонений Ч: Ч 1=.Чд — !дК 1д7д — !дк 'Мд. (5.37) Теперь на основании (2.35) можно подставить градиент х7=2КУ и получить разностное уравнение для Ч; Чд+.=.Уд — 2!дЧд — !41( 'Мд=(! — 29)Чд — !дК 'Мд (5.38) Таким образом, получаем систему разиостных уравнений, решением которой при заданном векторе шума М является вектор отклонений весовых коэффициентов Ч. Так же, как в (4,38), в этой системе компоненты вектора взаимосвязаны, поскольку вектор М умножается на к — '. Аналогично тому, как это сделано для (4.38), эту систему можно преобразовать и привести к системе координат, образованной главными осями.
Для этого подставим в (5,38) вектор Ч=!1Ч' (3.38), а также матрицу Й-'=!)Л вЂ” 'б1-~ (3,5); С)Ъ"„, = (1 — 2р) ОУ'д — рОЛ '44 'Мд или У'д+, = (1 — 21д) У'д — 9Л '(41 'Мд). (5.39) В этом выражении сомножитель в круглых скобках — вектор шу- ма, спроецированный в систему координат главных осей. Обоз- начив Я вЂ” 'М=М', запишем У'д,, = (1 — 29.) Ч'д — рЛ ' Мзь (5.40) Уравнение (5.40) представляет собой систему разностных урав- нений относительно вектора У'д, компоненты которого не взаимо- связаны, поскольку матрица Л ' является диагональной. Методом инлукции по аналогии с равенством (4.35) можно найти решение лля У'д. На основании первых трех итераций уравнения (5.40) ме- тодом индукции можно доказать, что У',= (1 — 29)Ч'о — 9Л 'М'о. Ъ' о= (! — 2!д)дУ о — 1дЛ '( (! — 28) Мо-',-М',), Ч'о= (1 — 29)'Ч'о — !дЛ '~(1 — 29)оМ о- (54!) + (1 — 2!4) М'~ -!- М':.1, д — 1 У'д = (1 — 29) дУ'о — рЛ ' м (1 — 2ц) "М'д „ Итак, для метода Ньютона получено решение разностного уравнения, аналогичное (4.35), за исключением того, что это решение записано в системе координат главных осей и на каждом шаге имеется вектор шума М'д В (4.35) при увеличении й до бесконечности приходим к оптимальному решению %=%* или У'=О, но из-за наличия шума в градиенте существует остаточ- 75 ная ошибка.
Если в (5.41) й- оо, а параметр [д находится в пре- делах области устойчивости от 0 до 1/2, то множитель (1 — 2[»)» становится пренебрежимо малым и получаем следующее устано- вившееся решение: ч',= — рл- ~, (1 — 2„,) [д[„„, »»и (5.42) Это решение определяет установившуюся ошибку для метода Ньютона, выраженную через собственные значения входного сигнала в виде матрицы Л вЂ” ' и шум градиента в виде последовательности значений М'=4! '[д[, Отметим, что Л-' — диагональная матрица с элементами !ар, 1/Хь ..., 1/Хс.. Перейдем к анализу влияния шума градиента при использовании метода наискорейшего спуска. Без учета шума этот метод описан в гл. 4.
Разностное уравнение (4.36) для этого метода имеет вид )Чд+1 = !Уд — 1»~7ь (5.43) Как и в предыдущих рассуждениях, подставим сюда вектор Ч= =% — !Ч* и вектор градиента с шумом К=2РЧ+ [»[: уд, = Чд — [д(2КЧ»-1- [д[д) = (! — 2[дй) Уд — рМ» (5А4) Откуда Ч'д+, = (! — 21»4! 'К1;!)У'д — 1»0 '[д[д ——- = (! — 2[»А) У'д — 1»М'д.
(5.45) Вектор [д['=!! '[д[ определяет вектор шума, спроецированный в систему координат главных осей. Это выражение аналогично (5.40) и решение его так же, как и (541), можно найти методом индукции, В этом случае » — ! Ч'д= (! — 29Л)дч'а — р У (! — 21»л) "Ы'д-л-ь (5.46) »да Снова полагая, что параметр 1» находится в пределах области устойчивости, определяемой неравенством (4.45), приходим к тому, что для больших значений й первое слагаемое в (5.46) становится пренебрежимо малым и установившееся решение Ч'д= — [»Х (! — 29Л) "[Д['д „ь (5.47) » о Полученный результат следует сравнить с выражением (5.42) для метода Ньютона. 76 Полученный результат аналогичен уравнению (5,38) для метода Ньютона, и, так же, как выше, можно найти значения установившейся ошибки. Для этого, подставив Ч=ОУ', сначала перейдем к системе координат главных осей; 4)у „,= (! — 2„К) ОЧ',— „[д[,. Итак, выражения (5.42) и (5.47) показывают, что наличие шума градиента приводит к установившимся ошибкам при поиске оптимального вектора весовых коэффициентов.
Если теперь шум градиента задан в виде коварнационной матрицы (5.33), то можно найти также ковариационную матрицу вектора весовых коэффициентов. При вычислении математического ожидания по номеру итерации й она задается выражением соч [У'д] = Е[ Ч'д Уд'2]. (5. 48) Для метода Ньютона произведение Ч'ду"д можно найти из (5.39): Удч т= (1 — 2Ф»чд, Ч»Т1 +Р'л Мд, Х»Т2 (л ') г— — [д (1 — 2[2) [У», [д[», (Л ') + Л ' [д[», У»,], (5 49) Здесь Л вЂ” ' — диагональная матрица, поэтому она равна своей транспонированной матрице. Полагаем, что векторы весовых коэффициентов У'д и шума Х'д являются статистически независимыми и имеют нулевое среднее значение, тогда из (5.49) сот [Чд] = (1 — 2[»)2соч [Ч»]+[»2(Л г)дсоч [[д[д] = сот [[»[»]. (5.50) 4 (! — н) Проводя аналогичные преобразования для метода наискорейшего спуска, из (5 45) получаем у' у'т (! 2 »Л) у„удт, (! 2[дл)т 1 рд[»[' = [д[(! — 2[»А) Чд, [»[„~, +Яд 1У»т|(1 — 29Л)т[ (5.51) Отметим, что матрица 1 — 2[»А является диагональной и математическое ожидание произведения векторов стремится к нулю.
Поэтому в данном случае вычисление математического ожидания обеих частей равенства (5,51) приводит к выражению сот [Ч„] = (1 — 2[дл)2 сот [Уд] + [22 сот [[д[д] Н (Л вЂ” РА») 'сот [Мд]. (5.52) 4 Таким образом, формулы (5.50) и (5.52) выражают ковариацию вектора Ч'д через ковариацию вектора шума. Чтобы связать этн результаты с предыдущими, сначала отметим, что из (5,33) и (5.34) сот [б[„'] = Е [[д[; [д[„'] =- 4! — ' Е [Хд Х [ 4! = (1-2 Е [(ту — 27») (,7 — ~7»)т] 24 == 24 2 соч [~д]4! = 22 2 = '-"о- а= — '" !.
(5.53) Фбд Д!б' Здесь скалярная величина 2Ч также обозначает число наблюдений градиента, а вектор [д[ — шум градиента. Из (5.50), (5.52) и (5.53) 77 находим, что ковариационная матрица сот[У'л] является диагональной и имеет вид для метода Ньютона сот[У'г,] — -- ", (5.54) р(л — ')з й' „ 4ябе (! — р) р(Л вЂ” рл) — 'сс'ы для х!етода паискорей!пе!'о спуска соцггУ'г,] = 4Л бе (5. 55) Теперь для записи этих результатов в смещенной системе координат прежде всего отметим, что из (3.38) сот [У ] = Е [У Ут] = ОЕ [Уе Уе~] 0 ! =- 0 сот [Уе] х4 з, (5.55) Используя это соотношение, а также (5.54) и (5.55), можно получить окончательные выражения для ковариационной матрицы сот[У].
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
