Уидроу, Стирнз - Адаптивная обработка сигналов (1044225), страница 20
Текст из файла (страница 20)
Из (6.3) видно, что вектор %„ является функцией только предыдущих векторов входного сигнала Хг, ь Х» — о,, Хо. Можно показать, что при выполнении этого условия для входного сигнала„ являющегося стационарным случайным процессом, математическое ожидание вектора весовых коэффициентов Е[%»! при усреднении по большому числу итераций сходится к винеровскому оптимальному вектору, задаваемому соотношением (2.17), т. е, к вектору %а=й — 'Р. Вычисляя математическое ожидание обеих частей равенства (6.3), получаем разностное уравнение Е [%»+ ! = Е [%»! + 2(» Е [е, Х„! =.
=-Е[% ! — '2 (Е[б( Х ! — Е[Х Хт% !) (6.5) Полагая, что вскторы Х» и %» являются независимыми, в (6.5) по аналогии с (6.4) имеем математическое ожидание произведений. Кроме того. подставляя (2.17) для оптимального вектора %'= =(( 'Р, приводим (6,5) к виду Е [%»т~! = Е[%»)+ 2р(Р— К Е[%»!) =(1 — 2(гй) Е[%»)+2(»[1%о, (6.6) Но теперь это раненство соответствует математическому ожиданию выражения (4 38), для которо~о при переходе к системе координат главных осей найдено решение (т.
е. получена нерекурсивиая форм»да). Д.~я математического ожидания из (4.42) имеем Рнс. 8.2. Схема адаптивного линейного сумматора, входной сигнал которого суммируется со случайным сигналом Слу~ай мй см нйя соа (2л/М) [ и!о 1 2 9 [ 1+ 2гр соа (2л//у) 2 соа (2л/И) Мп (2л//у) (1 + 2ф) а — сова (2л//у!) (6.15) — 2 (1 + 2!р) яп (2л/М) ге ! ай (1 + 2ф)а — сова (2л/уч) 99 Таким образом, при неограниченном увеличении й математическое ожидание вектора весовых коэффициентов (6.7) стремится к оптимальному вектору (т. е. к началу системы координат главных осей) только тогда, когда правая часть этого равенства сходится к нулю. Из (4.45) следует, что такая сходимость возможна только, если 1/), „а~„~О, (6.8) где у ах — наибольшее собственное значение, т. е. наибольший д!гагональный элемент матрицы Л.
Итак, неравенство (6.8) дает границы параметра (е, в которых среднее значение вектора весовых коэффициентов сходится к оптимальному вектору. Скорость адаптации, а также составляющая шума вектора весовых коэффициентов зависит от значения параметра Р в пределах этих границ, Кроме того, отметим, что значение у.„.ех не может превышать след матрицы (с, равный сумме ее диагональных элементов: ).„,„-1г[Л] =Х (диагональные элементы Л) —.— =Х (диагональные элементы й) =1г[й].
(6,9) Более того, из (2.11) следует, что для трансверсальиого адаптивного фильтра !г[(с] =- (/.+1)Е[ха!], илн мошности входного сигнала, умноженной на Е+1. Поэтому среднее значение вектора весовых коэффициентов сходится, если ОСР< 1 в обшем случае, (6.10) 1г (Й1 1 0(Р( для трансверсального фильтра. (! ф!) (а!ощиость сигнала! 11еравенство (6.10) определяет более строгую границу параметра (а, чем (6.8), но его проще использовать, так как в обшем случае легче найти элементы матрицы й и мощность сигнала, чем собственные аиачения матрицы Й. Использование при выводе результатов этого раздела предположение о некоррелированности и стационарности сигнала не является обязательным условием сходимости метода на~именьших квадратов и принято в этой главе для упрощения анализа, В [2, 6] показана возможность сходимости метода наименьших квадратов и при некоторых коррелированных и нестационарных входных сигналах.
Однако при этом намного сложнее становится анализ сходимости алгоритма, и не существует доказательства сходимости метода наименьших квадратов для произвольных условий. Пример анализа сходимости Чтобы пояснить смысл сходимости среднего вектора весовых коэффициентов при использовании метода наименьших квадратов для конкретного случая, снова рассмотрим простой сумматор с 98 д умя весовыми коэффициентами, приведенный в качестве пр мра на рис..2.
Для введения случайных флуктуаций в адаптивный процесс ме яе: входной сигна., суммируя его, как показ и . рнс 62 со счучанныу! сигналом При введении л ча!!но!о сиг ала необходимо видоизменить корреляционн ° входного сигнала (с, определяемую из (222). Пусть ф — средняя мощность случайного сигнала ф = Е [ геа], (6.11) и отсчеты случайного сигнала независимы. Тогда Е [ хй] = Е ( [я(п — '- + га ) ~ =. 0,5 + <р, У Е [ха ха !) = Е ~ ~ я1п —" + га ) ( айп — ) + г 2лл ! ' . 2п(й — ! уу а — ! = 0,5 соя (2л//У) .
(6.12) Таким образом, преобразованная матрица 1( = 0 5 [1+ 2<Р сов(2л/'У)1 Ь соа (2л/!У) 1 + 2<р (6ПЗ) Аналогичное преобразование соотношения (2.24) дает для расом,утриваемого примера следующую рабочую функцию. $ = (0,5+ ф) [и!а+ гея) -(- го„пу, соя (2л/йг) -(- 2 и!! я(п (2л//у) ~- 2, (6.14) Решив, как описано в гл. 2, уравнение м%'=Р, г ется гпо 2.23', можн , где Р определя), можно найти оптимальный вектор весовых коэф- фициентов Рис. 6.4.
Зависимость сигнала ошибки от числа ите. раций для верхней кривой на рпс. 6,3 о,о — 5,0 в о — ю,о -г — г о 6 а 50 !00 160 200 250 а зче Началькыс значения весового казффвцвекта Число итераций Значение параыетра Н Крявая 250 500 О,! 0,05 0,0 4, — !О Верхняя Нижняя (6.16) Обучающая кривая Рис. 6.3.
Проекции сечений рабочей функции и кривые иамеиеиий значений весовых коэффициентов при испольэовашги метода наименьших квадратов для системы на рис. 6.2 с параметрами Дг= !6, Е[г'а) =0,0! Пропесс адаптации по метолу наименьших квадратов поясняется на рис. 6.3. где гу' равно 16 отсчетам за период сигнала, и ф=-0,01. Здесь приведены проекции сечеьий рабочей функции (6.14), а значения оптимальных весовых коэффициентов и*о=3784 и ю"',= — 4.178 найдены из (6.15).
Наряду с рабочей функцией ", на рис. 6.3 приведены две кривые, соответствующие траектории изменения весовых коэффицнтов. Обе кривые построены для слелуюших характеристик: То, что обе кривые, аналогично тому, как показано на рис. 4.7, в той или иной степени ортогональны кривым рабочей функции х, отражает суть метода наискорейшего спуска. Из рис. 6.3 видно, что из-за возникновения на каждой нтерации шума при оценке градиента изменения весовых коэффициентов носят блуждающий характер и не всегда имеют направления истинного градиента.
При ббльшем значении параметра и эти изменения менее устойчивы, так как на каждой итерации вносится более глубокая коррекция весовых коэффициентов. Однако уже после половины всех итераций значение рабочей функции 100 отличается от минимального на столько же, на сколько оно отличается для случая с меныпим параметром !х. Если продолжить эти кривые на рис. 6.3, то в обоих случаях изменения весовых коэффициентов будут колебаться в окрестности минимума рабочеп функции -", что, как обсуждалось выше, будет соответствовать некоторому шумовому вектору весовых коэффициентов и относительной средней СКО. Процесс схолнмости метода наименьших квадратов можно описать еше одним способом, если построить зависимость ошибки еа от числа итераций.
Пример такой зависимости приведен па рис, 6.4, при этом ошибка такая же, как для верхней кривой иа рис. 6.3. Сначала зависимость ошибки носит синусоидальный характер, но по мере того, как адаптивный фильтр обучается и подавляет синусоидальную составляющую, ошибка становится все более случайной. Отметим, наконец, что в примерах на рис. 6.3 значения параметра )ь (0,05 и 0,1) намного ниже верхней границы (6.!О).
Для ф=0,01 из (6.9) и (6.13) имеем след матрицы и; 1г [Щ =- 2 (0,5+ ф) = 1,02, Слеловатеа!ьно, соотношение (6.10) лает 0,98) !а) О. (6.!7) Применяя метод наименьших квадратов, обычно берут значения параметра !ь на порядок меньше верхней границы (6.10).
Выражение (4.59) описывает обучаюшую кривую, т. е. зави- симость 5 от числа итераций й для метода наискорейшего спус- ка. Эта кривая является теоретической, так как получена в прел- !О! положении, что на каждой итерации точно известен градиент, Оказывается, что теоретическая обучающая кривая затухает в соответствии с Е+1 знаменателями геометрических прогрессий вида г„= 1 — 211Л„; и= О, 1,, Ь. (6.18) Вследствие этого, а также в соответствии с (5.86) нри экспоненцизльном приближении п-го элемента вектора весовых коэффициентов к оптимальному значению постоянная времени т„— 1/2)ЕЛ„; и =-: О, 1, ..., Е.
(6.19) Из (5.87) следует, что постоянная времени, соответствующая и-й составляющей обучающей кривой, равна т /2, т. е. т'око = 1/4 р Лп) (6.20) Кроме того, поскольку при использовании метода наименьших квадратов каждую оценку градиента получают на основе одного наблюдения данных, постоянная времени Токо, выраженная через число отсчетов входного сигнала, ранна постоянной токо, выраженной через число итераций алгоритма.
Поэтому (Токо)н (токо)о 1/4)еЛп' и =- О 1 - Е (6 21) В некоторых приложениях метода наименьших квадратов, а именно в тех случаях, когда для текущих значений весовых коэффициентов на каждой итерации значение е'я достаточно близко к Е такая~), формула (6.21) является хорошим приближением постоянной времени обучающей кривой. Однако в общем случае для метода наименьших квадратов формула (6.21) будет неточной, так как значение е'я не является хорошим приближением Е(ееа), а процесс сходимости носит, как показано на рис, 6.3, колебательный характер. В качестве примера рассмотрим приведенный на рис. 6.3 случай, когда собственные значения матрицы К найдены из (3.2) и (6.13) для ср=001 и У=16: г( 11 ' ' ' ~ =О, Л1=-0,972, Л,=0,048. (6.22) ео,5 сов(я/В) 0,51 — Л Для нижней кривой на рис.
6.3 при )е=0,05 из (6,21) имеем (Токо),=5 итераций, (6.23) (7 око) т = 104 итерации. (6.24) Для сравнения на рис. 6,5 представлена обу чающая кривая, построенная для рассматриваемого случая. Здесь значение ~~, или Е'(е'1,~1, находится усреднением по 500 отдельным обучающим кривым. Каждому значению соответствует своя случайная последователычость и свое начальное значение синусоидального сигнала в схеме на рис. 6.2. На рис. 6.5 в логарифмическом масштабе приведены два участка обучающей кривой, соответствующие двум направлениям нижней кривой на рис. 6.3 и двум постоянным времени, определенным по (6.23) и (6.24). На первом, более крутом 102 1О е 1 1О-' о ВО 100 150 ь Рис.
5.5. Обучающая кривая, соответствующая нижней кривой яа ркс. 5.3 ири и=0,05 Теоретическое аначенне Эксперимеитаньное винченце Постоянная времени (Токо)т (токо)а 115 Итак, из-за наличия шума при оценке Е[етя~, возникновение которого рассмотрено ранее, экспериментальная постоянная времени несколько больше теоретической, Такой результат характерен для метода наименьших квадратов. Шумовая составляющая оптимального вектора весовых коиффициеитов В гл. 5 дисперсия оценки градиента и шумовая составляющая вектора весовых коэффициентов найдены в предположении, что оценка гардиента проводится по приращению значений коэффициентов, Для метода наименьших квадратов оценка градиента, !ОЗ участке кривая за 13 итераций падает на одну декаду. Поскольку декада означает умножение на 10, или на е' ', что соответствует также уменьшению постоянных времени в 2,3 раза, первая постоянная (7'око) равна примерно 13/2,3, или 6 итерациям.
На втором, более пологом участке кривая характеризуется постоянной времени (Токо),, которая по аналогии равна примерно 265/2,3или 115 итерациям. В итоге имеем как следует из (6.2), осуществляется без приращений значений весовых коэффициентов, поэтому необходимо найти дисперсию для данного случая. Как и в (5.34), положим, что Хд — вектор шума оценки градиента иа к-й итерации.
Тогда ~ = ~7д + [д]д (6.25) Если предположить, что адаптивный процесс при малом зна. ' чении параметра !д приведен к устойчивому вектору весовых коэффициентов, близкому к оптимальному %*, то т7д в (6.25) стремится к нулю. В соответствии с (6.2) шум градиента приблизительно равен = х7д = — 2едХд. (6.26) Таким образом, ковариационпая матрица шума задается выражением соч [[д(д] =-Е []д]д й]д ] =- 4Е [ад Хд Хд]. (6.27) Полагая, что вектор весовых коэффициентов %д близок к оптимальному %"', на основании (2.39) приходим к тому, что е'д почти не коррелирована с вектором сигнала, поэтому (6.27) принимает вид соч[[д]д] = 4Е [ ад] Е [Хд Хд] = 4$,нмК.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
