Уидроу, Стирнз - Адаптивная обработка сигналов, страница 14

4 предполагалось, что на каждой итерации вектор градиента, необходимый для процесса адаптации, был точно измерен Однако в большинстве практических приложений точное измерение певозмоипго и необходимо делать оценку, основанную на ограниченной статисти ~есной выборке. Такая опенка «искажена» шумом и можно считать, что она равна сумме истинного градиента и аддитивного шума. Задача настоящей главы — дать описание общего метода опенки вектора градиента и показать, какое влияние оказывает возникающий при такой оценке шум на процесс адаптации. Рассматриваемый способ, называемый «измсрением производной», эквивалентен измерению с линейным прирадцением вектора весовых коэффициентов, Помимо этого, успешно применяются методы, основанные на приращении по синусоидальному закону. Они отличаются от линейного приращения аналитически, но оказывают на процесс адаптации в основном одинаковое влияние.

Кроме измерения производной, существует метод «мгновенного» оценивания градиента, не зависящий от прирагщения вектора весовых коэффициентов. Этот метод, рассматриваемый в гл. 6, составляет основу алгоритма наименьших квадратов и является не таким общим, как метод измерения производной, поскольку требует в определенной степени знания характера рабочей функции. Для измерения производной необходимы лишь общие сведения о рабочей функции, поэтому этот способ излагается в первую очередь для того, чтобы дать введение в задачу оценки градиента, Оценка компонентов градиента методом измерения производной Как показано на рис. 5.1, единственный компонент вектора градиента можно измерить прямым способом. Параболическая функция СКО с единственной переменной задана соотношениями (3.41) и (4.1).

В обозначениях координат о=ш — пг«имеем 6=3 и+Лог. (5. 1) По аналогии с (4.2) и (4.3) производные этой функции — =-2Лв, —" = 2Л. (5.2) гго гЬг Напомним, что для реализации метода наискорейшего спуска нужна только первая, а для метода Ньютона — и первая и вторая производные. Как следует из рис.

5.1, производные (5.2) находятся численно на основе измерения разностей (11. Следовательно, (5.3) 6 (и+ 6) — $ (о — 6) г)ей 5(п+ б) — 25(г')+ ей(п — 6) и„г б' Эти приближенные соотношения сзановятся точными, когда параметр 6 стремится к нулю. Кроме того, они явля1отся точными даже при конечных значениях параметра 6, если рабочая функция представляет собон квадратичную функцию переменной и. Исходя из (5.1) для квадратичной рабочей функции имеем й (и -1- 6) — й (о — 6) Л (о -'- 6)з — Х (и — б)е 26 26 = — (пе 1 6»+206 — о' — 6'+206) =2Ло= — "в (5.5) Х $ (и + 6) — 25 (2) + е (о — 6) бз Л (и+ 6)е — 25 (о)е -1.

Л (и — 6)' 2 Лбе за е .= 2Л .—.:"" бе бг лпг В процессе измерения градиента требуется, как это видно из рис. 5.1, изменять весовой коэффипиент. Г1рсдпо.тожим, что при вычислении производной адаптивная система для накопления от- 3 67 счетов сигнала ошибки и оценки на этой основе значения о(о — б) и е(о+б) в течение определенного времени имеет весовой коэффипиент, соответствующий о — б, а затем о+б.

Предположим также, что в каждой точке накапливаю в тся М чттсчетов сигнала ошибки, так что для анализа в точках о — б и о+6 отводится равное время, а для точки о времени не отводится вообще. Ошибкй измерения определим как увеличение СКО на величину у из-за неточного выбора весового коэффициента и отсутствия измерений в точке о (см. Рис. 5.1).

Поэтому у = — (е (о — б) + в (о + б)) — в (о). (5.7) 2 Для квадратичной рабочей функции в системе с одним весовым коэффициентом при подстановке (5.1) в (5.7) можно получить явное выражение для увеличения ошибки с: — '(2Ц н,+),( — б)з+Л( +б)1 — Дмы+й е)=).бз. (5.3) Из этого результата следует, что для заданной рабочей функции оценка приращения у является константой и не зависит от е.

Кроме того, через у можно определить безразмерный параметр Р, называемый относительным приращением Р = уайет!тт = пб l ~чтпп, (5.9) кото ый характеризует влияние оценки градиента на процесс адаптивной коррекции Это выражение дает значение средне~о увеличения СКО, нормированное относительно минимально воз- В методе Ньютона при измерении второй производной на основании (5.4) требуется дополнительное время в точке о для оценки члена 2$(о). Очевидно, это приводит к уменьшению относит ельного приращения и, следовательно, оценки приращения. нк ии Тем не менее, поскольку для квадратичной рабочей фу ц вторая производная является константой, ее измерения проводятся лишь изредка, и в практических задачах ее влияние на относительное приращение можно не учитывать.

Измерение производной и ошибка измерения в системах с многими весовыми коэффициентами На рис, 5.2 приведен пример измерения производной при оценке двумерного градиента. Из (2.33) для системы с двумя весовыми коэффициентами получаем, что квадратичная рабочая функция ет )чет — опт~о+ (во От) ~ ) [о (5.10) = $ + г и~~ + гм в12 + 2 гет ве ог Ртте. 6.2. Измерение двумерной произ- водной и'отсчетов е кеждай точке ет прирещекке При измерении частной производной этой рабочей функции по координате оо аналогично (5.9) имеем следующее нормированное значение ошибки измерения в виде относительного приращения; тее Ро = гооб Цаген.п. (5.11) Аналогично относительное приращение при измерении частной производной по координате о, Р, = г, ~б'/ям~о.

(5.12) Полагая, что для измерения каждого компонента градиента требуется одинаковое время (т. ео как и выше, для каждого измерения берется 2Ж отсчетов данных), получаем среднее значение относительного приращения для всего измерения: Р= — (Р +Р,)=— (5.13) 2 $пип Определим теперь общее понятие относительно приращения для 1+1 весовых коэффициентов как среднее значение отдельных измерений компонентов градиента; бе 1г [п1 Р= — — . (5,14) $ ~п 1+1 Поскольку след матрицы й равен сумме ее собственных значений, а также сумме ее диагональных элементов, (5.14) можно записать в виде о Х оп р 6' о=о Ьып 1+1 Более того, так как сумма собственных значений, деленная на их 69 количество, есть среднее значение собственных значений, (5.15) можно записать как <Р=б).„Д ы,< (5.16) Дисперсия оненнн градиента Градиенты, измеренные представленными на рис.

5.1 и рис.5.2 способами, искажены шумом, так как вычисления основаны на измерениях СКО ~ в шуме. Поэтому первым шагом определения дисперсии оценки градиента является расчет дисперсии величины где $=Е[а221 в соответствии с (2.13). Положим, что оценка величины $, которую обозначим через е, основана на Л«отсчетах е«м Для ознакомления с такими фундаментальными понятиями, как дисперсия, моменты распределения н т. п., можно воспользоваться любым из элементарных источников по математической статистике или теории вероятностей [2 — 5,7], Вывод дисперсии г. и оценки градиента начнем, прежде всего, с определения несмещенной оценки г-го момента величины а22'. Х а2 =- — Х (вг) .

Л«ьч (5.17) Из этого определения видно, что среднее значение величины а, равно математическому ожиданию величины а2ю т. е. (5.18) а„= Е [и„] =- Е [аз]. Для примера по (5.18) вычислим четвертый момент а4 в предположении, что аь является гауссовой случайной величиной с нулевым средним, т. е. плотность вероятности случайной величины а, обычно обозначаемая через р(е), представляет собой нормальный закон с нулевым средним и стандартным отклонением о. В этом случае е а = ]' е4 р (е) «[а =- зг ' е — 2п24' «)е = Зо'. (5,19) о 'г'2л 24налогично при заданной плот««ости р(е) можно найти любой момент распределения, Отметим, что при «=2 в общем случае из =- Е [а-'] =. 8.

(5.20) Это соотношение является общепринятым выражеинемотноситсль- ного приращения для любого числа весовых коэффициентов при измерении градиента методом, иллюстрируемым рис. 5.2. момента (5.!7) как математическое ожидание квадрата отклонения: чаг [а„] = — Е [и, — и„)2]. Подставляя сюда (5.17) и (5.!8), имеем (5,21) Е [222] ат й ЕПа,а«)]= Е [а'] Е [з',] = аз А~1 (5.23) Подставим теперь в (5.22) соотношение (5.23) и заметим, что сумма в (5.22) состоит из Л«2 слагаемых с Л«членами с А=1. В ре- зультате чаг [и,] == — [«уа „+(Л«2 — Л«) и,[ — а,= ' ' (5,24) Л« Соответственно, поскольку а2=ч, как это следует из (5.20), дисперсия величины '; чаг [я] = чаг [а,] = (а4 — иг)1М.

(5.25) Значения а в (5.25), естественно, зависят от закона распределения случайной величины аю так как согласно (5,18) каждое значение а есть среднее значение мощности сигнала ошибки ем Предположим, например, что ах имеет нормальное распределение с нулевым средним н дисперсией о',[3, 5]. Тогда в соответствии с (5.19) четвертый момент а4 — — Зо'„а второй а2=024. Поэтому в данном случае (5.25) принимает вид Зо 02 2ое 222 чаг [$] =-— (5. 26) Л' Л' Л« аким обРазом, если ех имеет нормальное распределение с нулевым ~Редким, то дисперсия оценки 222 пропорциональна 22 и об.

Ратно пропорциональна Л7, сновании этого результата дчя норма зьного распределе ния случайной величины ел можно предположить, что в обп«ем случае дисперсия величины- чаг [и,] =- Е [и, '-1- а,' — 2 а, а„] =- Е [а,'] — и,' = у м =,—, Х Х Е[('.е)] — ',.

(5.22) «-« Для упрощения выражения (5.22) нужно члены с 1=1 выде- 22 лить из всей суммы Л«. Прн )«=1 каждый член суммы имеет в — ид [ек "). Будем считать, что величины ел и ю представляют собой независимые отсчеты, и поэтому математическое ожидание п он. введения равно произведению математических ожиданий. СлеР довательно, После определения первого момента найдем дисперсию оценки 70 чаг $ = д'е'1ЛС (5. 27) 71 чаг (В! = (а — сб22)/А' = 4 ое/5/ч(.

(5.29) Таблица 5.1 Дисаерсин оценки ОКО чзт !(1 Область значений К н (2.27) Плотность неронтности случеаной еелнчнни ез б(Я=о з(е(-б 2+ 4а, /аз ре 0<К<2 н 6/ а, — а а, а, т о дй 1 — й (о+ б) — — $ (и — 6). ! до 26 26 р (11 (5.30) 1 а,7 б 7+ 20ай/оз рз 722 5Л' 0<К<1,54 5 (1+ а,/аз)з е ,,(б а, а чо,б о, — о р (е( 1 7;З 4 + 20(11/оз ез 452 56/ О< К < 1,25 5 (! + с(2/аз)е а, — о;./3 а~ а, + о Ч( 3 Г(~+6)+'(о-6)!.

2У62 (5.31) Р РЛ 4ар/аз 0<К < 1 (1 + (л21/аз) з а, — о а, 72 Можно показать, что для случайной величины бм имеющей нормальное распределение с нулевым средним, К=2, а с ненулевым К:2. Для негауссовского распределения К обычно также несколько меньше 2. При негауссовском распределении случайной величины бй с ненулевым средним К может уменьшаться или увеличиваться в зависимости от конкретного вида распределения. В табл. 5.1 приведены дисперсии чаг[а] и области изменения параметра К для нескольких различных распределений случайной величины бл Видно, что для всех приведенных в табл.