Уидроу, Стирнз - Адаптивная обработка сигналов (1044225), страница 17
Текст из файла (страница 17)
(5. 81) На основании (5.69) получаем соответствующую постоянную времени того ехр ( — 1/токо) =- ехр ( — 2!т) гг = гоко Откуда токо = т)2 (5. 82) Эту постоянную времени используют для описания времени обучения адаптивных систем. Основной единицей постоянной времени токо является число итераций. С другой стороны, основная единица постоянной времени адаптации Токо — отсчет данных. Поскольку для измерения 83 1 1; и=0,1,...,7..
! — !7(2т,) (5.92) 84 каждого компонента вектора градиента требуется, как показано на рис. 5.2, 2Л! отсчетов, на каждой итерации нужно иметь 2(Х.+1) л! отсчетов, Таким образом, постоянная времени адаптации 7 око а 2 (7- + 1) й!токо = )() (7. + 1) т. (5.83) П и р известной скорости слелования отсчетов легко связать эту постоянную времени с реальным временем.
Для метода наискорейшего спуска показано, что и-й знаменатель геометрической прогрессии гп 1 2) )"и' (5.84) На основании (5.71) можно найти соотношение между и-м знаменателем геометрической прогрессии и и-й постоянной времени сходимостн вектора весового коэффициента: г„ж 1 — 1(т (т большая). (5.85) Сравнивая (5.84) и (5.85), получаем )з)'и 1!2 тп (5.86) По аналогии с (5.82) определим и-ю постоянную времени обучающей кривой в виде (соко) =т.!2 (5.87) Кроме того, подставляя (5.87) в (5.83), аналогично определяем (Тско)п = !У (7-+ 1) тп = 2Ж ((-+ 1) (аско)' (5 88) На основании (5.88) имеем „).„= й! (Е+ 1)12 (7'ско)п. (5.89) Усредняя обе части этого равенства по и, получаем ( —,) М (!.+ 1) 1 (5,90) 2 Токо Теперь, подставив этот результат и (5.86) в (5.80), можно найти среднее значение СКО для метода наискорейшего спуска: среднее значение СКО= ' ' ' ' м ')-+ 1' и ВР Ранее предполагалось, что установившийся вектор весовых коэффициентов близок к оптимальному (соответствует значению рабочей функции, близкому к минимальному).
В соответствии с этим при малом значении )а и больших значениях т„адаптивный процесс обладает медленной сходимостью, Следовательно, можно записать При этом приближении еще более упрощается выражение (5.91): (8+ !) а Мп!и / срелнее значение СКО= ВР (, токо /ср В заключение этого раздела выпишем приближенные соотношения лля установившегося среднего значения СКО: среднее значение СКО (для метода Ньютона) = (8+ 1)$ ыхпр(наср) — ( + ~)'Бт!пХе (1йер) . (5 94) В!4Р т ско среднее значение СКО (для метода наискорейшего спуска) = (8 + !) 5п!и ( ! ) где 1+1 — число весовых коэффициентов; к !,— минимальное значение СКО; Л! — число наблюдений сигнала ошибки (2Л! наблюдений для каждой оценки гралиепта); Р— относительное приращение (нормированное приращение величины $, возникающее при оценке градиента) [см.
соотношения (5.9) — (5.16)1; т — постоянная времени процесса коррекции весового коэффициента (см. рис, 5.4); Тско — постоянная времени адаптации [см, соотношения (5.83) — (5,90)]; ).— собственное значение корреляционной матрицы входного сигнала. (5.95) Относительное среднее значение СКО 88 Среднее значение СКО есть усредненное приращение средне- квадратической ошибки относительно минимальной, Этн величина позволяет измерить усредненную во времени разность между действительной н оптимальной характеристиками адаптивного процесса, Еще одной мерой такой разности, особенно полезной прн разработке адаптивных процессов, является относительное среднее значение СКО М, которое определим как отношение среднего значения СКО к ее минимальному значению: (среднее значение СКО) (5.96) $т!и Относительное среднее значение СКО представляет собой безразмерную величину, отражающую различие между действительным н оптимальным винеровским адаптивным пропессамн, возникающее из-за шума оценки градиента.
Другими словами, это некоторая мера адаптивных свойств системы. Отметим, что в выражение для М не входит относительное приращение Р, возникающее из-за специально вносимых отклонений весовых коэффициентов, а не из-за шума. Для метода Ньютона из (5.94) имеем М (ь+ !) Хср(«ТХ)ср 8АР. (5.97) Однако более удобным является вытекающее из (5.94) вы- ражение ! М (~ + !) ~ср (!)с)ср 8 Ртсхо (5.98) Уравнение (5.98) позволяет легко оценить характеристики адаптивной системы, основанной на методе Ньютона. Как видно, по мере роста относительного приращения н постоянной времени относительное среднее значение СКО уменьшается.
При болыпем значении Р возможно более точное измерение градиента, а при большей Тско для поиска оптимального вектора весовых коэффициентов можно получить усреднение по большему количеству данных. Видно также, что относительное среднее значение СКО растет как квадрат числа весовых коэффициентов, поэтому незначительное улучшение адаптивных свойств достигается при существенном усложнении системы.
Можно отметить, что собственные значения оказывают заметное влияние па относительное среднее значение СКО только тогда, когда они сильно отличаются друг от друга. Влияние параметров ).,р ««!)).ср рассмотрено ниже. Из (5.94) следует, что для метода Ньютона среднее значение СКО остается неизменным при одновременном увеличении вдвое постоянной времени и уменьшении вдвое числа М Увеличения вдвое постоянной времени т можно достичь уменьшением в 2 раза параметра )«, а число А«можно уменьшить, если на одной итерации брать меньше отсчетов сигна.ча ошибки.
Ясно, что система с малым размером шага и ма.тым количеством данных на одном шаге эквивалентна системе с большим размером шага и большим количеством данных на одном шаге. Как следует из (5.98), важным показателем является количество данных, которые обрабатываются за период, равный постоянной времени адаптации.
Алгоритм, основанный на рассмотренном в этом и предшествующих разделах методе Ньютона, можно сделать до некоторой степени более эффективным, если изменить процесс измерения градиента, показанный на рис, 5.1 н 5.2. Изменение процесса состоит в том, что величина ~ измеряется при номинальном векторе %='«й)а, находится разность между этим обычным измерением и другими измерениями величины с и одновременно изменяется один весовой коэффициент на величину б. Количество данных, приходящееся на одну оценку вектора градиента, изменяется в (Т.+2)72(Т.+1) -1)2 раз.
Однако провести анализ этого процесса сложно из-за того, что компоненты вектора шума являются ксррелнровапными. Но в любом случае относительное среднее 86 С О астет как квадрат драт числа весовых коэффициентов. (5 96) получаем выражение лля ~е При подстановке (5.95) в тода наискорейшего спуска: внвалентно выражению (5.98) для метода Нью- Х (1)).) которо о нет (5 99) , в (5.98) есть сомножнтель 1/ Око, а в Кроме того, в для метода Ньютона имеется ножитечь (1)Тско) р р В вы ажении для только одна постоянная вр емени, в то вре я «.+! различных знавы ажение входит до б твенные ыачшш~ матвательно, если все со с б ы ажения б ко рицы й равны между ж собой, то о а выр ф нкция обладает круговой выми При таком услови р и абочая у всегда имеет направлесимметрией, н р от нцательный градиент всегда ние.
В этом случае методы Ньютона н ие на ее минимальное значение, этом с и наискорейшего спуска фактнчес «д ски идентичны. Н она н наискорейшего спуска Сравнение методов ьюто д Сравнивая этот результат с (5.100), имеем ~ †)= ! Т ) )'па«п (ТОКО)апас ск~ ср (5 102) нач ий относительного прираще««ня ««ч««ела ДлЯ заДанных значений Ш~ она, так и метоЛ паов как метод ьютона, т, ф ц~~ы~ иво ят к увеличению искорейшего спуска при д аптации (т.
е, прн него значения ошибки пр Р н осте скорости ад в смени адаптации . д ). О пако при одной уменьшении постоянной р . е обязательно имеют т а аптацнн оба «летода не и той же скорости ад с, овнях лучшим является одинаковое значение . р А4 П и разных уело тот алгоритм, который ый обеспечивает бльшую с вне относительного срел ег з корсети адаптации. илн меньшее его знач ение п н заданной с ения скоэости адтпметодов с точки эрен« я СКО необходимо натации н Относительного ср елнего значения (5 99) в более удо ном внле.
оцесс чала представить « . « " ' ' О««ЕСС ции методом наискорепш его сп„ска хара м « в смени, и поэтому скорость адаптации п ей Обозначим через (Тско) яаа по- самой медленной составляющей. Оз тавляющей. Тогда из (5. 88) стоянную времени такой состав. (Тек«,) „„, = (й + 1) А')2 р п1 «и 5,!00) соотношения (5.88) можно получить усредненное «аженное через постоянные времени собственное значение )„р, выраженное чер а аптации; (5,101) Следовательно, выражение (5.99) для метода наискорейшего спуска можно переписать в виде ВРЛ Т (5. 103) и'!и ( ОКО) шах Если теперь положить, что (Токо),„в (5.103) равно Тско в (5.98), а Е и Р одинаковы в обоих выражениях„то формулы для методов Ньютона и наискорейшего спуска отличаются лишь тем, что в первом случае есть сомножитель (1/Л),р, а во втором — сомножитель 1/Л !,.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
