Диссертация (1150844), страница 15
Текст из файла (страница 15)
W0 = diag((1 , . . . , )T ) — нестационарный белый шумВ этом случае разумно применять метод Cadzow(box), который создан как104раз для этого случая, L = I . Метод Cadzow(quadratic) работает только сравными весами.3. W0 = Σ−1 — (2 + 1)-диагональная обратная автоковариационная матрица процесса AR()Для решения задачи (4.7) нет простого алгоритма, кроме случая, когда достаточно большое, см. теорему 4.2.2, и задача становится эквивалентной(4.8). В качестве эвристики можно рассмотреть решение задачи (4.8), ивзять L = Σ−1 — (2 + 1)-диагональная обратная автоковариационнаяматрица процесса AR() с теми же коэффициентами, но меньшей длины.
В остальном данный пункт аналогичен первому.4. Рассмотрим комбинацию предыдущих двух пунктов:−1W0 = D−1 Σ−1 D ,(4.26)где Σ−1 — (2 + 1)-диагональная обратная автоковариационная матрицапроцесса AR(), D — диагональная положительно определенная матрица.Шум с такой ковариационной матрицей можно называть нестационарным красным шумом, где diag(D) можно назвать огибающей шума.Опять же, для решения задачи (4.7) нет простого алгоритма. В этом случае в качестве эвристики можно использовать метод Cadzow(box), весакоторого заданы матрицей D−2 , L = L = Σ−1 .В разделе 5.2.1 проведены численные эксперименты с алгоритмамиCadzow(quadratic) и Cadzow(box).1054.6.2.
Использование метода Кэдзоу для поиска начальногозначения для методов локального поискаДополнительная мотивация для изучения метода Кэдзоу следующая. Рассмотренные в главе 3 методы оптимизации сводились к итерации по вектору из коэффициентов управляющей рядом ОЛРФ().
Задача (3) может иметьмного локальных минимумов [15], из-за чего при выборе неверного начальноговектора 0 алгоритм может найти лишь локальный, а не глобальный минимум.С другой стороны, метод Кэдзоу является непараметрическим, что позволяетсвободно использовать его сразу же, без задания начального параметра.Пусть мы хотим решить задачу (3) для заданного ряда X. Сделаем следующее с помощью алгоритма Кэдзоу: зафиксируем длину окна , вычислимX = (X), после чего применим итерацию (4.1) заданное число раз, обозначим его как .
Полученную матрицу переведём в ряд X = −1 (X ), гдеX = (Πℋ Πℳ ) X.Результатом алгоритма Кэдзоу, вообще говоря, не является ряд X ∈ .Согласно теореме 4.1.1 и предложению 4.1.2, у последовательности X1 , X2 , . . .лишь существует сходящаяся к подпоследовательность.Для того чтобы использовать методы локального поиска, необходимо найти начальную ОЛРФ(0 ). Нам понадобится следующее утверждение.Предложение 4.6.1. Пусть временной ряд S ∈ , +1 (S) — траекторнаяматрица данного ряда, а ∈ R+1 — её ( + 1)-й левый сингулярный вектор.Тогда временной ряд S управляется ОЛРФ( ).Доказательство. Матрица +1 (S) неполного ранга, следовательно, её ( +1)-йлевый сингулярный вектор соответствует нулевому сингулярному числу.
Этоозначает, что T +1 (S) = 0T − , что совпадает с определением ряда, управляемого ОЛРФ( ).106Способ выбора вектора 0 в алгоритмах 3.3.4 и 3.3.5 состоит в следующем: для ряда X , полученного методом Кэдзоу, есть основания предполагатьего близость к . Поэтому следует посчитать траекторную матрицу +1 (X ),вычислить у полученной матрицы ( + 1)-й левый сингулярный вектор cпомощью сингулярного разложения, и положить 0 = .4.7. Применение алгоритма Кэдзоу к задаче оцениваниясигнала4.7.1. Линеаризованный алгоритм КэдзоуПредположим, что мы хотим применить алгоритм Кэдзоу (4.1) к задаче оценки сигнала ранга ровно .
Допустим, мы наблюдаем случайный рядX = S0 + , где сигнал S0 такой, что rank (S0 ) = (т.е. S0 ∈ ), — случайный вектор с распределением Ξ. Нас интересует приближенное распределениеоценки сигнала ̂︀S = X , полученной алгоритмом Кэдзоу̂︀S = −1 (Πℋ Πℳ ) (X) = (−1 Πℋ Πℳ ) (X)(4.27)при большом числе итераций и малом шуме , имеющем распределение Ξ;длина окна и длина ряда удовлетворяют условию min(, − + 1) > .Подход следующий: в алгоритме Кэдзоу участвуют два оператора — Πℋ иΠℳ , первый из которых является линейным, а второй нет. Заменим нелинейный оператор на его линейное приближение, и изучим оценку получившегосялинеаризованного алгоритма.Известно [38], что в окрестности точки S0 = (S0 ) множество ℳ представляет из себя гладкое многообразие размерности (+)−2 , а касательноеподпространство = (S0 ) в точке S0 выражается следующим образом: (S0 ) = {X ∈ R× : UT XV = 0−,− },(4.28)107где U ∈ R×(−) и V ∈ R×(−) — матрицы полного ранга такие, что UT S0 =0−, и S0 V = 0,− .
Заметим, что определение корректно, так как (S0 )зависит только от colspace S0 и rowspace S0 .В дальнейшем, для удобства изложения, мы применим постолбчатую векторизацию : R× → R , переводящую матрицу в вектор. ПространствоR мы снабдим порождённой векторизацией скалярным произведением⟨, ⟩ = ⟨ −1 , −1 ⟩L,R ; таким образом, — изоморфизм. Соответствующие̂︀ () = ( ( −1 ())), ℋ̂︀ = (ℋ), ℳ̂︁ = (ℳ ).множества обозначим так: Замечание 4.7.1. Существует малая окрестность точки 0 = (S0 ) =̂︁ по порождённой скалярным произве( )(S0 ), в которой проекцию на ℳдением норме можно записать как Πℳ̂︀ (0 ) + o→0 (‖‖),̂︁ (0 + ) = 0 + Πгде Πℳ̂︀ (0 )̂︁ (0 + ) однозначно определён и бесконечно дифференцируем, Π̂︀ (0 ) по введённой норме.
Это— проектор на линейное подпространство частный случай [38, Lemma 2.1].Так как, согласно замечанию 4.7.1, проектор Πℳ̂︁ можно приблизить линейным оператором Π̂︀ (0 ) в окрестности точки 0 , можно рассмотреть линеаризованный метод Кэдзоу в R :0 = ,+1 = Πℋ̂︀ Π̂︀ (0 ) , ≥ 0,(4.29)где Πℋ̂︀ и Π̂︀ (0 ) — матрицы проектирования размера () × () на соответствующие линейные подпространства по введённой норме.̂︀ и ̂︀ (0 ) — линейные подпространства, то свойства линеаризоТак как ℋванного метода Кэдзоу гораздо проще исследовать по сравнению с исходнымметодом. Для начала, установим вид пересечения касательного подпространства (S0 ) с множеством ганкелевых матриц.̂︀ ∩Лемма 4.7.1. Пусть S0 ∈ управляется ОЛРФ(0 ), 0 ∈ R+1 .
Тогда ℋ̂︀ (( )(S0 )) = ( )((20 )).108Доказательство. Заметим, что в определении (4.28) можно взять U = Q, (0 ),V = Q, (0 ), так как colspace(S0 ) = (0 ), colspace(ST0 ) = (0 ), см. (1.3).Для простоты изложения приведем доказательство на языке матриц, неиспользуя отображение . Рассмотрим матрицу X, лежащую в пересечении ℋи (S0 ).
Последнее означает, что существует X = (1 , . . . , )T : X = (X).Возьмём -й столбец матрицы Q, (0 ), -й столбец матрицы Q, (0 ), и вычислим (, )-й элемент матрицы UT XV из (4.28). Получим:+1+1 ∑︁∑︁ +−1++−1−1 =+1+1 ∑︁∑︁ (+−1)++−2 ==1 =1=1 =1=2+1∑︁(2) (+−1)+−1 = 0,=1где (2) — коэффициенты ОЛРФ(20 ), см. определение (2.3). Перебор от 1 до − и от 1 до − покрывает весь промежуток + − 1 от 1 до − 2,что эквивалентно QT (20 )X = 0 −2 . Таким образом, согласно (1.3), все такиеX составляют (20 ).Замечание 4.7.2. Лемма 4.7.1 показывает, что пересечение касательногок ℳ подпространства (S0 ) с подпространством ганкелевых матриц ℋ сточностью до изоморфизма совпадает с касательным пространством к вточке S0 , равным (20 ), см.
теорему 2.2.3.Следующая лемма устанавливает связь между проекцией на пересечение̂︀ ∩ ̂︀ и пределом итераций линеаризованного метода Кэдзоу.ℋПредложение 4.7.1. Выполняется следующая сходимость матриц:(Πℋ̂︀ Π̂︀ (0 ) ) →→+∞ Πℋ∩̂︀ ̂︀ (0 ) .Доказательство. Данное утверждение — частный случай [57, Theorem 13.7]для матриц Πℋ̂︀ и Π̂︀ (0 ) .109Рассмотрим ряд X и линеаризованный алгоритм Кэдзоу (4.29), которыйпутём применения оператора −1 к обеим частям принимает следующий эквивалентный вид:X0 = X,X+1 = Πℋ Π (S0 ) X , ≥ 0.Применяя оператор −1 , получаем ещё один эквивалентный вид на языке рядов: X = (−1 Πℋ Π ( (S0 )) ) X, или, иначе, X = PS0 , гдеPS0 = −1 Πℋ Π ( (S0 )) .(4.30)Оператор PS0 : R → R может быть задан матрицей размера × , так каквсе участвующие внутри (4.30) отображения линейны.Следствие 4.7.1. Пусть S0 ∈ управляется ОЛРФ(0 ), 0 ∈ R+1 . ТогдаPS0 →→+∞ Π(20 ),W(L,R) , где W(L, R) = L * R.Доказательство.
Доказательство проводится прямой подстановкой оператора−1 −1 в результат леммы 4.7.1 и предложения 4.7.1 с учётом введённого вR скалярного произведения ⟨ (Y), (Z)⟩ = ⟨ (Y), (Z)⟩L,R и теоремы4.2.1.Предложение 4.7.2. Выполняется следующее:‖(PS0 − Π(20 ),W(L,R) )X‖W ≤ ‖X‖W (|2+1 | + ) ,(4.31)где > 0 — некоторая положительная константа, > 0 — сколь угодномалое вещественное число, 2+1 — (2 + 1)-е по абсолютной величине собственное число матрицы PS0 , при этом |2+1 | < 1.Доказательство.
Из теоремы [58, стр. 630] с учётом следствия 4.7.1 следует,что модуль всех собственных чисел PS0 не превосходит единицы, при этом только единица является собственным числом с модулем, равным единице. Покажем, что матрица PS0 содержит только 2 собственных чисел, равных единице.110Мы знаем, что PS0 Y = Y для любого Y ∈ (20 ). Предположим, что существуетZ∈/ (20 ), PS0 Z = Z. Тогда PS0 Z →→+∞ Z, но Z ̸= Π(20 ),W(L,R) Z. Получилипротиворечие со следствием 4.7.1.
Таким образом, |2+1 | < 1.С учётом полученного факта о собственном числе 2+1 , утверждение предложения — следствие из [59, Theorem 2.12].Замечание 4.7.3 (Скорость сходимости). Применим результат предложения4.7.2 к определению скорости сходимости.Допустим, мы выполняем итерации линеаризованного алгоритма КэдзоуPS0 X по = 1, 2, . . ., а в качестве критерия остановки используем, например,‖X() − X(−1) ‖W < или‖X() −X(−1) ‖W‖X‖W< , где — небольшое положительноечисло. Путём обращения неравенств с учётом (4.31) с = 0 получаем, что ив том, и в другом случае число шагов до остановки приближённо равно ≈ −/ log(|2+1 |),(4.32)где — некоторая константа.В свою очередь, на статистическом языке следствие 4.7.1 означает следующее:Лемма 4.7.2. Пусть S0 ∈ и управляется ОЛРФ(0 ), — случайный вектор с распределением Ξ.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
