Диссертация (Структурные аппроксимации временных рядов), страница 11

Мы покажем, что последовательность (4.1) содержит подпоследователь­ность, сходящуюся к ℳ ∩ ℋ, изучим задачи поиска матриц весов L и R таких,что ‖ (Z)‖L,R ≈ ‖Z‖W0 для любого Z, где матрица W из задачи (3) равнаW0 = Σ−1 в этой главе, приведём алгоритмы решения этих задач и быструюреализацию метода Кэдзоу. В конце главы мы рассмотрим вопрос о примене­нии метода Кэдзоу для задания начального приближения в методах, описанныхв главе 3, в частности, в предлагаемом новом методе MGN, и найдём ошибкупервого порядка при оценивании зашумлённого сигнала методом Кэдзоу.744.1.

Сходимость метода Кэдзоу поподпоследовательностям4.1.1. Общие результаты о сходимости в гильбертовом пространствеРассмотрим задачу проектирования точки на множество ℋ ∩ ℳ вгильбертовом пространстве X со скалярным произведением ⟨·, ·⟩, где ℋ и ℳзамкнуты в порожденной скалярным произведением топологии, ℋ — линейноеподпространство, а также ℳ замкнуто относительно операции умножения наскаляр, то есть, если ∈ ℳ, то ∈ ℳ для любого вещественного .

Заметим,что ℳ не обязательно выпуклое множество или линейное подпространство.Задача имеет вид * = arg min ‖ − ‖,(4.2)∈ℋ∩ℳгде ‖ · ‖ — это норма, порождённая скалярным произведением.Чтобы привести схему алгоритма для решения данной задачи, введём про­екторы на подмножество ℳ и подпространство ℋ по соответствующей норме‖·‖: Πℳ — проектор на ℳ, Πℋ — проектор на ℋ. Заметим, что если проекция наℳ не определена однозначно, то будем предполагать, что в случае неоднознач­ности берётся любая ближайшая точка. Проектор на ℋ, очевидно, ортогонален,в то время как Πℳ ортогонален согласно следующему предложению.Предложение 4.1.1.

Пусть X — гильбертово пространство, ℳ ⊂ X — под­множество, замкнутое относительно операции умножения на скаляр, Πℳ— оператор проектирования на ℳ. Тогда для любого ∈ X выполнено следу­ющее равенство («теорема Пифагора»):‖‖2 = ‖ − Πℳ ‖2 + ‖Πℳ ‖2 .Доказательство. Обозначим = Πℳ . Так как‖‖2 = ‖ − ‖2 + ‖‖2 + 2⟨ − , ⟩,75нужно доказать, что ⟨ − , ⟩ = 0.

Предположим противное: ⟨ − , ⟩ ̸= 0.Тогда для=⟨, ⟩⟨, ⟩⟨ − , ⟩ = ⟨ − , ⟩ = 0 и, таким образом, ‖ − ‖2 > ‖ − ‖2 :⟨, ⟩2⟨ − , ⟩2‖ − ‖ − ‖ − ‖ = ⟨, ⟩ − 2⟨, ⟩ +=> 0.⟨, ⟩⟨, ⟩22Так как лежит в ℳ согласно свойству ℳ, получено противоречие с темфактом, что = Πℳ — ближайшая точка к .Рассмотрим итеративный метод попеременных проекций для задачи (4.2),который задан следующим шагом итерации:+1 = Πℋ Πℳ , где 0 = .(4.3)В следующей теореме рассмотрим сходимость последовательности (4.3).Теорема 4.1.1.

Пусть выполняются условия Предложения 4.1.1, а такжемножество ℳ и подпространство ℋ топологически замкнуты. Тогда1. ‖ − Πℳ ‖ → 0 при → +∞, ‖Πℳ − +1 ‖ → 0 при → +∞.2. Пусть ℳ ∩ 1 является компактом, где 1 = { : ‖‖ ≤ 1} — замкну­тый единичный шар. Тогда существует сходящаяся подпоследователь­ность точек 1 , 2 , . . . такая, что её предел * лежит в ℳ ∩ ℋ.Доказательство. Воспользуемся следующими неравенствами:‖ − Πℳ ‖ ≥ ‖Πℳ − +1 ‖ ≥ ‖+1 − Πℳ +1 ‖.(4.4)Действительно, так как проекция Πℳ находится не дальше от , чем любаядругая точка из ℳ, и подобное рассуждение верно и для Πℋ , получаем, что‖Πℳ − ‖ ≥ ‖ − Πℳ ‖, где = +1 , и ‖ − ‖ ≥ ‖ − Πℋ ‖, где = Πℳ .761. Согласно неравенствам (4.4), последовательности ‖ − Πℳ ‖, =1, 2, .

. ., и ‖Πℳ − +1 ‖, = 1, 2, . . ., являются невозрастающими. Оче­видно, что снизу они ограничены нулём. Таким образом, опять же соглас­но (4.4), они имеют одинаковый предел .Докажем, что = 0, предполагая противное > 0. Тогда существует > 0 такое, что ‖ − Πℳ ‖ > и ‖Πℳ − +1 ‖ > для любых = 1, 2, . . .. Согласно предложению 4.1.1, верно следующее равенство:‖ ‖2 = ‖ − Πℳ ‖2 + ‖Πℳ ‖2 . Так как подпространство ℋ линейно,следующее равенство тоже верно: ‖Πℳ ‖2 = ‖Πℳ − Πℋ Πℳ ‖2 +‖Πℋ Πℳ ‖2 = ‖Πℳ − +1 ‖2 + ‖+1 ‖2 . Следовательно,‖ ‖2 = ‖ − Πℳ ‖2 + ‖Πℳ − +1 ‖2 + ‖+1 ‖2 .Таким образом, ‖+1 ‖2 < ‖ ‖2 − 22 . Расширяя это неравенство по­добным способом, мы получаем, что ‖+ ‖2 < ‖ ‖2 − 22 для любых = 1, 2, .

. .. Выберем = 1, и = ⌈‖ ‖2 /(22 )⌉ + 1. Тогда ‖+ ‖2 < 0,чего не может быть. Таким образом, = 0.2. Рассмотрим последовательность (Πℳ , = 1, 2, . . .). Она ограничена,так как ‖Πℳ ‖ ≤ ‖‖ (согласно Предложению 4.1.1) и ‖Πℋ ‖ ≤ ‖‖для любого ∈ X. Последовательность лежит в компактном множестве,так как ℳ замкнуто относительно операции умножения на скаляр, имы можем растянуть единичный шар так, чтобы он покрывал последова­тельность. Поэтому можно выбрать сходящуюся подпоследовательность(Πℳ ); обозначим её предел как * ∈ ℳ, при этом ‖Πℳ − +1 ‖ =‖Πℳ − Πℋ Πℳ ‖ → 0 при → +∞.

Так как ℋ замкнуто, а про­странство X банахово, проектор Πℋ является непрерывным отображени­ем. Зная, что ‖ − Πℋ ‖ это композиция непрерывных отображений, по­лучаем, что ‖ * − Πℋ * ‖ = 0, * ∈ ℳ ∩ ℋ. Наконец, Πℋ — непрерывное77отображение, и, таким образом, последовательность (Πℋ Πℳ ) сходитсяк * . Таким образом, +1 — требуемая подпоследовательность.Замечание 4.1.1. Предложение 4.1.1 было доказано в [47] для частного слу­чая, в то время как неравенства (4.4) являются обобщениями неравенств [48,(4.1)].4.1.2.

Применение результатов к задаче (4)Применим теорему 4.1.1 к случаю матричной аппроксимации ганкелевымиматрицами неполного ранга (4). Пусть X = R× , то есть X — пространствоматриц размера × , снабжённое скалярным произведением (5), ℋ ⊂ R×— пространство ганкелевых матриц, ℳ = ℳ ⊂ R× — множество матрицранга, не превосходящего . Тогда шаг итерации (4.3) для метода попеременныхпроекций приводит к итерации Кэдзоу (4.1).Известно, что множество ℳ замкнуто по обычной фробениусовской нор­ме [38], и, таким образом, замкнуто по любой норме, так как в пространстве мат­риц все нормы эквивалентны.

Замкнутый единичный шар, очевидно, являетсякомпактом в конечномерном евклидовом пространстве. Таким образом, теоре­ма 4.1.1 выполняется, и в последовательности метода Кэдзоу (4.1) существуетсходящаяся подпоследовательность. Заметим, что существование сходящейсяподпоследовательности может быть выведено из [1]. Однако, доказательствоэтого факта в данной работе основано на иных предположениях; в частности,упор сделан на теорему Пифагора для проекторов на множества, которые за­мкнуты относительно умножения на скаляр.Следующее предложение показывает, что из себя представляет пересече­ние множеств ℳ ∩ ℋ, в котором лежит предельная точка сходящейся подпо­следовательности в последовательности (4.1), полученной методом Кэдзоу.78Предложение 4.1.2.

Пусть min(, − + 1) > . Тогда X ∈ ℳ ∩ ℋ тогдаи только тогда, когда X ∈ , где X = (X).Доказательство. Это прямое следствие из предложения 1.2.1 и предложения2.1.1.4.2. Постановка задачи поиска весовРассмотрим оценку сигнала S0 из ряда X = S0 + с помощью решениязадачи (4), где S ∈ , — случайный вектор с нулевым средним. Пусть Σ обо­значает ковариационную матрицу вектора . Для того чтобы получить ОМПсигнала, необходимо решить задачу (3) с матрицей весов, равной Σ−1 или про­порциональной ей. Например, если соответствует стационарному процессу, товместо обратной к автоковариационной матрице можно брать матрицу весов в(3), обратную к автокорреляционной. Возникает вопрос: можно ли подобратьсоответствующие матрицы L, R из скалярного произведения в пространствематриц (5) таким образом, чтобы достичь требуемых весов?В этом разделе мы изучаем случай, когда ковариационная матрица Σ =Σ ∈ R × случайного вектора является автоковариационной матрицей про­цесса авторегрессии порядка (AR()).4.2.1.

Соотношение между скалярными произведениямиРассмотрим соотношение между (полу)нормами ‖ (Z)‖L,R и ‖Z‖W , где‖Z‖2W = ZT WZ, ‖ · ‖W порождена скалярным произведением (5), L ∈ R× ,R ∈ R× , W ∈ R × — положительно (неотрицательно) определённые, = + − 1. Обозначим элементы L = (, ), R = (, ), W = (, ).Также мы определим ациклическую свёртку двух векторов = * ,∑︀ = (1 , . .

. , )T , = (1 , . . . , )T , = (1 , . . . , )T : = ,,:+−1=79 = + − 1. Обозначим -ю диагональ матрицы A ∈ R длины − ||,состоящую из элементов с индексами (, ), удовлетворяющих равенству − =, как diagA (), = −, . . . , .

Определим свёртку двух матриц C = A * B∑︀∑︀для A ∈ R× , B ∈ R× , C ∈ R × : , = 1 +2 −1= 1 +2 −1= 1 ,1 2 2 , гдеA = (1 ,1 ), B = (2 ,2 ), C = (, ).Теорема 4.2.1. ‖ (Z)‖L,R = ‖Z‖W для любого ряда Z ∈ R × тогда и толькотогда, когда W = W(L, R) = L * R. При этом -я диагональ L * R равна⎞⎛0(||+||−|+|)/2⎟∑︁ ⎜⎟⎜(4.5)diagL*R () =⎜diagL () * diagR ()⎟ ,⎠⎝+=0(||+||−|+|)/2 = −, . .

. , .Доказательство. Чтобы показать равенство норм, необходимо показать равен­ство полускалярных произведений ортов, то есть вычислить:⟨ ( ), ( )⟩L,R = tr(L ( )RT ( )),так как эти элементы составляют матрицу W.Для того чтобы это сделать, необходимо представить скалярное произве­дение в виде линейной комбинации 2 «полу-скалярных произведений»:⟨ ( ), ( )⟩L,R == ∑︁∑︁=1 =1∑︁ ∑︁=1 =1, ⟨ ( ), ( )⟩L,e,, tr(L ( )e, T ( )).Таким образом, мы получили соотношение W =(,) ),=1W, = (,(,),∑︀ ∑︀=1=1 , W, ,— матрицы следующего вида:= tr(L ( )e, T ( )) = ⟨L ( ), ( )e, ⟩F .где80Для удобства, мы обозначили ⟨·, ·⟩F = ⟨·, ·⟩I ,I фробениусово скалярное произ­ведение.Так как ( )e, содержит только один ненулевой -ый столбец, полу­чаем( ( )e, ) :, =⎧⎪⎨−+1 , 0 ≤ − ≤ − 1,⎪⎩0 ,в противном случае.Более того,(L ( )) :, =⎧⎪⎨L :,−+1 , 0 ≤ − ≤ − 1,⎪⎩0 ,в противном случае.Поэтому W, имеет следующий вид:⎧⎪⎨−+1,−+1 , 0 ≤ − ≤ − 1, 0 ≤ − ≤ − 1,(,), =⎪⎩0,в противном случае.Мы можем переписать полученный результат в виде следующей свёртки:∑︁, =∑︁1 ,1 2 2 ,1 +2 −1= 1 +2 −1=что означает W = L * R по определению свёртки двух матриц.(, )-й элемент матрицы W лежит на ( − )-й диагонали W, где − =(1 − 1 ) + (2 − 2 ), что означает, что мы можем переписать полученную свёрткув следующем виде:, =∑︁ ∑︁1 ,1 +1−1 ,+1−1 ,1 −1 =изменение порядка суммирования которой завершает доказательство.Частный случай теоремы 4.2.1 был рассмотрен в [22] и в [28].Пусть Σ является автоковариационной матрицей процесса авторегрессии(AR) порядка .