Диссертация (1150844), страница 7
Текст из файла (страница 7)
Возьмём= .Тогда:Z| (S (, Y)) − (0 )| dΞ(Y) ≤ .‖Y‖W <При этом,Z| (S (, Y)) − (0 )| dΞ(Y) < 2.‖Y‖W ≥Таким образом, в (2.7) получаем 1 (, ) < + 2, где правую часть неравенства можно сделать сколь угодно малой выбором .Теорема 2.5.2. Пусть S0 ∈ и управляется ОЛРФ(0 ), — случайныйвектор, имеющий распределение Ξ, T( ) — диффеоморфизм между областью44в R2 и пересечением некоторой открытой окрестности S0 с , T−1 — обратное отображение к T, S0 = T(0 ).
Тогда имеет место следующая слабаясходимость случайных величин:()⇒→0 02 ,где () определена в (2.6).Доказательство. Заметим, что из гладкости T−1 следует:(S )T−1 (Π0 (S0 + Z)) = 0 + J−0 Π(20 ),W (Z) + oZ→0 (‖Z‖).Далее доказательство теоремы полностью аналогично доказательству теоремы2.5.1.Из Теорем 2.5.1 и 2.5.2 получаем следующую слабую сходимость распределений:1 ̂︀(S() − S0 ) ⇒→0 Π(20 ),W ,(2.8)1 ̂︀( () − 0 ) ⇒→0 J−0 Π(20 ),W .(2.9)Эти предельные случайные величины естественно назвать ошибками первого порядка по для оценки сигнала и параметров соответственно.Теперь рассмотрим некоторую несмещённую оценку сигнала ̃︀S(), построенную по X = S0 + , где — случайный вектор с распределением Ξ, и Ξпредставляет из себя многомерное нормальное распределение с нулевым средним и ковариационной матрицей Σ = W−1 . Оценка ̃︀S() должна удовлетворятьусловиям регулярности [42].
Тогда выполняется неравенство Рао-Крамера, которое с учётом нормировки запишем в следующем виде:)︂(︂1 ̃︀−1 TS() ≥ J0 (JTcov0 WJ0 ) J0 ,(2.10)45где J0 — матрица Якоби параметризации T( ) в точке 0 , неравенство выполняется в смысле квадратичных форм [42].
Аналогично, рассмотрим несмещеннуюоценку ̃︀() параметра в параметризации ( ), для которой верно(︂)︂1 ̃︀−1cov () ≥ (JT0 WJ0 ) .Предложение 2.5.1. Пусть Ξ — многомерный нормальный вектор с нулевым средним и ковариационной матрицей Σ = W−1 . Тогда оценка ̂︀S() является асимптотически эффективной при → 0, то есть математическоеожидание её ошибки первого порядка Π(20 ),W из (2.8) является нулевым, аковариационная матрица этой величины достигает границы Рао-Крамера:−1 TTcov Π(20 ),W = J0 (JT0 WJ0 ) J0 = Π(20 ),W ΣΠ(20 ),W .(2.11)Аналогично, оценка ̂︀() вместе с её ошибкой первого порядка (2.9) обладает ровно теми же свойствамиT−1cov J−0 Π(20 ),W = (J0 WJ0 ) .Доказательство. Доказательство производится прямой подстановкой явноговида проектора Π(20 ),W в (2.11) с учётом того, что colspace J0 = (20 ).В частном случае T( ) = S(( ) , ( ) ) по теореме 2.2.1 мы получаем асимптотическую эффективность оценки параметров ОЛРФ и краевых значений.
Возникает вопрос: верно ли это для параметризации вида (1)? Не всегда. Например,если ряд S0 включает в себя полином степени больше нулевой, то представление (1) содержит меньше 2 параметров, следовательно, не является диффеоморфизмом между открытой областью в R2 и пересечением окрестности рядаS0 с .При исследовании случайных рядов и полученных оценок сигнала возникает задача сравнить полученную ошибку с границей Рао-Крамера для проверки46оптимальности оценок. Обычная мера качества оценки в таком случае — среднеквадратическая ошибка (mean squared error, MSE) по всем элементам ряда.Предложение 2.5.2. Рассмотрим ряд S = S0 + , где S0 ∈ и управляетсяОЛРФ(0 ), 0 ∈ R+1 , имеет распределение Ξ — многомерное нормальноераспределение c нулевым средним и ковариационной матрицей Σ. Тогда граница Рао-Крамера для средней по точкам ряда среднеквадратической ошибкиE( 1 ‖̂︀S − S0 ‖2 ) оценки ̂︀S ряда S0 равна2222tr Π(0 ),W ΣΠ(0 ),W = tr(Z(20 )(ZT (20 )Σ−1 Z(20 ))−1 ZT (20 )),(2.12)где W = Σ−1 .В частном случае Σ = 2 I эта величина равна222 2T2tr Π(0 ),W ΣΠ(20 ),W =.(2.13)Доказательство.
Формула (2.12) является следствием формулы (2.11).Докажем формулу (2.13). Так какΠ(20 ),I I Π(20 ),I = Π(20 ),Iи след матрицы-проектора Π(20 ),I равен размерности 2 подпространства, накоторое идёт проекция, получаем требуемое.47Глава 3Численные методы решения задачиаппроксимации временных рядов рядамиконечного рангаВ этой главе мы рассмотрим методы локального поиска для решения задачи (3), с использованием построенной в главе 2 (раздел 2.2) параметризации .3.1.
Методы локальной оптимизацииВначале мы опишем известные методы локальной оптимизации в терминах, введённых в главе 2, а в разделе 3.1.3 предложим новый метод численногорешения задачи (3). Разделы 3.1.4–3.1.6 носят частично технический характер,и часть доказательств перенесена в них.3.1.1. Взвешенный метод Гаусса-Ньютона для задачиаппроксимации рядом конечного рангаРассмотрим модификацию стандартного метода Гаусса-Ньютона (1.6), гдепараметризация ( ) = S( ) c = (( ) , ( ) ), определённая в теореме 2.2.1и зависящая от индекса , меняется на каждой итерации следующим образом.На ( + 1)-м шаге параметризация строится в окрестности 0 = () . Индекс , который определяет параметризацию, выбирается соответствующим максимальному по модулю значению 0 .
Так как параметризация не зависит от умно(0)(0)жения 0 на константу, всегда можно считать, что = −1 и | | ≤ 1 длялюбого , 1 ≤ ≤ + 1.48Получаем следующий шаг:+1 = + (JS ( ))†W (X − S( )).(3.1)Чтобы применить метод, необходимо вычислить матрицу Якоби JS ( )и значение S(( ) , ( ) ). Формально, мы можем произвести эти вычисления; сдругой стороны, прямое вычисление неустойчиво и очень затратно по времени.3.1.2. Метод Variable projection для задачи аппроксимации рядомконечного ранга (метод VPGN)Так как ( ) при решении (3) имеет вид (1.7), применим принцип Variableprojection.
А именно, ( ) = S(( ) , ( ) ), и согласно (2.1), в S(( ) , ( ) ) частьпараметров ( ) входит линейным образом.Так же, как и в (2.1), мы рассмотрим задачу (3) в окрестности ряда S0 ∈(0) , и предположим, что ряд управляется ОЛРФ(0 ) такой, что = −1.Заметим, что в окрестности 0 вектор однозначно задаётся с помощью ( ) ,и, наоборот, ( ) ∈ R расширяется до ∈ R+1 с помощью вставки −1 на -юпозицию.Подставим в (1.9) = , * = * ⊂ , = ( ) , G() = G, где G =(︁)︁−1ZZℐ( ), : (см.
(2.1)), * () = (G)†W X, G() * () = Π(),W X = S* (( ) ).Тогда мы получаем задачу, эквивалентную проекции элемента на подмножество* вместо , в которой параметры ( ) исключены:Y* = arg min ‖X − Y‖W с * = {Π(),W X|( ) ∈ R }.(3.2)Y∈*Перепишем задачу (3.2) только в виде задачи поиска параметра ( ) :*( ) = arg min ‖X − S* (( ) )‖W .(3.3)( ) ∈RТаким образом, для численного решения (3), достаточно рассмотреть итерациипо нелинейной части параметров.
В точности этот подход использован в [16, 17].49Обозначим JS* (( ) ) матрицу Якоби отображения S* (( ) ), тогда итерацияГаусса-Ньютона для (3.3) выглядит как:(︁)︁†(+1)()()()( ) = ( ) + JS* (( ) )(X − S*X (( ) )),(3.4)W()где JS* (( ) ) имеет вид (3.8), приведённый в разделе 3.1.4.3.1.3.
Модификация метода Variable projection для задачиаппроксимации рядом конечного ранга (метод MGN)Предложим новый метод решения задачи (3) с помощью модификацииитерации Гаусса-Ньютона.Вернёмся к задаче с полным набором параметров (( ) , ( ) ) и применим̃︀ ) = S* (( ) ). Это можно сделать,подход, предложенный в замечании 1.3.1 с (так как (1.8) выполнено с () = (). Таким образом, мы можем рассмотреть(︀ (+1) )︀(︀ (+1) (+1) )︀S* ( )∈ * как результат ( + 1)-й итерации вместо S ( ) , ( )∈ .
Оказывается (см. раздел 3.2.1), что тогда мы можем производить болееустойчивые вычисления. Предложенная модификация схожа с методом VPGN,использующим метод Variable projection (сравните с (3.4)), так как мы можемотбросить часть параметров ( ) и получить следующую итерацию:)︂(︂(︁)︁†)︀()()()(+1)()JS (( ) , ( ) )(X − S* (( ) ),( ) = ( ) + W(3.5):,{+1,...,2}()()где ( ) взяты как соответствующие краевые значения S* (( ) ).(+1)Как и в методе Variable projection, S* (( ) ) ∈ * для каждого .Следующая теорема 3.1.1 даёт вид итерации (3.5), подходящей для устойчивой реализации.Теорема 3.1.1.
Итерация (3.5) эквивалентна следующей:(+1)()= ( ) + M† QT (() )Π((() )2 ),W (X − Π(() ),W (X)),(︁ (︀)︁() )︀T*где M = −S( ), : , S = +1 S ( ) .( )(3.6)50Теорема доказана в техническом разделе 3.1.5.Итак, мы построили модификацию (3.6) шага (3.5) таким образом, чтобыиметь возможность уменьшить сложность вычислений, сведя основную часть квычислению проекций на () и (2 ). Алгоритмы для их вычисления обсуждаются в разделе 3.2.1.
Полный алгоритм, соответствующий предложенномуметоду — алгоритм 3.3.5.Раздел 3.4 завершают три подраздела с техническими деталями относительно вида итерационных шагов методов VPGN, MGN и их сравнения.3.1.4. Вычислительная форма метода Variable Projection (VPGN)Вид шага (3.4) в явном виде содержится в [17, Proposition 3]. Предложиминой вид матрицы Якоби JS* , более удобный для реализации и сравнения методов MGN и VPGN.Лемма 3.1.1.
Верно следующее:Π(),W X = W−1 Q()Γ−1 ()QT ()X,(3.7)где Γ() = QT ()W−1 Q(), при этом матрица Якоби JS* (( ) ) отображенияS* (( ) ) = Π(),W X задана соотношением(JS* (( ) )) :, = −W−1 Q()Γ−1 ()QT ( )Π(),W X−− Π(),W W−1 Q( )Γ−1 ()QT ()X, (3.8)где = (( )) — -й элемент множества ( ).Доказательство. Приведём доказательство первой формулы. РавенствоS* (( ) ) = Π(),W (X) ∈ *соответствует решению следующей квадратичной задачи:(︂)︂1S* (( ) ) = arg minYT WY − YWX ,2YQT ()Y=051что, используя формулы [35, (16.4), (16.15)], даёт нам выражение (3.7).Доказательство формулы (3.8) строится путём взятия производной выражения (3.7) по и применением следующей цепочки равенств:(︀)︀−1 T(Π(),W X)′ = −W−1 Q( ) QT ()W−1 Q()Q ()X−(︀)︀−1 T(︀)︀−1− W−1 Q() QT ()W−1 Q()Q ( )X + W−1 Q() QT ()W−1 Q()·(︀)︀ (︀)︀−1 T· QT ( )W−1 Q() + QT ()W−1 Q( ) QT ()W−1 Q()Q ()X =(︀)︀−1 T= −W−1 Q() QT ()W−1 Q()Q ( )Π(),W X−(︀)︀−1 T− Π(),W W−1 Q( ) QT ()W−1 Q()Q ()X.3.1.5.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
