Вычислительные методы алгебры и оценивания. И.В. Семушкин (2011) (1185350), страница 31
Текст из файла (страница 31)
Если оба L и M ∈ Rn и выполнено хотя бы одно изследующих условий:(1) L = M⊥ (L состоит из векторов, ортогональных к M),(2) M = L⊥ (M состоит из векторов, ортогональных к L),(3) L и M взаимно ортогональны и dim L + dim M = n,20310 Теоретические основыто L и M являются ортогональными дополнениями друг к другу. Есливыполнено хотя бы одно из этих трех эквивалентных условий, то любой вектор x ∈ Rn может быть разложен единственным образом в сумму x = x̂ + x̃,где x̂ ∈ L, x̃ ∈ M. Составляющие этого разложения x̂ и x̃ являются проекциями вектора x на подпространства L и M, соответственно, и они взаимноортогональны, т. е.
x̃T x̂ = 0.Доказательство. Все, что есть в этой формулировке, уже доказано вТеореме 10.1, кроме последнего утверждения о проекциях вектора x. Чтобыдоказать и это, напомним, что проекцией вектора x на подпространство Lназывается вектор из L, ближайший к вектору x.Для любого y ∈ L имеемkx − yk2 = kx̂ + x̃ − yk2 = k(x̂ − y) + x̃k2 = kx̂ − yk2 + kx̃k2 ,так как x̂ − y ∈ L и (x̂ − y) ⊥ x̃. Поэтому kx − yk2 ≥ kx̃k2 , и строгоенеравенство выполняется, если и только если y 6= x̂. Следовательно, x̂ —проекция x на L.2Замечание 10.1.
Проекцию x̂ вектораx на подпространство L будемобозначать следующим образом: x̂ = (x L).10.2Обобщение на гильбертовы пространстваЗамечательно, что возможности линейной алгебры не ограничиваютсяконечномерными пространствами, состоящими лишь из детерминистскихвекторов. Реальные прикладные задачи имеют дело с функциями, причем необязательно детерминистскими, а случайными.
Необходимость оперироватьсо значениями функции на интервалах независимой переменной приводитк понятию бесконечномерного вектора. Действительно: любую функцию наинтервале значений аргумента можно рассматривать как вектор с континуальным количеством компонент, равных значениям этой функции при изменении аргумента в своем интервале.
Дальнейшее усложнение картины мыполучаем, когда рассматриваем случайные функции, то есть функции, принимающие значения из некоторого выборочного, вероятностного пространства. Эти обобщения содержатся в теории гильбертовых пространств случайных переменных, строгое построение которой можно найти, например, вфундаментальной монографии [92].20410.2 Обобщение на гильбертовы пространстваВ гильбертовых пространствах, обозначаемых H, сохраняются все основные определения.Определение 10.1. Подпространством L векторного пространства Xназывают любое подмножество L данного множества X, L ⊆ X, на которомx, y ∈ L влечет αx + βy ∈ L для всех α, β ∈ R. При этом L называютсобственным подпространством, если L 6= X, т.
е. L ⊂ X. Для любого множества L ⊆ X обозначение Sp {L} используют для множества всех конечныхлинейных комбинаций элементов множества L. Множество Sp {L} называютлинейной оболочкой 5 .В гильбертовых пространствах, как и в конечномерных, понятие внутреннего (скалярного) произведения дает абстрактную формулировку концепцииугла, и как результат, обобщенное понятие перпендикулярности.Определение 10.2. Векторы x, y ∈ H называются ортогональными,если (x, y) = 0, и это обозначают записью x ⊥ y.
Если S ⊂ H есть любоеподмножество (и, в особенности, если S есть подпространство) в H, тогдапишут x ⊥ S, если ∀s ∈ S , x ⊥ s. Подобно этому, обозначение S ⊥ T длядвух подмножеств S и T в H, указывает, что все элементы подмножества Sортогональны всем элементам подмножества T .Приведем главный результат геометрии гильбертовых пространств. Онназывается Теоремой о проекции. Как и в случае конечномерных пространств (см. подразд. 10.1) он просто устанавливает тот факт, что кратчайший путь от точки до плоскости лежит на перпендикуляре от этой точки доданной плоскости (рис.
10.1). Нижеследующая Теорема о проекции обобщаетэтот результат на гильбертовы пространства.Теорема 10.3 (Теорема об ортогональной проекции [92]). Пусть Lесть собственное подпространство некоторого гильбертова пространства Hи пусть x есть точка в H. Тогда x может быть единственным образом представлено в формеx= y+zс y ∈ L и z ⊥ L. Кроме того, для всех w ∈ L имеемkx − wk ≥ kx − yk ,где равенство возможно, если и только если w = y (см.
рис. 10.1).Доказательство. См. [92].52Span = оболочка.20510 Теоретические основыxHx−wL0ywРис. 10.1. Теорема об ортогональной проекцииМетод наименьших квадратов заключается в практическом примененииэтой теоремы, т.е. в отыскании вектора y ∈ L ⊂ H, ближайшего к заданномувектору x ∈ H и x ∈/ L.
Обобщение на гильбертовы пространства позволяетпользоваться этим методом для обоснования многих теоретических результатов в широком классе линейных стохастических систем, включая: теориюоценивания, теорию оптимальной фильтрации и предсказания, теорию параметрической идентификации стохастических динамических систем и теориюадаптивного управления [92].10.3Проектирование в конечномерных пространствахВернемся к конечномерным пространствам. На основании Теоремы 10.2может быть построено доказательство следующего утверждения, в которомиспользуется понятие ранга матрицы A, а именно: rank A равен максимальному числу строк (или столбцов) матрицы A, образующих линейно независимую систему.Теорема 10.4 ( Основная теорема линейной алгебры).С любой(n × m)-матрицей A, имеющей rank A = r, ассоциированы четыре фундаментальных подпространства:(1) R(AT ) — пространство строк матрицы A, dim R(AT ) = r,(2) N (A) — нуль-пространство, т.
е. ядро матрицы A, dim N (A) = m − r,(3) R(A) — пространство столбцов (образ) матрицы A, dim R(A) = r,20610.3 Проектирование в конечномерных пространствах(4) N (AT ) — левое нуль-пространство матрицы A, dim N (AT ) = n − r,при этомN (A) = (R(AT ))⊥ ,N (AT ) = (R(A))⊥ ,R(AT ) = (N (A))⊥ ,R(A) = (N (AT ))⊥ .Последнее означает, что система Ax = z имеет решение тогда и только тогда,когда вектор z ⊥ N (AT ), то есть z ∈ R(A) тогда и только тогда, когда zортогонален к каждому решению системы AT y = 0.Базовые понятия, содержащиеся в этой теореме, широко используются вдальнейшем.Определение 10.3.
Квадратная матрица P называется матрицейпроектирования или проектором на L, если (x − P x) ⊥ L, т. е. для всехx ∈ Rn проекция x̂ = P x.Теорема 10.5.(1) Проекционная матрица P обладает свойствами:(i) P 2 = P (идемпотентность),(ii) P = P T (симметричность).(2) Любая матрица P , обладающая этими свойствами, является проекционной матрицей, причем она проектирует любой вектор на свое пространство столбцов, R(P ).(3) Если L = L(a1 , . . . , am ), ai ∈ Rn и {a1 , . . .
, am } — базис в L, тоP = PA = A(AT A)−1AT , где A = [a1 | · · · | am ] – матрица, столбцамикоторой служат векторы ai (i = 1, 2, . . . , m).Доказательство.(1) Свойство (i). Определение проектора на L означает, что∀x {P x = x̂, x = x̂ + x̃, x̂ ∈ L, x̃ ⊥ L, P x̃ = 0} .Отсюда∀x {P 2 x = P x̂ = P (x − x̃) = P x − P x̃ = P x, (P 2 − P )x = 0} .Следовательно, P 2 = P .Свойство (ii). Имеем ∀x, y {P x ∈ L, (I − P )y ∈ L⊥}.
Отсюда(P x)T (I − P )y = 0, xT (P T − P T P )y = 0, P T = P T P, P == (P T P )T = P T P . Следовательно, P = P T .20710 Теоретические основы(2) Пусть P есть (n × n)-матрица со свойствами (i) и (ii) из предыдущегопункта теоремы. Имеем P x ∈ R(P ). В то же время R(P ) есть множество векторов вида P y, где y – любой вектор из Rn .Найдем скалярное произведение(x − P x)T P y = xT (I − P T )P y = xT (P − P T P )y == xT (P − P 2 )y = xT (P − P )y = 0 .Следовательно, для любого x ∈ Rn произведение P x есть проекциявектора x на R(P ).(3) Пусть P = A(AT A)−1AT .
Имеем P x ∈ L = R(A). В то же время R(A)есть множество векторов вида Ay, где y — любой вектор из Rn . Найдемскалярное произведение(Ay)T (x − P x) = y T AT [I − A(AT A)−1AT ]x == y T [AT − AT A(AT A)−1AT ]x = 0 .Следовательно, x − P x ⊥ L для всех x ∈ Rn .2В качестве простого следствия отсюда легко видеть, что проекция вектора x на L(y) задается формулой (xT y)y/kyk2, если y 6= 0. Также в качестве следствия можно получить так называемую теорему разложенияФурье [1].Теорема 10.6 (Теоремa разложения Фурье [1]).
Пусть дано собственное подпространство L = L(a1, . . . , am ) ⊂ Rn и {a1, . . . , am } — ортонормированный базис в L. Тогда для произвольного x ∈ Rn проекция x̂ на L задаетсяформулой" m#Xx̂ =ai (ai )T x = AAT x ,i=1где A = [a1 | . . . | am ], т. е. P = PA = AAT , или же равносильной формулойx̂ =mXi=1T ii(x a ) a =mX(x, ai) ai .i=1Кроме того, легко видеть в качестве следствия Теоремы 10.5, что если P естьпроектор на L, то (I −P ) есть проектор на L⊥, где L = R(P ) и L⊥ = N (P T ).Замечание 10.2. Теорема 10.5 в пункте (3) определяет матрицупроектирования на пространство R(A) столбцов данной (n × m)-матрицы20810.4 Наименьшие квадраты и псевдоинверсияA, когда rank A = m.
Эту матрицу удобно обозначить PA . Теорема 10.5устанавливает, что в этом случае PA = A(AT A)−1AT , в то время как Теорема 10.6 рассматривает частный, но для вычислений очень удобный подслучай, когда AT A = I, при этом PA = AAT . Наиболее общий случай проектирования на R(A), когда (n × m)-матрица A произвольна и не ограниченаусловием rank A = m, рассмотрен ниже (подразд. 10.4).10.4Наименьшие квадраты и псевдоинверсияЛинейная задача наименьших квадратов возникает из необходимостирешать систему линейных алгебраических уравнений Ax = z с произвольнозаданными (n × m)-матрицей A и правой частью z ∈ Rn . При этом в силупроизвольности A и z система может оказаться несовместной (в этом случае правильнее писать Ax ≈ z) или же иметь одно или бесконечно многорешений x ∈ Rm . Решение линейной системы Ax ≈ z в смысле наименьшихквадратов 6 определяют как вектор x̄, доставляющий наименьшее значениеквадратическому критерию качестваJ(x) = kz − Axk2 = (z − Ax)T (z − Ax) .(10.7)Таким образом,x̄ , arg minm (z − Ax)T (z − Ax) .x∈RОчевидно, данное определение эквивалентно соглашению принять в качестве МНК-решения любой вектор x̄, если и только если Ax̄ = ẑ, где ẑ —проекция z на R(A).Теорема 10.7.
МНК-решение x̄ системы Ax = z, где A = A(n, m),удовлетворяет системе нормальных уравнений:AT Ax̄ = aT z .(10.8)Это решение всегда существует, хотя может быть не единственным. Оноединственно тогда и только тогда, когда A имеет полный столбцовый ранг,rank A = m.Доказательство.
По определению x̄ имеем Ax̄ = ẑ, (z − ẑ) ⊥ Ac. Здесьc — любой вектор из Rm . Это означает, что∀c ∈ Rm ,6(Ac)T (z − ẑ) = cT (AT z − AT Ax̄) = 0 .Иначе, МНК-решение.20910 Теоретические основыСледовательно, AT z − aT Ax̄ = 0, т. е. x̄ удовлетворяет (10.8). Эта системавсегда совместна, так как оба вектора AT z и AT (Ax̄) принадлежат одномуи тому пространству R(AT ) при ∀x̄ ∈ Rm . Для установления условия единственности решения x̄ докажем промежуточный результат.Лемма 10.1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
