Вычислительные методы алгебры и оценивания. И.В. Семушкин (2011) (1185350), страница 32
Текст из файла (страница 32)
Справедливы равенства:(1) R(AT ) = R(AT A) ,(3) N (AT ) = N (AAT ) ,(2) R(A) = R(AAT ) ,(4) N (A) = N (AT A) .Доказательство. На основании соотношений подпространств из Теоремы (10.4), утверждение (1) Леммы 10.1 эквивалентно утверждению (4);аналогично этому, утверждение (2) Леммы 10.1 эквивалентно утверждению(3). Поэтому достаточно доказать утверждение (3) и утверждение (4). Чтобыдоказать совпадение N (A) с N (AT A), заметим, что AT Ax = 0, если Ax = 0.В обратную сторону: если AT Ax = 0, то xT AT Ax = 0, т. е. kAxk2 = 0,что влечет Ax = 0. Таким образом, Ax = 0 эквивалентно AT Ax = 0, т.
е.N (A) = N (AT A). Аналогично устанавливается утверждение (3).2Завершая доказательство Теоремы 10.7, используем из только что доказанной Леммы 10.1 утверждение (1). Согласно этому утверждению, rank A == rank AT A. По условию теоремы, rank A = m. Отсюда, (m × m)-матрицаAT A системы (10.8) имеет полный ранг, т. е. (AT A)−1 существует. В этомслучае имеем единственное МНК-решение x̄ = (AT A)−1AT z. Очевидно,это возможно только при n ≥ m (переопределенные системы Ax = z) иrank A = m (полный столбцовый ранг). В других случаях: (i ) при n ≥ m,но rank A = r < m, или (ii ) при n < m, — решение x̄ не может быть единственным.2Каким образом в случае неединственности x̄ выбрать среди x̄ единственный вектор x̄0 , в некотором смысле оптимальный?Определение 10.4.
Оптимальным МНК-решением, или иначе — нормальным псевдорешением системы Ax = z, называется вектор x̄0, который имеет минимальную (евклидову) норму среди всех x̄, удовлетворяющихсистеме Ax̄ = ẑ, ẑ ∈ R(A), (z − ẑ) ⊥ R(A).Замечание 10.3. Пусть rank A = m, когда в согласии с Теоремой (10.7) имеем единственное x̄ = (AT A)−1AT z, оно же x̄0. Если теперь21010.4 Наименьшие квадраты и псевдоинверсиязаписать x̄0 = A+z, где A+ — некоторая матрица, то для этого случая онаопределяется как A+ = (AT A)−1AT .
Эта формула (при условии rank A = m)включает в себя наиболее простой случай, когда n = m. Тогда A−1 существует, A+ = A−1 и x̄0 = A−1z, что совпадает с обычным решением системыAx = z, которая при этих условиях есть стандартная совместная системас квадратной матрицей A.
Таким образом, матрица A+ обобщает понятиеобратной матрицы A−1 на случай, когда матрица A в системе Ax = z произвольна по своим размерам и рангу. В связи с этим она названа псевдообратной матрицей A+ к (n × m)-матрице A; при rank A = m она, как вышеотмечено, равна (AT A)−1AT . Перейдем к общему случаю для A+ .Определение 10.5. Псевдообратная матрица (в общем случае произвольной матрицы A) есть такая матрица A+ , которая из всех решений x̄системы Ax̄ = ẑ, где ẑ ∈ R(A) и (z − ẑ) ⊥ R(A) при произвольном вектореz, выбирает x̄0 с минимальной нормой, определяя его как x̄0 = A+ z.Следствие 10.1.
Проектор на R(A) = L(a1, . . . , am ), где все столбцыa1 , . . . , am ∈ Rn матрицы A не обязательно образуют линейно независимуюсистему векторов, определяется выражением PA = AA+ . Соответственно,(I − AA+) — проектор на N (AT ) = R(A)⊥.Действительно, проекция любого вектора z на R(A) равна ẑ = Ax̄0 == (AA+)z = PA z, а z̃ = z − ẑ = (I − PA )z.2То, что x̄0 (а значит, и A+) существует, ясно из Теоремы 10.7. Однако,единствен ли вектор x̄0 ? В каком подпространстве он лежит и как его найти?Ответить на эти вопросы означает, по существу, выяснить все свойства псевдообратной матрицы A+, поскольку приведенное для нее Определение 10.3ее конструктивно не характеризует.Теорема 10.8 ( [1]).
Пусть x ∈ Rn и A — матрица размера (n × m).Среди всех векторов x̄, минимизирующих kz − Axk2 , то есть удовлетворяющих уравнениюAx̄ = ẑ ,ẑ ∈ R(A) ,(z − ẑ) ⊥ R(A) ,(10.9)или, что эквивалентно, системе нормальных уравнений AT Ax̄ = AT z, вектор x̄0, имеющий минимальную норму, является единственным вектором изR(AT ), то есть вектором видаx̄0 = AT y ,y ∈ Rn .21110 Теоретические основыДоказательство.
Каждый вектор x̄, согласно Теореме 10.1 (или Теоремам 10.2, 10.4), может быть разложен в суммуx̄ = x̄r + x̄n ,x̄r ∈ R(AT ) ,x̄n ∈ N (A) ,x̄r ⊥ x̄n .Поэтому (теорема Пифагора)kx̄k2 = kx̄rk2 + kx̄n k2 ≥ kx̄rk2 .Компонента x̄r сама является решением уравнения Ax̄r = ẑ, так как Ax̄n = 0по определению нуль-пространства N (A). Все x̄ отличаются от x̄r добавлением всевозможных ортогональных компонент x̄n, причем kx̄k > kx̄rk приединственном условии: kx̄n k 6= 0. Наименьшее значение kx̄k = kx̄rk требуетравенства kx̄nk = 0, т.
е. достигается при единственном значении x̄n = 0.Тем самым доказано, что x̄0 = x̄r. Чтобы установить единственность вектора x̄0 = x̄r с минимальной нормой, предположим, что существуют дваразличных x̄1r и x̄2r, оба из R(AT ), такие что для них выполняется (10.9):Ax̄1r = ẑ ,Ax̄2r = ẑ .Тогда, очевидно, имеем A(x̄1r − x̄2r ) = 0, так что (x̄1r − x̄2r) ∈ N (A) == (R(AT ))⊥.
Оказалось, что вектор (x̄1r − x̄2r) ортогонален сам себе, т. е.2(x̄1r − x̄2r)T (x̄1r − x̄2r) = kx̄1r − x̄2rk = 0, и тем самым x̄1r = x̄2r .2Замечание 10.4. Теорема 10.8 устанавливает, что при любом z ∈ Rnx̄0 может быть получен из любого вектора y ∈ Rn , найденного как решениесовместной системы AT A(AT y) = AT z, по формуле x̄0 = AT y.10.5Отыскание псевдообратной матрицыПереформулируем Определение 10.3 псевдообратной матрицы.Определение 10.6. Псевдообратная матрица A+ к матрице A естьтакая матрица, что ∀z (∃x̄0 , x̄0 = A+ z), для которого выполнены условия:(1) Ax̄0 = ẑ, где ẑ — проекция вектора z на R(A): z − ẑ ⊥ R(A);(2) x̄0 ∈ R(AT ).Пример 10.1.
[13]2121 0 0A = 0 1 0 .0 0 010.5 Отыскание псевдообратной матрицыRnR(AT )RmAx̄0 = ẑx̄0Ax̄ = ẑ0x̄0 = A+ ẑAx̄n = 0x̄nẑx̄0 = A+ zzx̄N (A)R(A)0A+z̃ = 0z̃Действие AДействие A+N (AT )Рис. 10.2. Матрица A и ее псевдообратная A+ [13] 01x1T= x1 0 + x2 1 = x1e1 + x2e2 .R(A) = R(A ) = x2000R(A) = L(e1 , e2 ).R(AT ) = L(e1 , e2 ). 00N (A) = 0 = x3 0 ; N (A) = L(e3); N (A) ⊥ R(AT ).1x3z1z11◦ Проектируем z = z2 на R(A). Находим ẑ = z2 .0z3 z11 0 0x̄12◦ Решаем систему Ax̄ = ẑ. Имеем 0 1 0 x̄2 = z2 ⇒ x̄ =0x̄30 0 0 z1← фиксированные,= z2 ← произвольный.x̄321310 Теоретические основыz13◦ Выбираем из x̄ тот x̄0 = z2 , который имеет минимальную норму.0 01TВидно, что x̄0 ∈ R(A ), так как x̄0 = z1 0 +z2 1 = z1 e1 +z2 e2 .004◦ Находим A+ такую, что A+ z = x̄0: z1z1 A+ z2 = z2 0z3Пример 10.2.
[13]µ1 0 0 0A = 0 µ2 0 0 ;0 0 0 0=⇒µ1 > 0,1 0 0A+ = 0 1 0 .0 0 0µ2 > 0 .R(A) = L(e1 , e2) ⊂ R3 = E(e1, e2, e3).z11◦ Проектируем z = z2 на R(A) =⇒ z3 = 0. Имеемz3 01z1ẑ = z2 = z1 0 + z2 1 = z1 e1 + z2 e2 ∈ R(A) .000 x̄1zµ1 0 0 0 1x̄2 z2 ⇒ x̄ =2◦ Решаем систему Ax̄ = ẑ: 0 µ2 0 0 x̄3 =00 0 0 0x̄4 z1 /µ1← фиксированные, z2 /µ2 =x̄3 ← произвольные.x̄4z1 /µ1 z2 /µ2 3◦ Выбираем из x̄ тот x̄0 = kx̄k. 0 , у которого kx̄0k = minx̄021410.5 Отыскание псевдообратной матрицы4◦ Находим A+ такую, что A+ z = x̄0:z1 /µ1z1+ A z2 = z2 /µ2 0 z30⇒µ−1010 µ−12A+ = 000000.00Пример 10.3.
(Обобщающий вышеприведенныепримеры 10.1 и 10.2.)D 0Рассмотрим класс матриц вида Σ == Σ(m, n), где D =0 0= diag (µ1, µ2 , . . . , µr ). Имеем, на основании примеров 10.1 и 10.2, что всегдаD−1 0Σ+ == Σ+(n, m).0 0Теорема 10.9 (О сингулярном разложении матрицы A = A(m, n)).Для произвольной матрицы A = A(m, n) ранга r существуют две ортогональные матрицы Q1 = Q1(m, m) и Q2 = Q2 (n, n) и положительные действительные числа µ1 ≥ µ2 ≥ . .
. ≥ µr > 0, такие что:1. Справедливы равенстваD 0T= Σ(m, n),A = Q1ΣQ2 , Σ =0 0причемµ2iD = diag (µ1 , µ2, . . . , µr ),(10.10)T= λi , где λi — собственные числа матрицы A A.2. Для псевдообратной матрицы A+ справедливо выражение −1D0+++ TA = Q2 Σ Q1 , Σ =.0 0Определение 10.7. Числа µi называются сингулярными числамиматрицы A, и разложение (10.10) называется сингулярным разложениемматрицы A.Доказательство.1. Рассмотрим матрицу AT A. Она — симметрическая или эрмитова (вкомплексном случае). Если A — вещественная, то AT A — симметрическая, то есть она совпадает со своей транспонированной матрицей:(AT A)T = AT A. Если A — комплексная, то A∗A — эрмитова, то естьона совпадает со своей сопряженно-транспонированной: (A∗A)∗ = A∗A.21510 Теоретические основыФундаментальное свойство таких матриц заключается в следующем.Только эрмитовы матрицы обладают одновременно (подробнее см.
нижестр. 233):••вещественными неотрицательными собственными значениями,ортонормированными собственными векторами.Имеем: матрица AT A (n × n) эрмитова.Обозначим: {x1, x2, . . . , xn} — набор собственных векторов в Rn ,{λ1 , λ2 , . . . , λn } — соответствующие собственные значения.Запишем TAT Axi = λi xi ,xi xj = 1, i = j, где i, j = 1, 2, . . . , n.xTi xj = 0, i 6= jУмножим скалярно на xi:xTi (AT A)xi = λi xTi xi = λi kxik2 = λi ,kAxik2 = λi=⇒λi ≥ 0.Пронумеруем λi так, чтобы λ1 ≥ λ2 ≥ .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
