Вычислительные методы алгебры и оценивания. И.В. Семушкин (2011) (1185350), страница 30
Текст из файла (страница 30)
С помощью QR-разложения матрицы A решить систему линейныхуравненийAx = b,где вектор b = (−8, 11, 3)T .1949.4 Задачи для контрольных заданий и экзаменав. С помощью QR-разложения найти матрицу A−1 и вычислить числоMA обусловленности матрицы A в норме k·k∞ = max {|xi|}, x ∈ R3 .i=1,2,3Задача 42Для матрицывыполнить следующее:1A=−2−23 −34 15 −7а. Построить QR-разложение матрицы A с помощью ортогональных преобразований (Хаусхолдера / Гивенса / ГШО / МГШО).б.
С помощью QR-разложения матрицы A решить систему линейныхуравненийAx = b,где вектор b = (−1, −3, 4)T .в. С помощью QR-разложения найти матрицу A−1 и вычислить числоMA обусловленности матрицы A в норме k·k∞ = max {|xi|}, x ∈ R3 .i=1,2,3Задача 43Для матрицывыполнить следующее:1A=−2−23 −64 75 −1а. Построить QR-разложение матрицы A с помощью ортогональных преобразований (Хаусхолдера / Гивенса / ГШО / МГШО).б. С помощью QR-разложения матрицы A решить систему линейныхуравненийAx = b,где вектор b = (9, −3, 6)T .1959 Фонд задачв. С помощью QR-разложения найти матрицу A−1 и вычислить числоMA обусловленности матрицы A в норме k·k∞ = max {|xi|}, x ∈ R3 .i=1,2,3Задача 44Для матрицывыполнить следующее:1A = −2−23 −24 −1 5 −9а.
Построить QR-разложение матрицы A с помощью ортогональных преобразований (Хаусхолдера / Гивенса / ГШО / МГШО).б. С помощью QR-разложения матрицы A решить систему линейныхуравненийAx = b,где вектор b = (−2, −6, −7)T .в. С помощью QR-разложения найти матрицу A−1 и вычислить числоMA обусловленности матрицы A в норме k·k∞ = max {|xi|}, x ∈ R3 .i=1,2,3Задача 45Для матрицывыполнить следующее:1A = −2−23 −74 95 1а. Построить QR-разложение матрицы A с помощью ортогональных преобразований (Хаусхолдера / Гивенса / ГШО / МГШО).б. С помощью QR-разложения матрицы A решить систему линейныхуравненийAx = b,где вектор b = (2, 6, 7)T .в. С помощью QR-разложения найти матрицу A−1 и вычислить числоMA обусловленности матрицы A в норме k·k∞ = max {|xi|}, x ∈ R3 .i=1,2,3196IIЛинейное оценивание10Теоретические основыПусть два вектора x ∈ Rn и z ∈ Rm связаны (в общем случае) приближенным равенством z ≈ Ax.
Требуется выбрать такое значение x̄ вектораx, которое минимизирует квадрат отклонения v , z − Ax, т. е. найтиx̄ = arg min(z − Ax)T (z − Ax) .xМетод отыскания такого x̄ был предложен Лежандром в 1805 году в видеалгебраической процедуры и обоснован как статистическая процедура Гауссом в 1809 году (хотя утверждается, что рукопись Гаусса была известна нанемецком языке уже с 1806 года [97]). Гаусс в 1809 году заявлял, что пользовался этим методом как алгебраической процедурой уже в 1795 году, чемвызвал немалое раздражение Лежандра [137].Таким образом, с момента возникновения метод наименьших квадратов(МНК) рассматривается как процедура алгебраическая или процедура статистическая, но какого-либо противопоставления этих процедур нет. Естьлишь разные точки зрения: ставить задачу с позиций Линейной алгебры(ЛА) или же с позиций Теории вероятностей (ТВ) и Математической статистики (МС).
ЛА придает задаче наименьших квадратов лаконичную форму,позволяет анализировать все решения этой задачи и формулировать метод.ТВ и МС дают возможность подходить к этой задаче не формально алгебраически, а с точки зрения неопределенности, присущей реальным экспериментальным данным z. Замечательно, что МС, формулируя задачу независимои совершенно в других терминах, приводит к тем же аналитическим решениям, что и ЛА. Можно говорить, что МС дает статистическую интерпретацию для чисто алгебраической задачи и алгебраического метода решениянесовместных систем линейных алгебраических уравнений z ≈ Ax. Вычислительная линейная алгебра (ВЛА) предлагает множество идей и подходовдля эффективной численной реализации МНК.10 Теоретические основыВ настоящее временя МНК имеет множество приложений и эффективныхчисленных реализаций и часто излагается как раздел Эконометрики [19],Математических методов обработки данных [49, 50], как Прикладной регрессионный анализ [34] или Регрессионное моделирование [26].Приводимый ниже материал имеет базовый теоретический характер.В последующих разделах методы ВЛА применяются для изложения эффективных численных алгоритмов решения этих задач.10.1Конечномерные линейные пространстваМножество L в Rn (L ⊆ Rn ) называется линейным подпространствомпространства Rn всех вещественных n-мерных 1 векторов, или, короче, подпространством в Rn , если при любых скалярных величинах α и β принадлежность x ∈ L и y ∈ L влечет принадлежность αx + βy ∈ L.
Это выражается следующей формулой: 2∀α, β ∈ R1 ((x ∈ L & y ∈ L) ⇒ (αx + βy ∈ L)) .Линейная независимость системы {a1 , . . . , am } ∈ Rn означает, что справедлива импликация!mXmλi ai = 0 ⇒ ∀ λi = 0 ,i=1i=1в противном случае система называется линейно зависимой.Подпространство L ⊆ Rn называется m-мерным, т. е. имеющим размерность dim L = m, если в нем имеется такая линейно независимая системавекторов {a1, . . . , am }, что добавление к этой системе любого вектора a ∈ Rnдает уже линейно зависимую систему, содержащую m + 1 векторов.
3 Этовыражается следующей формулой:!!!mXm1m&λi ai = 0 ⇒ ∀ λi = 0∃ {a , . . . , a } ∈ Li=1&1∀a ∈ LmXi=1λi ai + λi+1a = 0!i=1!!& (λi+1 6= 0).n-мерный вектор содержит n-компонент.Импликация A ⇒ B означает: «из A следует B», или «A влечет B», или «если A, то B».3Такая система {a1 , . . . , am } называется максимальной линейно независимой системой.220010.1 Конечномерные линейные пространстваТак как λm+1 6= 0, тоa=mXµi ai ,i=1µi = −λi /λm+1 .Следовательно, любой вектор a ∈ L, где dim L = m, может быть представлен в виде линейной комбинации векторов {a1 , . . .
, am }. Система векторов{a1 , . . . , am }, обладающая этим свойством, образует базис в L. В этом случаезаписывают L = L(a1 , . . . , am ) и говорят, что L натянуто на {a1 , . . . , am }.Если каждый вектор из L может быть выражен линейной комбинациейсистемы векторов a1 , . . . , am , то L называют линейной оболочкой векторов{a1 , . . . , am }.Множество L0, состоящее из одного нулевого вектора 0, является подпространством в Rn размерности 0 и называется нулевым подпространством.n-мерное евклидово пространство En — это пространство Rn , в которомопределено скалярное произведение двух векторов x и y по формуле (x, y) == x1y1 + · · · + xnyn = xT y.
4 Норма kxk вектора x ∈ En равна (x, x)1/2,то есть kxk2 = xT x. Расстояние между x, y ∈ En есть kx − yk. Векторыx и y ортогональны, x ⊥ y, если их скалярное произведение равно нулю:(x, y) = xT y = 0. Вектор v ∈ Rn ортогонален к L, v ⊥ L, если он ортогоналенк любому вектору u ∈ L. Ортогональное дополнение к L, обозначаемое L⊥,есть множество всех векторов в Rn , каждый из которых ортогонален к L.Теорема 10.1 ( [25]).Пусть L0 ⊂ L ⊂ Rn . Тогда:(1) существуют целое число m, 1 ≤ m < n, и ортонормированный базис{a1 , . . .
, am } в L. Если этот базис продолжить любым способом до ортонормированного базисаa1 , . . . , am , am+1, . . . , an(10.1)в Rn , то линейное подпространство M с базисом am+1, . . . , an обладаетсвойствами:(2) M = L⊥,(3) L = M⊥ ,(4) для любого вектора x ∈ Rn существует единственное разложениеx = x̂ + x̃ ,4x̂ ∈ L, x̃ ∈ M.(10.2)Везде, где не оговорено противное, в этой книге рассматривается пространство вещественных чисели, кроме того, любой вектор ассоциируется с матрицей-столбцом.20110 Теоретические основыДоказательство.(1) Так как L отлично от нулевого подпространства, L ⊃ L0, то в нем существует вектор a, отличный от 0.
Образуем нормальный (т. е. с единичнойнормой) вектор a1 = a/kak. Если в L найдется вектор, ортогональныйк a1 , нормируем его аналогично и обозначим a2 . Если найдется вектор,ортогональный к a1 и к a2 , нормируем его и обозначим a3 . Продолжаяэтот процесс, завершим его построением ортонормированной системывекторов {a1 , . . . , am }, где m ≥ 1 и m < n. Действительно, a1 ∈ L,но m не может быть равно n. В противном случае векторы {a1 , . . . , an }образовали бы базис в L (так как ортонормированные векторы линейнонезависимы), что означало бы L = Rn . Однако по условию L не совпадает с Rn (L ⊂ Rn ), поэтому m < n.Построенная система {a1 , .
. . , am } есть базис в L. Действительно, вместес векторами {a1 , . . . , am } к L принадлежат и все их линейные комбинации, то есть векторы видаu=mXλi ai ,λi = (u, ai) .(10.3)i=1Однако кроме них, других векторов в L нет. Допустив противное, следовало бы считать, что и векторы видаx=mX(x, ai) ai + y ,(10.4)i=1где y 6= 0, входят в L, x ∈ L.
А так как все ai ∈ L, то и векторmXy =x−(x, ai) aii=1следовало бы включить в L. Но для всех k = 1, . . . , m имеемkk(y, a ) = (x, a ) −mX(x, ai)(ai , ak ) = 0 ,(10.5)i=1то есть ∀k = 1, . . . , m (y ⊥ ak ). Пронормированный вектор y/kykмог бы стать тем am+1 , который расширил бы систему {a1 , . . . , am } досистемы {a1 , . . . , am , am+1}. Однако это невозможно из-за доказанногоограничения для числа m. Тем самым утверждение (1) теоремы доказано.20210.1 Конечномерные линейные пространства(2) Поскольку m < n, в Rn существует вектор x, не зависящий линейно от{a1 , . . . , am }, то есть выражаемый равенством (10.4), в котором y 6= 0,y ∈ Rn . Так как для y справедливо (10.5), построение базиса в Rn можнопродолжить, как только что указано, до (10.1). Но любой вектор v ∈ Mопределяется, подобно (10.3), в видеv=nXλi ai ,λi = (v, ai) .(10.6)i=m+1Очевидно, что v ⊥ u, и если известно, что какой-нибудь вектор a ∈ Rnортогонален ко всем векторам из L, a ⊥ L, то a ∈ M.
Тем самымдоказано утверждение (2) теоремы.(3) Имеем u ⊥ v. Если для какого-нибудь вектора a ∈ Rn известно, чтоa ⊥ M, то a ∈ L. Доказано утверждение (3) теоремы.(4) Наконец, если x – произвольный вектор в Rn , то единственно его представлениеnXx=µi ai ,i=1так как единственным образом определяются числа µi = (x, ai) = xT ai ,называемые числовыми проекциями вектора x на направление единичного вектора ai . Отсюда единственно разложение (10.2), причемx̂ =mXk=1iµi a ∈ L,x̃ =nXk=m+1µi ai ∈ M .2Теорема 10.1 содержится в стандартных курсах линейной алгебры [25]и для метода наименьших квадратов может считаться отправной точкой.Ее называют теоремой об ортогональном разложении пространства Rn иформулируют также следующим образом [13].Теорема 10.2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
