Ванько В.И.Элементы линейной алгебры.МГТУ 2002г (МУ - Элементы линейной алгебры), страница 8

для любого х АХ вЂ” В ф О. Назовем (АХ вЂ” В) невязкой системы, а квадрат нормы невязки — среднеквадратической ошибкой па Гауссу; Гг = (~А Х вЂ” В)~2, для любых х Г ф О, Обратить Гг в нуль нельзя, но попытаемся подобрать х = х так, чтобы минимизировать Гг: Определение. Решением несовместной системы в смысле метода наименьших квадратов Гаусса называется такой вектор х, который минимизирует среднеквадратическую ошибку по Гауссу, Итак, модуль вектора невязки для рассматриваемой си- стемы Г' = (2*- 6,)'+ (Зх- 6,)'+ (4х- 6,)' =~ =~ с1Г~/т1х = 2(2х — Ьт) + 3(Зх — Ьг) + 4(4х — Ьз) = О => =з х = (261 + ЗЬ2 + 462)/(2 + 3 + 4 ) = = [(2, 3, 4~ Ь 1/(АтА) (АтВИАтА В матричной форме имеем: г ЦАХ-В)~г (АХ В)т(АХ вЂ” В) =з сн Г2 (АтА)х2 2(АтВ)х + (ВтВ) т1Гг/т1х = 2(АтА)х — 2(АтВ) О =Ф =в х = (А~В)/(А~А) = х.

Рис. е Рис. Б б4 А, была ближайшей к точке В (концу вектора В), которая не принадлежит пространству столбцов матрицы А. Из всех прямых вида у = С + 01 выбираем ту, которая наилучшим образом аппраксимирует опытные данные (рис. 5). Ошибками (отклонениями опытных данных от предположенной линейной зависимости) явлюотся расстояния по вертикали до прямой, равные (у — С вЂ” 01). Именно эти расстояния возводятся в квадрат, суммируются и сумма их минимизируется, Пусть А = А х„(оз > и), например: А = А3„2 (этот случай допускает иллюстрацию в И.

): з аых1+ а12х2 = 61; ф — Ф а21х1+ а22х2 = 62; 4=> х1 а 1+ х2 а 2 = 6 . а31х1 + а32*2 = 631 Пусть эта система несовместна (рис. 6). Искомое "решение" таково, что если (А х — 6 ) .1 1гаА, то любой вектор у Е 1гаА является линейной комбинацией ( у у1 а 1 + у2 а г = А 1') столбцов матрицы А и оказывэ; ется ортогональным вектору (А х — 6 ): у Е 1гпА. =э у 1 (Ах — 6) =э у ° (Ахх — 6 ) = б =~ э (АУ)т(АХ В) УтАт(АХ В) — У т(АтА Х АтВ) — 0 Так как это равенство выполняется для любого ут, то АтАХ вЂ” АтВ = 0 =э (АтА)Х = АтВ. (е) Система (е), полученная в силу метода наименьших квадратов Гаусса, называется системой нормальных уравнений цля исходной несовместной системы АХ = В.

Исследуем свойства матрицы (АтА). Рассмотрим частный случай: пусть ВлА = и — все столбцы матрицы А линейно независимы между собой. Теорема. Если А = А„,ии (гп > и), ЙйА = и, то (А А! является квадратной симметричной и обратимой матрнцей, т,е, Кй(АтА) = и, иа Ат = Рии> — — > .РА = Сики — квадРатнаЯ матРица, (АтА)т = .4т(Аг)т = АтА — симметрическая матрица. Пля наглядности вычислим ранг произведения (А А)„ т рассматривая случай А = Ази2: / а11 а12 ~ т >г а!1 аы аз> ! А = а21 а22 => .4 ~, а12 а22 азз,) ' аз1 аз2 Пусть базисный минор матрицы А (ггорядок е>о рааш> двум) располо>кен в верхней части матрицы А, тогда, базисный минор матрицы .4т расположен в ее девой части: зто первые два столбца, третий столбед матрицы А есть линейная комбинация первых двух (по теореме о базисном миноре), АтА = < ам ам + агза21 + аз!аз! а>1агз "- а21азг + аз>азз ) а21>>П + а22а21 + а32а31 а12а12 + а22а22 + >132а32 >> а11 + 21 а21 + 31 аз!! а12 + "' а22 + "" а12 .

Столбцы матрицы (АтА) являются линейными комбипапиями столбцов матрицы Ат с непропорциональными коэффициентами (убедитесь в этом!). Поэтому столбцы матрицы (АтА) линейно независимы между собой, тогда В.й(А А) = 2. Обобщая зто рассмотрение, получим: ПК(4™)иха = и Таким образом, система (и) является системой с квадратной невырожденной матрицей: (АтА)Х вЂ” Ат — с. У вЂ” (АтА) 1(Аз В), Полученное по методу наименьших квадратов решение называется пссвдорешением исходной несовместной системы. Проекция точки В (конца вектора !> ) на пространство столбцов матрицы А имеет впд р = А я' =. А(А>А) (АтВ).

(и ) Итак, поло>кениг ближайшей к копну и>.итора Ь гоч. ки р и !гпА оп!>одггзяется 4>ормулой ( .), От> низ ричиая запись перпсиии> !лира, опущсиио>о из копии иси >ори 7> иа прострсзштво сзолбцои >газ рицы .1. Матрица Г = .1(А>.1) Лз иазь>иаегси магрипей проектирования. 6. ЛИНЕЙНЫЕ ОПЕРАТОРЫ 6.1. Определении. Примеры Пусть Ъ' и Ъз> ..>идейные при сгренпгии: сйп> 3У = и, с!!щЪ!г = гп. Определение. Оператором Л, 1ейс>иующим из Ъг в Ъ>г, называется отображеии ..1: 1> -- ЪЧ, соносгаиляюшсе элементу а 6 Ъ' элемент у 6 >>>>: у = А(т) или р = Ак. Проще говоря, оператор;! - зто набор некоторых математических операций, выполи и> зм,гх в опрепеленном порядке, в результате чего вектор т.

из пространства » преобразуется в вектор у из пространства !>!>,(рис. >). Юх =Ах+Вх (х еИ,"). А: я~К' — реР Рнс, 7 (-А)+ А = О. (аА) х = а(А х ) (жх б К~). 1х=х (хеК). С ~ = (А В) х = А(В х ). бВ Пример. Пусть х б К": Х = (хы хз,..., х„)г; да.- на прямоугольная матрица А = А~„„; оператор А есть на бор алгебраических действий, соответствуюгцих умножению матрицы Х на матрицу А слева (по правилу "строка на столбеп"): Матрица-столбец У задает вектор у е К'е. Таким образом, А: К" -~ К'е. Определение. Оператор А: 17 — И' называется линейным, если для любых векторов хз, хз б 'Ч, любых чисел а выполняются равенства 1) А(хз + хз) = Ахз + Ахз — аддитивиость оператора; 2) А(ах) = а(Ах) — однородность оператора.

Возвращаясь к вышерассмотренному примеру, в силу свойств произведения матриц и определения операдии умножения матрицы на число, имеем; А(Х + У) = АХ + АУ; А(аХ) = а(АХ). Теперь, если то преобразование, которое матрица совершает над данным вектором, назвать оператором А, то нужно признать, что оператор А — линейный. Введем нулевой оператор О: Ожх = О ( х б В."). Тождественным оператором назовем оператор 1: 6.2.

Действия над линейными операторами 1. Сложение линейных операторов, Если А и  — линейные операторы в векторном пространстве И.", то их суммой (А + В) называется оператор Вс Легко видеть, что сумма линейных операторов также линейный оператор. Операция сложения линейных операторов обладает следующими (очевидными) свойствами; 1) А + В = В + А — коммутативность; 2) (А + В) + С = А + (В + С) — ассоциативность; 3) А + О = А — основное свойство нулевого оператора; 4) Если через -А обозначить оператор, определяемый так, что ( — А) х = — (А х )( х Е В."), то — А также будет линейным оператором: 2. Умножение линейного оператора на число. Если А— линейный оператор в пространстве В." и а — число, то произведением А на а называется оператор (аА): Очевидно, что аА — линейный оператор.

Операции умножения оператора на число обладает следующими свойствамн (самостоятельно убедитесь в этом!): 1)1 ° А=А;0 А=О;( — 1)А= — А; 2) о(фА) = (а13)А, о,,б — числа; 3) (а+ В)А = аА + ~ЗА; 4) а(А + В) = аА+ аВ. 3. Умножение линейных операторов. Произведением линейных операторов А н В называется оператор С = АВ: х ~ К" =ь х = ~~> х, е,. (~ а лхь) еу — — ~ 4=1 У=1 у;е ", Х=1 Ах = я хь(~ а ле )) к=1 Х=1 А В = ВА = Х (В =-,1-').

— ~ Пи 1-1( ~-и) 70 71 Таким образом, перемножение операторов состоит в их последовательном применении; при ятом сначала производится преобразование В, а затем полученный вектор (В х ) подвергается преобразованию А. Произведение линейных операторов есть линейный оператор: (4В)(х + у)=А(В(х + у))=А(Вх +Ву)=. =АВх 4 АВу =(АВ)х +(АВ)у; (АВ)(а х ) = А(Ва х ) = А(а(В х )) = = аА(В х ) = и((.4В) х, ). Бообпхе говоря, у.лвженио спор»порог, асио»1 му гии и ии„ (гп помните, например, о иекомму'сати»пас ги и!и из иьк ~ матриц).

Операция умножгиня липеииых ~ ион| п~!ииг их~и»,и, следугопгими свойствами: 1) (АВ) С =:!(ВС) - ассоцнатнвнос м; й) (А+ В)С == АС + ВС: С(А+ В) = С.! + СВ днстрнбутивность. Множество линейных операторов А: Ъ' -- лг обо»ии ~и ~ через Х(Ъ', Ъ). Этг>, например, все линейные операторы. лог и торые, действуя иа векторы х б В,, осгилляют их и з гоп жс пространстве, т.с. у = А т б Хл', Пусть А е l,(Ъ', Ъ). Процедура умножения опора ~о!ь»: позволяет одрсделнть степень линейного опер пира: А А =- А1; А.4.4 = Аз;...; А А А ... '1 =- .-!". Линейный оператор В Е ЦЪ', Ъ') яазьгвае гс» обрагиыи к оператору А б !(М, Ъ'), если Из определения обратного оператора: Оператор А Е Х(Ъг, Ъ") действует вза.инно однозначно из Ъ' в Ъ', если 'ух!, хз Е Ъ'(х1 Ф.

хх) = — Ь уг = Ахг Ф уя = 4хя Теорема. Для того, чтобы оператор А Е Х,(Ъ, Ъ") имел обратный, необходимо и достаточно, чтобы А действовал взаимно однозначно из 1' в 1' ( для акал згни вспомните теорему о супхествовании обратной функции в анализе функций одной переменной). 6.3. Матрицы линейных операторов Пусть А Е Х(Ъ", Ъ'); Ъ' = К"; ( е 1, е з,..., е „) = (е) — базис в Ка: Тогда (по свойствам линейных операторов): Ах =А(~ х,е,)=~Схз(Ае,)=~) х,е,; ~=1 1=1 3ж1 и ! ее.

= А е, = ~~1 алу е Ь вЂ” разложение е в базисе (еХ. Гг=1 Имеем (индексы к, у' изменяются независимо): я где у = Х, а лхь — компоненты вектора у в старом базисе. Х Рассмотрим квадратную матрицу А = (а .ь) — эта матрица называется матрицей линейного оператора А в базисе (е) (обязательно указывать базис, в котором вычисляется матрица оператора!). Таким образом, если определен оператор А в линейном векторном пространстве (т.е.