IV Канатников А.Н., Крищенко А.П. Линейная алгебра (1081385), страница 17
Текст из файла (страница 17)
Рассмотрим систему из п линейных алгебраических уравнений (СЛАУ) относительно /с неизвестных апх1+... +аыхь = Ь1 ажх1 +... + аьзхь = Ьз, (3.16) а„1х1+... + аь„хь = Ь„, или в матричной записи Ах = 6. (3.17) Каждому набору значений неизвестных сопоставим числа 4 = Ь; — (а1 х1+. "+ анхь), ю' = 1, и, которые называют невязка ив уравнений системы для заданного набора значений неизвестных. Очевидно, что набор значений неизвестных является решением системы тогда и только тогда, когда соответствующие ему невяэки всех уравнений системы равны нулю.
Отметим, что функция 2 у(хь...,хь) = ~ [Ь; — (апх~ +... +аыхь) ~ на решениях системы равна нулю и положительна в остальных случаях. Поэтому ее можно рассматривать как оценку отклонения набора значений неизвестных от точного решения системы. Если система несовместна, то часто возникает задача найти вместо отсутствующих решений такой набор значений неизвестных, который приводит к наименьшему значению функции Такой подход в решении некорректной (т.е. не имеющей решений) задачи называют метподо и иаи иеиьших кеадрапзов, поскольку ищется минимум функции, являющейся суммой квадратов.
113 Д.3.2. Метод нанненьших квадратов Сформулированная задача по своему типу относится к классу задач минимизации функций многих переменных (Ъ") и может быть решена общими методами поиска минимума. Однако ей можно придать алгебра-геометрическую интерпретацию и полностью решить методами линейной алгебры. Для придания задаче такой интерпретации будем трактовать столбцы коэффициентов при неизвестных, столбец правых частей уравнений (3,1б) как столбцы координат векторов ам ..., аь, Ь евклидова ари4)метического пространства К" в стандартном базисе, отождествляя при этом векторы с их столбцами координат (см.
замечание 1А). Тогда и набор невязок уравнений системы можно рассматривать как вектор с( = (Им ..., Ио) е Ко, который, согласно определению невязок, определяется соотношением е1 = Ь вЂ” (х1а1+... + хьаь). Число цЩ назовем невлзкой СЛА У (3.17). Вычислив скаляр- ный квадрат вектора И, находим )1Щ = у(хм...,хл).
Следовательно, задача сводится к определению таких действительных коэффициентов хм ..., хь, при которых величина )ф! имеет наименьшее значение. Решение задачи. Введем линейное надпространство Я = = арап(ам...,аь) и его ортогональное дополнение М.ь. Разложим вектор Ь на его ортогональную проекцию на линейное подпространство 'Н и соответствующую ортогональную составляющую: Ь=Ь+Ь~, Ье Н, Ь~ ей~. Тогда И = Ь + Ь.ь — (х1а1 +... + хьаь) = = Ьх + (Ь вЂ” х1а1 —... — хьаь) = Ь~ + Нв, 114 3. ЕВКЛИДОВЫ ПРОСТРАНСТВА где до = Ь вЂ” х1а1 —... — хьае Е Я.
Так как до .1. Ь~, то по теореме Пифагора заключаем, что !! (!!' = 1! 1011'+ 11Ь'11'. Ортогональная составляющая Ьх вектора невязок постоянна и от выбора коэффициентов х; не зависит. Поэтому минимизация величины !ф! сводится к поиску минимума величины !14>1! . Эта величина является неотрицательной и достигает минимума, если обращается в нуль, т.е. при условии, что Ио = О. А это равносильно тому, что И = Ь, т.е. вектор невязок принадлежит ортогональному дополнению Я~ и поэтому является решением системы (а~,д) =О, у =1,й, (3.18) или (ау, Ь вЂ” х|а1 — ... — хьаь) = О, у = 1, й, (см. 3.9).
После преобразований получаем СЛАУ С (аы а1) х1+... + (аы ае) хь = (аы Ь), (3.19) (аь, а1) х1 +... + (аы аь) хь = (аю Ь) относительно неизвестных хы ..., хо. Матрица этой системы Г = ((а;,ау)) — это квадратная матрица порядка й, представляющая собой матрицу Грома для системы векторов а1, ..., аь.
Теорема З.Т. Если система векторов аы ..., аь линейно независима, то ее матрица Грама является невырожденной. ~ Докажем равносильное утверждение, что если матрица Грама системы векторов аы ..., ао вырождена, то эта система векторов линейно зависима. Вырожденность матрицы Гра- 115 Дмт 2.
Метод наименьших квадратов ма означает, что ее столбцы линейно зависимы и один из них, например первый, является линейной комбинацией осталь- ных [111]: и (а;,а1) =~1,и (а;,а ), 1=1,Й, или к (а;,у)=0, ь'=1,й, у=а1-~ 1ь а2ь 1=2 Следовательно, вектор у принадлежит ортогональному дополнению линейного подпространства арап(ам..., аь), а поскольку у Е арап(а1,...,аь), то 2. = О, т.е.
ь а1 — ,'),ы а = О. Это равенство означает, что векторы а1, ..., аь линейно зависимы, так как коэффициент при а1 не равен нулю. ~ Отметим, что система линейных алгебраических уравнений (3.19) всегда совместна: ее решениями являются коэффициенты разложения вектора гь Е Я = арап(а1,...,аь) по системе векторов ам ..., аы так как в этом случае вектор И = Ь вЂ” Ь = 6~— решение системы (3.18).
Если система векторов а1, ..., аь линейно независима, то, согласно доказанной теореме, матрица СЛАУ (3.19) невырождена и эта система имеет единственное решение, которое дает решение исходной задачи. Если же укаэанная система векторов линейно зависима, то матрица СЛАУ (3.19) вырождена. В этом случае квадратная СЛАУ (3.19), будучи совместной, имеет бесконечно много решений и каждое из них дает решение исходной задачи.
Среди этих решений можно выбирать те, которые удовлетворяют каким-то дополнительным условиям. 116 3. ЕВКЛИДОВЫ ПРОСТРАНСТВА Дополнение З.З. Псевдорешения и псевдообратнан матрица Рассмотрим систему линейных алгебраических уравнений (СЛАУ) Ах = 6, вообще говоря, несовместную, с матрицей А типа пх/с. Мы остановимся на тех столбцах х, которые для рассматриваемой системы дают минимальную невлзку. Если СЛАУ Ах = 6 совместна, то такие столбцы представляют собой ее решения. Если же СЛАУ несовместна, то столбцы, дающие минимальную невяэку, можно находить при помощи метода наименьших квадратов.
В этом разделе изложим другой метод их нахождения, используя отождествление векторов евклидова арифметического пространства Ж" с матрицами-столбцами их координат в стандартном базисе. СЛАУ Ах = Ь соответствует СЛАУ А Ах = А Ь, которую называют нормальной. Пусть ам ..., аь Е й" — столбцы матрицы А. СЛАУ Ах = Ь может быть записана в векторной форме: х1а1+... + хьаь = Ь. Совместность СЛАУ Ах = 6 означает, что вектор Ь Е К" попадает в линейную оболочку Я системы векторов а1, ..., аь. Пусть Ь ф Я. Разложим вектор Ь в сумму Ь = Ь+ и.", где й— ортогональная проекция вектора Ь на линейное подпространство Я, а Ь вЂ” ортогональная составляющая этого вектора,.
х Введенные обозначения используем в формулировках и доказательстве следующих трех теорем. Теорема 3.8. Для любой СЛАУ Ах = Ь следующие множества совпадают: — множество столбцов, дающих минимальную невлзку двя этой СЛАУ; — множество решений СЛАУ Ах = Л; — множество решений нормальной СЛАУ А Ах = А Ь. Д.З.З.
Пееидоретеиие и цееедообратиае матрица 117 ~ Норма вектора Ь". представляет собой минимальную невязку СЛАУ Ах = Ь (см. Д.3,2), а множество векторов, дающих такую невязку, представляют собой решения СЛАУ Ах = Ь. Условие Л~ Е 'Н~ равносильно тому, что вектор Ьх ортогонэлен каждому из векторов ам ..., аю т.е. (а,,Ь ) =О, е'=1,Й. Мы имеем СЛАУ относительно компонент столбца Ь~., которая в матричной форме имеет вид А Ьх = О. Умножим СЛАУ Ах = Ь, решения которой дают для сит стемы Ах = Ь минимальную невяэку, на матрицу А слева. Учитывая, что А Ьх = О, получим А Ах = А Ь = А Ь+А Ь~ = А Ь.
Значит, все векторы х, дающие для СЛАУ Ах = 6 минимальную невеэку, являются решениями СЛАУ А Ах = А Ь. Верно и обратное: если вектор х является решением системы А Ах = = А Ь, то для СЛАУ Ах = Ь он дает минимальную невяэку. Действительно, если А Ах=А Ь, то А (Ь вЂ” Ах) =О, аэтоозначает, что вектор 6' = Ь вЂ” Ах ортогонален векторам а1, ..., аь и, следовательно, принадлежит линейному пространству, Я~.. Поскольку Ьо = Ах е Я, то Ь = Ьи + Ь'. Согласно следствию 3.1, последнее равенство совпадает с разложением Ь = Ь+ Ь"-. Поэтому Ь' = Ь~., а норма вектора Ь', представляющая собой невяэку, будет минимальной.~ь Теорема 3.9. Нормальная система линейных алгебраических уравнений всегда совместна. < СЛАУ Ах = Ь соответствует нормальная СЛАУ А Ах = = А Ь.
Решениями нормальной СЛАУ являются векторы х, дающие минимальную невязку для исходной СЛАУ Ах = Ь и являющиеся решениями СЛАУ Ах = Ь. Последняя же система всегда имеет решения, так как в векторной форме она имеет вид х1а1+... +хеае = Ь, где ЛЕН =арап~ам...,аь). > 118 3. ЕВКЛИДОВЫ ПРОСТРАНСТВА Теорема 3.10.
Для того чтобы нормальная СЛАУ А Ах ~ь т = А Ь имела единственное решение, необходимо и достаточно, чтобы: — однородная СЛАУ Ах = 0 была определенной; — ранг матрицы А совпадал с количеством ее столбцов; — вентпоры аы ..., ал были линейно независимы. Так как множества решений систем Ах = Ь и А Ах = т = А Ь совпадают, то из теоремы о структуре общего решения СЛАУ ]?П] следует, что тогда совпадают и множества решений т соответствующих однородных систем Ах = 0 и А Ах = О. Если зти однородные системы определенны, т.е. имеют единственное решение, то СЛАУ Ах = 6 имеет единственный вектор с минимальной невязкой и наоборот.
Для того чтобы однородная система Ах = 0 имела единственное решение, необходимо и достаточно, чтобы ранг матрицы А был равен количеству столбцов в ней, или, другими словами, чтобы столбцы матрицы были линейно независимы [1П]. > Псевдорешения и их свойства. Если для системы Ах = Ь бесконечное количество векторов х дает минимальную невязку, то обычно выбор останавливают на том из них, который имеет минимальную норму. Такой вектор называют нормальным псеедоретиением (или просто псеедоретиением) СЛАУ Ах = Ь. Таким образом, псевдорешение системы линейных алгебраических уравнений — зто такой вектор, который дает минимальную невязку в зтой системе и среди таких векторов имеет минимальную норму.
Теорема 3.11. Любая СЛАУ имеет псевдорешение, и притом единственное. ~ Множество всех векторов х, дающих минимальную невязку для СЛАУ Ах = Ь, описывается формулой (3.20) х = хч+хе, Д.З.З. псевдорешение и цеевдоооратнел матрица 119 где х„— некоторое частное решение соответствующей нормальной СЛАУ; хо — общее решение однородной СЛАУ т А Ах = О, которое является общим решением и однородной СЛАУ Ах = О (см. доказательство теоремы 3.10). Обозначим через К линейное подпространство всех решений однородной СЛАУ Ах = О. Тогда имеет место представление х„= хв + х'„, где х'„Е К, х~ Е К~, и поскольку х'„+ хо Е К, то для любого х вида (3.20), согласно тпеореме Пифагора, имеем 9х9 = 'Зх„+х~)~ = 9х„+(х',+х,)9 .Е~~2+ ~~ о + ~~2 ) ~~ в ~~2 Равенство Зх9 = '9Щ возможно и притом лишь в единственном случае, когда х'„+ хо = О, или х = х~.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
