Беклемишев - Дополнительные главы линейной алгебры (947281), страница 51
Текст из файла (страница 51)
В соответствии с этим и стоящая перед нами задача также имеет единственное решение. Посмотрим, в какой мере можно ожидать линейной независимости столбцов матрицы. Мы выбираем базисные функции так, как это нам нужно, и потому естественно потребовать, чтобы базисные функции были линейно независимы, Напомним, что функции % ($), ..., ~р„($) называются линейно зависимыми на заданном интервале, если на этом интервале тождественно равна нулю некоторая нх нетривиальная линейная комбинация с постоянными коэффи- 228 гл. Ип псевдоеешеиия и псевдооБРАтиые ИАтРицы циентами. Если базисные функции линейно зависимы на интервале, содержащем все точки $', ..., $'", то, разумеется, будут линейно зависимы и столбцы матрицы. В этом случае выбор в качестве коэффициентов В', ..., В" нормального псевдорешения системы (5) будет только одним из возможных.
Легко видеть, что линейная независимость базисных функций не гарантирует линейной независимости столбцов матрицы. Например, матрица из значений функций <р, ($) = 1 и ~р» (е) = (е)» в точках $' = 1 и аэ = — 1 есть ~~$ Однако если базисные функции линейно независимы, то при условии приближенной записи чисел точная линейная зависимость. между столбцами — явление исключительное.
Столбцы матрицы могут оказаться близкими к линейно зависимым, а матрица А— близкой к матрице неполного ранга, При этом, как чы видели, нормальное псевдорешение сильно меняется при небольших изменениях исходных данных. Поэтому в любом случае расчеты должны быть построены так, чтобы мы могли обнаружить численную неустойчивость или неединственность решения, когда они имеют место.
Это удобно может быть сделано, если для нахождения псевдорешения воспользоваться сингулярным разложением матрицы системы. 1(ак было описано в п. 9 5 3, можно ввести границу е, зависящую от точности производимых вычислений, и пренебрегать теми сингулярными числами матрицы, которые меньше е. Оценим увеличение суммы квадратов (4), которое возникнет, если мы пренебрежем сингулярными числами, меньшими з. Очевидно, во-первых, что любое решение 13', ..., 6" нормальной одно- роднов системы А "Ар = 0 можно прибавить к коэффициентам 0', ..., В", не изменив суммы (4) (см. предложение 2 5 1). Решения нормальной однородной системы образуют в пространстве столбцов высоты и подпространство, которое мы обозначали буквой Ю (оно совпадает с множеством решений системы А(1 = 0).
Заменив нулями сингулярные числа, меньшие а, мы фактически присоединяем к этому подпространству такие столбцы Рп для которых АТА~, а)бь а, <е. (6) При этом можно считать, что 1 = я, ..., г. П р е дл о ж е н и е 1, Если к решению В нормальной системы прибавить произвольную линейную комбинацию т у»Й» + ... + у,Й, столбцов рь удовлетворяющих условиям (6), то сумма квадратов (4), соответствующая решению 9, увеличится не больше чем на аз !1 т 11», До к аз а тел ь от в о. Сумма квадратов, которую мы должны оценить, есть квадрат нормы невязки, даваемой столбцом 0 + т, а к мвтод нлимяньших квядпатов [ т) — А (О+ 2) [е = [(т) — АО) — А у~т [(т) — АО) — А21.
Раскрывая скобки, имеем [Ч вЂ” А (О-(-у))е=(т) — АО(е-- '2уг (АгАΠ— АгЧ)+[Ау(е. Учитывая, что Π— решение нормальной системы, находим, что сумма квадратов возрастет на ~~ Ау Р. Оценим эту величину. Согласно соотношениям (6) имеем [Ау)'= ус А Ау= уг (уеА~А~~+...+у,А А($„) = = у' (у,алт рл +" + уга(3г) ~ ееуг (ул()е +" ° + уф,) = в' [ у [е. Предложение доказано. Даваемая предложением 1 возможность просто оценить увеличение суммы квадратов — важное достоинство метода нахождения псевдорешения с помощью сингулярного разложения.
2. Линейная регрессия. Рассмотренная выше задача об оценке параметров функции г" по прибли кенным измерениям ее значений является частным случаем более общей задачи, рассматриваемой в математической статистике. Пусть у — случайная величина ') и ее математическое ожидание М (у) линейно зависит от а переменных а,...„а,: (» йл (у) = Огаг+...+ О"а„, с коэффициентами О', подлежащими оценке по наблюдаемым значениям у. Переменным аг придается аг серий значений, составляющих матрицу А размеров и х и: (8) При этом значения а', рассматриваются как достоверно известные. Матрица А называется катриной регрессии, а переменные а~— регрессорами. Регрессорамп могут быть функции от одной переменной нли функции от нескольких переменных, можно также считать все а, независимыми переменными.
Линейной независимости столбцов матрицы регрессии мы требовать не будем. ') Дня чтения этого пункта иеоокоаимо знакомство е основными понятиямв теории вероятностеа, например, по книге Роееновв (28). 230 гл 1ч, псездоРешения и псевдооБРАтныз МАтРииы При каждом из наборов значений (8) величина у принимает некоторое значение. Обозначив зти значения ц', „., и'", запишем т1' = а,'В'+...
+ а„'Е" + з', т1'" = а"'8'+... + а"'В" + з'", или в матричной форме Ч=АВ+е. (9) Согласно (7) случайные величины з' имеют нулевое математическое ожидание. Их называют ошибками, хотя з действительности они могут быть естественными отклонениями значений величины от ее математического ожидания и не обязательно вызваны ошибками измерения у. Если з' являются ошибками измерения, то естественно предполагать, что они не коррелированы между собой и имеют одинаковые дисперсии. В дальнейшем мы для простоты введем это предложение. По отношению к системе линейных уравнений ц = АО столбец в является иевязкой, даваемой истинным набором параметров В = =!! В' ..., В"!!.
Псевдорешение В этой системы называется оценкой для истинного набора О, полученной по методу наименьших квадратов. Оио равно В=А ч. (10) Такие оценки, которые, подобно О. линейно выражаются через Ч, называются линейными оценками. Естественно, что оценка, зависящая от случайного набора значений т1, сама является случайной величиной. Оценка называется несмешрнной, если ее математическое ожидание совпадает с истинным набором параметров О. П р едл о же н не 2. Если столбцы матрицы регрессии линейно незаеисимы, то оценка О, полученная по методу наименьших кеадратсе, яеляетсл несмешенной.
Действительно, из простейших свойств математического ожидания следует, что М(О) = А'М (11) А'АО, (11) а при сделанном предположении относительно А это равносильно требуемому равенству М(В) -В. В общем случае формула (11) позволяет утверждать несмещенность только некоторых проекций О. Именно, матрица А'А идемпотентна, т. е. (А'А)' = А'А, и потому из (1Ц следует М (А'АВ) А+АВ, э к мвтод нлимвиьших квздгзтов 23$ Согласно предложению 11 й 1 А+Ай есть ортогональная проекция О на подпространство ят в е1т„. Это подпространство составлено нз столбцов вида Аге при всевозможных е. Итак, если р еперь, то А+Ар = р и ргА'А = рг. Поэтому для всех р ы лу имеем М(ргО) = ргО и справедливо П р е д л о ж е н и е 3.
Если набор коэффициентов р принадлежит в7, т. в. р" А'А = рг, то ргО является несмещенной оценкой для р*О. Линейные функции на еЯ', рассматриваемом как множество всевозможных значений параметров, называются параметрическими функциями. Предложение 3, по существу, относится к оценке значения параметрической функции ртО иа истинном наборе параметров О. Выше линейной оценкой для истинного набора параметров была названа оценка, линейно зависящая от т), т. е. линейная функция на Ю„. Рассмотрим те линейные функции на ей„, которые могут быть несмещенными линейнымн оценками для параметрических функций. По определению функция птах, где ь ~ ей , порождается параметрической функцией ф (О) = ргО, если для всех О выполнено етАО ртО (1л) что равносильно т~г А рг илн Ат (13) Таким образом, параметрическая функция порождает функцию на е)т„тогда и только тогда, когда р ен эу.
Однако при этом условии порождаемая функция, вообще говоря, не единственна. Действительно, общее решение системы уравнений (13) есть е,=(Аг) р+(Е~ — (Аг)'Ат) с=(Аг)+р+(Е~ — АА') с где с — произвольный столбец высоты т (см. предложение 13 5 1). Пусть 1Я) = пгЬ вЂ” линейная функция на М'„, порождаемая некоторой параметрической функцией. Найдем математическое ожидание и дисперсию значения ) на столбце ц, удовлетворяющем (9). При этом будем предполагать, что ошибки е*' не коррелированы и имеют равные дисперсии О (з') = аз. Для математического ожидания имеем М (ег ч) — М фг АО-1- 'от в) — ог АΠ— Рт О (14) Итак, М (егт)) равно значению порождающей функции на истинном наборе параметров, В этом смысле огт) является несмещенной 232 гл. пн псввдоввшзния и псзвдоозгктныв млтгицы оценкой для рт8.
Применяя этот результат, находим [» (пт»)) йя (пт т! ртО)» М (пт (Ч АО))» йй (птв)» Далее, используем равенство ете=вте, верное для любых столбцов: М (т»те)» М (пт (ззт ) и) пт Зй(евт ) и — пта»Е и — а» ) и)» Итак, О(пт )) = (и). (16) Отсюда следует, в частности, что, выбрав решение системы (13), имеющее минимальную норму, мы выберем из всех функций, порождаемых данной параметрической функцией, ту, для которой дисперсия (л(етт!) минимальна. Система (!3) предполагается совместной.
Она имеет единственное решение с минимальной нормой, а именно, псевдорешение по = (Ат)+р Значение функции со строкой коэффициентов ет на векторе»), согласно (10), есть п,т)=р А т)=р О, т т+ т" т, е. значение порождающей функции на оценке О, полученной методом наименьших квадратов.
Отсюда следует Т е о р е м а 1. Если параметра«еская функиия ртО допускает несмеи!енную оценку вида ет»), то из всех таких оивнок минимальную дисперсшо имеет опенка ч»тт! = ртО, получаемая по методу наименьших квадратов. В частности, если столбцы матрицы А линейно независимы, то »У= в»с, и все параметрические функции допускают оценку. Допускают оценку и функции е;О, где е; — строка единичной матрицы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
