Беклемишев - Дополнительные главы линейной алгебры (947281), страница 52
Текст из файла (страница 52)
Эти функции равны О', и их несмещенными оценками о минимальной дисперсией будут компоненты О', полученные методом наименьших квадратов. Доказанная нами теорема показывает, почему, собственно, нужно минимизировать сумму квадратов, т. е. использовать евклидову норму, а не, допустим, сумму модулей. Стоит заметить, что преимущества метода наименьших квадратов выяснились не сразу. Так, Лаплас вначале применял требование минимизации ~ ! а' 1.
Пусть $ — «случайный вектор», т. е. столбец, составленный из т случайных величин $', ..., Р . Его математическое ожидание— столбец а о элементами а' = 1т1 ($'). Матрицей ксвариаиий О называется матрица р(х) М((ф-а)(ф-а)т1. Ее диагональные элементы — дисперсии соответствующих величин $', в недиагональные — ковариации сот ф, ~9). $4 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ Посмотрим, как можно оценить матрицу ковариаций оценки 6, полученной по методу наименьших квадратов, если предполагать, что ошибки е' не коррелированы и имеют одинаковые дисперсии, равные от. Это означает, что 0(е)=а'Е .
Из 0(Ч)= 0(т1 — Ла) =0(е) имеем также р() тЕ (16) Нетрудно проверить, что для любого случайного вектора е и для любой постоянной матрицы 5 из $ = ЯЕ' следует М (й) =ЯМ (й ) и 0 (ть) ОР (ть ) ч т Отсюда в силу (10) следует, что 09 = АтатЕ,„А'т = о'А+А"т. Как нетрудно проверить, Л'Атт= (АТА)+. Следовательно, 0 0 = ат (Л т А)+. Остаточной суммой каадратае называется величина 1! е ))т, если й = Ч вЂ” АО. Найдем математическое ожидание остаточной суммы квадратов. Мы имеем йте=(т1 — АА'т1)т (т) — АА "Ч) Чт (Е 2АА"-1-А'тАтАА+) Ч =- т1 т (Š— А А ') т1. Обозначим временно элементы матрицы Š— АА' через ру.
Тогда т1т (Š— АА+) т) = ) , 'рот1'т1!, 4,! и етй можно переписать в виде ,)' ,ру (Ч'Ч' — М (Чт) М (Ч'))+ Х роМ (Чт) М (Ч') (17) 4, / 4, / Вычислим математическое ожидание этого выражения. Для этого заметим, что, согласно формуле (1б), (О, М(Ч>Ч> — М(Ч>)М(ЧУ)) = Ж Чт)~ 3 Поэтому первый член выражения (17) есть от ~, ра = о' 1г (Š— АА'). 4 Второй член — постоянная, и его математическое ожидание равно ему же. В матричном виде этот член равен (М(т)))т (Š— ЛА") М(т1), ВВ4 ' гл. пл псавдоеашания и цсквдоовахтныа млтенцы или ВгАг (Е-АА')АВ.
Но Вг (АтА АгАА+А)В=О. Таким образом, М() е)з) =аз1г(Š— АА+). Для того чтобы найти след матрицы Š— АА+, вспомним, что матрица АА' идемпотентна (см. стр. 198). Отсюда вытекает, что идемпотентна и Š— АА', и потому ее характеристические числа все равны нулю нли единице.
Так как йд (Š— АА') = т — г, равны единице будут ровно пт — г характерцстических чисел, Итак, 1Г (Š— А А') = т — г. Окончательно мы получаем М (,' з (з) — аз (т г) Этот результат используется для получения оценки параметра и по формуле Подробнее с регрессионным анализом можно познакомиться по книге Себера (30) или любому курсу математической статистики. Применения псевдообратных матриц к статистическим задачам описываются в книге Алберта 11). ГЛАВА Ч СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ в 1. Однородные системы линейных неравенств 1.
Основные определения, В этом параграфе мы будем изучать системы неравенств вида а1х'+... + а'„х".- О, а',"х'+... + а„х" =- О, где а' — вещественные постоянные. Мы не уменьшаем общности, предполагая все неравенства неравенствами одного смысла () 0). Действительно, неравенство а,х' + ...+ а,х" -= 0 можно записать в нужном нам виде, умножив его на — 1. Точно так же в виде (1) могут быть записаны смешанные системы из неравенств и линейных однородных уравнений, так как однородное линейное уравнение можно записать в виде пары неравенств а,х' + ...
+а„х" ~ О и — а„х' — ... — а,х" ) О. С другой стороны, отсутствие в рассматриваемой системе строгих неравенств (со знаком ~) является существенным предположением. Условимся считать столбец х неотрнцательнььи и писать х~О, если неотрицательны все элементы столбца. Аналогичный смысл имеют неравенства х(0, х ~у и т. д. При этом следует помнить, что два столбца могут быть несравнимы между собой, т.
е. оба неравенства х ) у и х (у могут быть неверны. Пользуясь введенным обозначением, мы можем записать систему неравенств (!) в матричном виде Ах) О. (2) Введем геометрическую интерпретацию системы неравенств (1) в терминах линейных пространств. Пусть Ƅ— вещественное линейное пространство и е„..., а„— базис в нем. Множество векторов, координаты которых удовлетворяют однородномулинейному неравенству агх'+...+а„х"= О, называется замкнугпым полупространством. Если неравенство строгое, то полупространство называется оацграипым.
Замкнутое полу- пространство является объединением открытого полупростраиства 236 ГЛ, Ч СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕПНОЕ ПРОГРАММИРОВАНИЯ и гр пичного надпространства, определяемого уравнением а,х'+...+а„х«=0. Всюду, кроме явно отмеченных случаев, мы будем рассматривать замкнутые полупространства. Пересечение конечного числа полупространств называется замкнутым выпуклыгл многогранным конусом. Поскольку в этой главе нам не будут встречаться другие конусы, мы часто будем пропускать прилагательные «замкнутый», «выпуклый> и «многогранный>. Согласно этому определению множество всех векторов, координаты которых удовлетворяют системе однородных линейных неравенств, является выпуклым многогранным конусом. Как и все определения, использующие координаты, определения полупространства и конуса зависят от базиса.
Легко проверить, что в действительности такой зависимости нет: множество, определяемое системой (2) в одном базисе, определяется системой того же вида в любом другом базисе. В самом деле, пусть х= ох'. Тогда система (2) равносильна А5х' Гь О. Однако за редким исключением нам ие придется менять базис. При фиксированном базисе мы фактически имеем дело с и-мерным арифметическим пространством.
Мы будем обозначать вектор так же, как его координатный столбец — строчной полужирной буквой, а его компоненты — той же буквой (светлого шрифта), снабженной индексом. Приведем примеры многогранных конусов в трехмерном пространстве: 1) х')О, х') О, х«~0 — неотрицательный октант. 2) х»)0, х») 0 — двугранный угол. 3) х' ) О, — х> ) 0 — плоскость.
4) х'=:О, х'=.О, х»~0, х'+х' — х»~0 — четырехгранный конус. 5) х» ~ О, х« ~ О, х» ~ О, х'+ х' — х> ~ О„- х' — х«+ х«) 0— плоский угол. Предоставим читателю показать, что конусами являются: нулевой вектор, одномерйое подпространство и луч, т. е. множество векторов вида ах, где х 4= О, а а -= О, П р е д л о ж е н и е 1. Если векторы х, и х, принадлежат выпуклому многогранному конусу 3', то векторы х,+х«и ах, длл любого а .= 0 также принадлежат «й".
Доказательство осуществляется без труда подстановкой координат векторов в систему линейных неравенств, задающую конус. Пусть дан конус Ю. Можно рассматривать его линейную оболочку, т. е. совокупность всех конечных линейных комбинаций векторов, принадлежащих конусу.
Линейная оболочка — подпространство минимальной размерности, содержащее конус Ю. Размерность линейной оболочки конуса называется размерностью конуса. $ Ь ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕННЫХ НЕРАВЕНСТВ Езт Неравенство, входящее в систему (1), называется жестким, если для всех решений системы оно выполняется только как равенство. Заменив жесткие неравенства на равенства, мы не изменим множества решений системы. П р е д л о ж е н и е 2. Если р — ранг матрицы, составленной из когф4ициентов жестких неравенств, то конус лс, определяемый системой (1), лежит в (и — р)-мерном подлространстве и определяегпся в нем системой, которая не содержит жестких неравенств.
Д о к а з а т е л ь с т в о. Не ограничивая общности, мы можем предположить, что первые р неравенств системы жесткие и соответствующие им строки коэффициентов линейно независимы. Допустим, что эти строки каким-то образом дополнены до квадратной невырожденной матрицы 5, и введем новый базис, связанный со старым матрицей перехода 5 '. Рассматриваемый конус в новом базисе запишется системой линейных неравенств А5 'у~ О. (3) Эта система отличается от исходной только на замену переменных, и потому жестким неравенством исходной системы соответствуют жесткие, а нежестким — нежесткие неравенства.
Первые р строк матрицы А5 ' совпадают со строками единичной матрицы. Поэтому первые р неравенств системы (3) имеют вид у' ) О, ..., ул ~ О. Мы можем заменить их на равенства, не меняя множества решений системы. При этом остальные жесткие неравенства автоматически будут выполнены. Учитывая в оставшихся (нежестких) неравенствах равенства у' = О, ..., у' = О, мы получаем систему нежестких неравенств с переменными уг"...„у". Итак, мы видим, что конус расположен в подпространстве, натянутом на последние и — р базисных векторов и определяется в этом подпространстве системой из нежестких неравенств. Предложение доказано.
П р е д л о ж е н и е 3. Если система однородных линейных неравенств (1) не содержит жестких неравенств, то соответствующая система строгих неравенств а,'х'+... + а,'х" ) О, (4) отход 1 1 атхп: О имеет решение. До к аз а тел ь от в о. По определению нежесткого неравенства при любом 1 = 1, ..., т для 1-го неравенства найдется решение системы х„которое удовлетворяет ему как строгому неравен. ству. Рассмотрим столбец х,+ ...
+ х„. Пусть а' — строка коэффициентов 1-го неравенства системы. При подстановке в это нера. венство столбца х, + ... + х мы получаем а'(х,+...+х„) =а'х1+...+а'х1+...+а'х„,. 238 ГЛ. У. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИВ Здесь слагаемое а'х! положительно, а остальные слагаемые неотрицательны. Таким образом, х,+...+х — то решение, существование которого мы доказываем. Пусть Ю вЂ” конус, определяемый системой (1), которая не содержит жестких неравенств.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
