Дженкинс, Ваттс - Спектральный анализ и его приложения (выпуск 1) (1044211), страница 26
Текст из файла (страница 26)
Асад. Вой, 86, 3 (1960). 7. В а г п а г д О. А., Зоиг. Воу. Яа1. Вос., В11, 116 (1949]. 8. В а г п а г д О. А, и ар„Л. Воу. Яа1, Бос., А125, 321 (1962). 9. В [г п Ь а и ш А., д Аптег. 81а1. давос., 67, 269 (1962), 1О. 1 е1[г е у в Н., ТЬеогу о1 РгоЬаЬИПу, згд ед., С[агепдоп Реева, Ох1огд, 1961, 11. 5 а ч а не 1., д. и ар., ТЬе Роипда1[опв о1 51анвнса[ [п1егепсе, [г1ежисп, 1опдоп, 1962. П Р И Л О Ж Е Н И Е П4 1 ЛИНЕЙНАЯ ТЕОРИЯ НАИМЕНЬШИХ КВАДРАТОВ Выборочные ошибки с минимальной среднеквадратичной ошибкой. В этом разделе содержатся доказательства некоторых общих результатов линейной теории наименьших квадратов. Частными случаями этих результатов являются результаты, упоминавшиеся в равд. 4.3. Предполагается, что модель эксперимента имеет вид )'[=6[хи+Огх, + ... +8 х; +Лг (х'=1, 2, ..., А7), (П4.1.1) или в матричной форме '([=ХО+ Х, (П4.1.2) где векторы-столбцы х', О и Х получаются транспонированием из векторов-строк ()1 «г '" ) ч)' О'=(О,, 8„..
„6„), Х'= — (х,',, х,г, ..., х,н) есть матрица наборов значений, принимаемых [г выходными переменными хг, хг, ..., хи в А[ экспериментах. Предполагается, что ошибки Х имеют нулевое среднее значение и матрицу коварнаций Ч, элементы которой равны )7[)=Сот[ли Л,). Кроме этого, о совме. сгной плотности вероятности оп[ибок ничего не известно. Если нам даны наблюденные в Аг экспериментах отклики у, то обобщенные выборочные оценки наименьших квадратов О определяются как те значения О, которые минимизируют квадратичную форму 167 етинейная теория наименьших квадратов !66 Приложение Пв.! Дифференцирование (П4.1.3) по О и прираанивание производных нулю дает следующие линейные уравнения для этих оценок: (Х Ч-~х) О = Х Ч-ьу.
(П4.1.4) Критерий (П4.1.3) может быть обоснован с двух точек зрения. а) Используя (3.1.19) и (П4,1.2) и предполагая, что ошибки имеют многомерное нормальное распределение с матрицей ковариацнй Ч, получаем, что логарифмическая функция правдоподобия для параметров О равна с точностью до аддитивной константы выражению (П4.1.3). Следовательно, при дополнительном предположении о том, что ошибки имеют многомерное нормальное распределение, обобщенные выборочные оценки наименьших квадратов совпадают с выборочными оценками максимального правдоподобия.
б) Предположим, что в (П4.!.4) выборочные оценки 0 заменены на соответствующие оценки ет. Тогда обобщенный принцип наименьших квадратов утверждает, что оценки Й таковы, что средний квадрат разности двух линейных комбинаций Е=Л6,+Л,ба+ ... +Л,О,=Л6 Х=Л,Й, -] — Л й -]-... +Л~й =Х й принимает свое минимальное значение. Следовательно, произвольная линейная функция от параметров оцснивается с минимальной среднеквадратичной ошибкой. Доказательство обобщенного принципа наименьших квадратов. Чтобы доказать, что оценки наименьших квадратов, получаемые из (П4.!.4), минимизируют среднеквадратичную ошибку между Е и 7., рассмотрим оценку Е линейной кол1бинации 7, являющуюся линейной функцией общего вида от случайных величин У,, т.
е. 1 = 1, +1,!', + 1а!', + ... + 1нГ = 1„+1'Ч. Из (П4.1.2) получаем Е[У]=ХО, так как Е]Х]=0 и, следовательно, Е ]е.1 =1, +ГХО. Далее, так как У; имеют ту же самую матрицу ковариаций, что и Яь то Чаг Я =ГЧ!. Отсюда среднеквадратичная ошибка оценки 7. равна Чаг ]Х1+ (Е (е'.] — У) = ГЧ1+(!о+ ГХΠ— Л'О)'. Если теперь линейная комбинация Ь=-Л' О может принимать неограниченные значения, то и среднеквадратичная ошибка будет неограниченно возрастать всегда, за исключением только случая, когда 1'Х=Л', Отсюда для достижения минимума среднеквадратичной ошибки надо положить !в=0 и минимизировать квадратичную форму ГЧ1 при следующем ограничении на 1: ГХ=Л'.
(П4.1.5) Это эквивалентно нахождению безусловного минимума квадратичной формы 1'Ч! — (1'Х вЂ” Л') м, где 1я'= (1хь рь, 1ьн) — вектор множителей Лагранжа. Приравнивание нулю производных по 1' дает Ч! = — Хм. (П4.1.6) Решая (П4.1.5) и (П4.1.6) относительно 1ь' и 1', получаем м' =(Х'Ч 'Х) ' н 1'=Л'(Х'Ч 'Х) 'Х'Ч '.
Отсюда оценка линейной комбинации Ь с минимальной среднеква- дратичной ошибкой имеет вид Е=Гу=Л'(Х'Ч 'Х) '(Х'Ч-1Ч). Но из (П4.!.4) получаем, что это выражение в точности совпадает с А=Л'ет, где Й вЂ” оценка, соответствующая выборочной оценке (П4.!.4). Приведенное выше доказательство является обобщением доказательства, приведенного Барнардом ]1] для случая некоррелированпых ошибок 26 Если ошибки некоррелированы и имеют одинаковую дисперсию о', то Ч=ох!, где 1 — единичная матрица. Равенство (П4.1.4) переходит при этом в (х'х) 0 = х'у.
(П4.1,7) Пример, Чтобы проиллюстрировать применение формулы (П4.1.7), рассмотрим простой двухпараметрический вариант модели (П4.1.!): Г;=В,+Отл,+2,, 1=1, 2, ..., Лт, Приложение П4Л 168 Линейная теория наихеньшпх квадратов 160 1 х, Уь т. е. Следовательно т')Ч О (хх)=~ так что а' (~(Х вЂ” х) О ) тть,~~~ (х — х)2 1, О тч) Следовательно, Чаг (22,1.= —, (э=(Х'Ч 'Х) ' Х'Ч-'Ч Е[4) =(Х Ч Х) т Х Ч 'Е [Ч), и предположим, что ошибки х.е некоррелированы и имеют нулевое среднее значение и дисперсию о'. Тогда (П4.1.7) сводится к где суммирование всюду производится от ь =! до ь = )Ч. Отсюда выборочные оценки наименьших квадратов имеют вид ,~~ хя ~ у — ~ ху 2,, х 2Ч,~~~ ху — »ах,» у 1Ч~ Х2 — (.» Х)2 2 1Ч~Х2 — (~а Х)2 Для ортогональной параметризации равд. 4.3.4, а именно для )л, = 0ь + 02 (х, — х) + Ль, матричное уравнение (П4.1.7) сводится к О ~(Х вЂ” Х)' 02 ~Р~У(Х вЂ” Х) Отсюда выборочные оценки наименьших квадратов равны 0 — 1 0 л,'у(х — х) Х(у — у)(х — х) Матрица ковариаций оценок.
Чтобы оценить точность выборочных оценок параметров, нужно вычислить матрицу ковариаций соответствующих оценок. Диагональные элементы этой матрицы дают дисперсии каждой из оценок, а недиагональные элементы дают коварнации каждон пары оценок. Мы имеем и, воспользовавшись (П3.1.2), получаем Отсюда матрица коварнаций оценок равна С=Е([Й вЂ” Е(8]) [8 — Е[8~) 1= =е 1(х ч- х)- х'ч- (ч — е (ч))(ч — е(ч))'ч-'х(хч-'х')-') = =(х'ч 'х) '. (П4.1.8) Если Ч=оЧ, то (П4.1.8) сводится к С=(Х'Х) 'о2.
(П4.1.9) Для приводившегося выше примера с двухпараметрической мо- делью имеем (Х Х)= так что а2 Хй Х ~Л~~~ Х С= — (Х'Х) 'от= тЧХ(х — х) — ~Х тч Чаг [О,1 = Чаг [О2) =— ~ (х — х) 1 а22» х Соч [От, 82) =— тч 2» (х — х)' Для ортогональной параметризации Чаг [621 =,,„ Соч (етш 62~ = О. Ранее было показано, что опенки наименьших квадратов миними- зируют среднеквадратичную ошибку (т. е. дисперсию, так какоцен- ки несмещенные) линейной функции )ь'В параметров В. Линейная теория наименыиик квадратов 171 170 Приложение П4.! 1(У,— е,— о,х1) = 1=1 с М М Ве т т! — нь! — 2!, и,~,— ч л !). 1=.! 1=! 1=! Так как 1 1Ч вЂ” 2 Уаг [Л 8) =Л СЛ, (П4.1.10) то отсюда следует, что оценки наименьших квадратов минимизи- руют определитель ! С! матрицы коварнаций оценок 8. и для ортогонального двухпараметрического случая з2 1 1'4 — 2 1 Л' — 2 С помонтью рассуждений, аналогичных рассуждениям, использовавшимся в разд.
4.2.3, можно показать, что оценка, имеющая 1У+ +2 — )е в знаменателе, дает наименьшую среднеквадратичную ошибку, и, следовательно, она предпочтительней, чем (П4.1.12). Однако на практике чаще всего используют выборочную оценку (П4.! .12) . Доверительные области. Чтобы вывести доверительные области для О, рассмотрим тождество у — ХО = — (у — ХО) — Х(0 — О).
Отсюда 3 (в) =(у — хеу У- (у — хо) =- = (у — хе) У ' (у — хе) + (е — 0) х У ' х (е — 0)— — (у — хе) ч 'х(е — е) — (Π— е) х'У '(у — хо). Е [5 ( 8))! = 2Уаз — йа2 = (2У вЂ” й) а2, Из нормальных уравнений (П4.!.4) следует, что два последних члена тождественно равны нулю. Исчезновение этих членов со смешанными произведениями обусловлено тем, что векторы у — Х О и Х(0 — -0) ортогональны в Ч-мерном выборочном пространстве.
Отбрасывая этн исчезающие члены и заменяя у на Ч и 0 на 8, по- лучим так что уу-о (хх)в Р4 — !2 (П4.1.12) является несмещенной оценкой о'. Для однопараметрического слу;ая равенство (П4.1.12) сводится к 5(0) = — -5(8) + (Π— 8) Х У 'Х (Π— 8) а . (П4.1.13) з2= «(у1 — 9!х,), Предполагая, что ошибки 31 распределены нормально, получаем отсюда, что 5(0) является квадратичной формой от М нормаль- как и получалось в разд. 4.3.2. Для двухпараметрического случая равенство (П4.1.12) имеет вид «, [у, — Π— 1) (х1 — х)! = 1= ! с Х !т, — «1* — (!!)* Л 1, —Ђ .!) 1=! 1=! Оценивание остаточной дисперсии.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
