Ю.П. Пытьев, И.А. Шишмарёв - Курс теории вероятностей и математической статистики для физиков (1134036), страница 35
Текст из файла (страница 35)
1'. Теорема Гаусса — Маркова Запишем схему измерений (1) в векторном виде $ = ~Г~.а»а»+ч, яянй . (З~ » ! Не предполагая известным распределение вектора $, покажем, что существуют линейные несмещенные оценки параметров а»,...,с»д с минимальной дисперсией, а также несмещенная оценка»гз. Линейную несмещенную оценку параметра»»» будем искать в виде сс» = ~~ Ь»Д~ = (Ь„ 5), Ь» = (Ьсо ...', Ьч„), » ! где (, ) — обозначение скалярного произведения в ЕЕ„. Требование несмещеняости а; приводит к условию сИ»х» — — (Ь;, МВ) = ~) (Ьо а» 1' с»г = ас. Но поскольку !аь Е~ 1,...,Е», априори неизвестны, это 'означает; что Ф (Ь,,а;)=Ьн =1 ',', - (4) 10, Е~Е', »,Е'=1,...,й. Подсчитаем теперь дисперсию а» л л Ва» =~ (Ь»Е))Щ~ = »Е»~, (Ь»»)'= Оь(Ь»»») (6) »=! » 1 Таким образом, задача определения несмещенной оценки минимальной дисперсии а;'сводится к задаче на минимум дисперсии .(6) при ограничениях (4) ппп((Ь„Ь,) »Ь,ен ЕЕ„, (Ь», а») =бп, Е' =1...,й).
(6) Речь. идет о типичной задаче на условный экстремум, которую можно решать методом множителей Лагранжа. Введем функцию Лагранжа, задачи (6) -ь ». =(Ь», Ь») — 2 ~~ Лн (Ь'„ас) Г ! 'Здесь Лп, Е' =1,...,А, множители Лагранжа.' Дифференцируя Е по координатам Ьеь Е'=1;...,и, вектора Ь;=(Ьп, ... ...,.Ь»„), найдем ь — = 2ܻŠ— 2 ~1, Лн и»», Е = 1,.... н, 'дЕ. дь»е г-! где (н!», ...,н г) = а», Е' = 1,...,й. Следовательно, уравнения Лагранжа задачп (6) в векторной форме будут иметь внд Ь,= ЯЛ»»а»,Е=!,...,Ь, »' ! и совместно с условиями (4) зто дает следующие уравнения для определения множителей Лагранжа би- = ~ Ли (пг;„а» ), ».
» = 1, ... » Е». (») г-! 212 Так как векторы ас, »=1, ..., Ь, линейно независимы, матрица д!»Ф скалярных произведений ((аь ас )) невырождена. Поэтому из уравнений (7) следует Лсс = (а,, ас), с' = 1, ..., й, 'где (, )- — обозначение для матричных элементов матрицы, обратной к ((а,, аг)): ((а„ас)-) = ((а„аг))-!.
Следовательно,, Определим теперь оценку сс» параметра о» из условия . '1 — Я»»с а»~ = с ! = щ)п ( ~  — Я а; а, ~ ~ — оо < ас < оо, ! = 1...,, сс). (9) с ! Смысл задачи (9) состоит в том, что в качестве оценок а; выбираются те значения аь »=1,'...,с», при которых вектор ~ схс ас наименее уклоняется в с»' от результата измере» ! ний — вектора 4. а», »=1, ..., с», называются оценками наи-.
меньших квадратов ас, с'=1, ..., й. Для решения задачи (9) введем оператор П, ортогонального проектирования в Л„на линейную оболочку с., векторов аь...,аь. Тогда искомые оценки»»с, »=1, ...,А, будут найдены из условия ь ~~)~ »сс а, = П, в. (10) с ! Действительно, т1п ٠— т) !!х ! пЫ,) =ппп ٠— ПД+П,В— — т)!!з!»)сна. )=! — П Ы!з+пс)п(!!П, — т)!!з!!)сна„), (1)) так как векторы $ — П,4енЦ- и П,$ †)я7., ортогональны. Поскольку ПД~,(,„из (11) следует, что ппп !Ц вЂ” сс!! достигается на ») =ПА.
213 Ьс = ~", (ас, ас) ас, с-! и линейная несмещенная оценка минимальной дисперсии ас -имеет вид с»с' = (Ьс, $) = 1), (а,, ас)-(ас, $), с = 1, ..., й. с'=! Равенство (10) выполняется тогда и только тогда,' когда вектор $ — ~~)' а!'а! =$ — П,$ ортогонален Ь, т. е. ! ! ($ — ~ а! а„аг) = О, !' "= 1, ..., й, !-! или, что то же самое, ~1~~ (а,> а!) аг = ($, а!), ! = 1...;, Й. в-! Отсюда следует, что оценки наименьших квадратов о! = Я (а„а! )- (аа, $), ! = 1, ...; й, !' ! (12у М5=.Яи,ог, ! 1 где векторы аь !=1,...,Й, известны и линейно независимы, то линейные несмещенные оценки минимальной 'дисперсии коэффициентов !х», !=1,...,Й,'даются равенствами (8) и со- впадают с 'оценками наименьших квадратов'. (12). Матрич- ные элементы матрицы коварнацнй оценок равны сота, а! =оа(а„а!)-, 4, 1' ='1, ...
„й.: (13~ Доказательство. Следует проверить лишь последние равенства. Поскольку-согласно (8) и (3) а ~ь а! = Я (а! ас) (а!, ~!' а! а! +т) = !' 1 ! ! ь = !х!" + ~; (ао а!) — (аг, т), (14» с-! 214 совпадают с оценками (8), полученными из условия несмещенности и мннималыюсти дисперсии н,.следовательно, об.ладают этим экстремальным свойством. Метод линейного оценивания, основанный, на минимизации дисперсии, принадлежит Маркову (1900). Метод наи,меньших квадратов значительно раньше развит Гауссом (1809), Сформулируем полученные результаты.
Теорема 1 (Гаусса †Марко). Пусть случайные величины С!,...,$„, независимы, имеют одинаковую дисперсию и $= = (а! ..., $„). Еслй . сочи! сс! = М(а! — сс!) (а! — а») = (15) М зз = М1тф = М ~ т»~ = а а»», »=1 и, следовзтельно, М4 ™ ~ Х (а! — ' с»») а!»)!' = Я (ао а! ) М (Й, — а,) (а! — со) = »,!'=! = Я (а„а;)(а», ас)-ай =лай. !.Г=! 21о %' (а», а») — о»(а!., а»-) (а»-, а!) =а»(а„а!)-. Здесь использовано соотношение й и М(а», ю) (а»-,ю) = МЯ а»»т т! Я а»м- я; = ! !'=1 = а!» Д' а»! а»»-, = ое(а», а»-).
~ »=1 2О. Несмещенная оценка дисперсии оз, н>1с Рассмотрим статистики з» = $ $ — 'Я а, а, ~ = 1ъ1з, ( ! з~=~$ — П,Ц' =~3 — Я й»а,~' =~т — П,ч~з, »=! а с 4 = ~ П, $ — $ а,. а, ~ = Ц»' (а, — а,) а, ~ = ~ П„т 1з . »-! ! ! Здесь $ имеет выражение (3). Поскольку векторы $ — П„5ен ан С„~ и П, $.— ~ а, а! ен 1., ортогональны, то ! ! ~ =Р— П.1 +П.1 -~ ц; а,~ =~1 — П.Ц*+ »=! +~П,$ — ~) а; а»~* = з~»+ з~з.. ! ! Поэтому Мз!з=М(з~ — ззс) = (л — й)о' и, следовательно, статистика б~ = " .
(16) а — ь является несмещенной оценкой дисперсии ос. Таким образом, составляющая П,$ вектора измерений определяет оценки ссс, !=1,...,А, а оставшаяся информация в-4 — П,5 позволяет несмещенно оценить дисперсию измерений о' 3'. Распределение оценок в случае нормального распределенйя ошибок измерений Предположим дополнительно, что в равенствах (1) ты 1=1,...,п, нормально распределены Я(О, о') и, как это оговорено вначале, независимы в совокупности. В таком случае, воспользовавшись результатами $9 и равенствами (15), найдем (17)! с 1П. — Е и! аю1~' = свХу.
с=! Рис. ! При этом согласно следствию 2 теоремы 14.1 случайные век- а торы $ — П,$ =т — П,т и П $ — '$ а,а! = П,т независи- ! ! мы как ортогональные проекции вектора т на ортогональные подпространства Ц и Е, соответственно. По этой причине статистика 1Пай — ~~' а!асф!й- ((Ч", (а! — а!)'а!~ /Й 1=! ! 1 Б-и Я'((а-а) 1$-и $Р!(а-а) . контролируется распределением Фишера с й и л — А степенямн свободы. Если коэффициенты а!, ..., аь рассматривать как вектор а= (аь ..., аь) в А-мерном евклидовом пространстве Яю то статистика !р», -ь может быть использована для получения доверительных множеств ' в )(ь для сс. Действительно, для заданного у, О-.ау~1, определим по таблице распределения Фишера а~ О так, чтобы Р(%,„.'„<е)=у.
216 Тогда с вероятностью т вектор истинных коэффициентов ,(ас,...,их). покрывается случайным подмножеством Иа. ~а = (а, ..., иь) ! ~ ~) ! (а, — а;) а, ~ = с=! = '~~)~ (а„ ас)(ас — ис)(ис — вс) < — 15 — П„В!!з~ (18) п — с» с,»-! Доверительное подмножество (18) уровня т является эллипсоидом с центром и= (ас, ..., аа). Понятие доверительного эллипсоида введено Хоттелингом в 1931 г. Можно получить интервальные оценки для каждой координаты вектора (ос,...,пх).
Для этого заметим, что оценка иь как линейная функция нормальных случайных величин, также распределена нормально. Параметры этос»с распределения определяются равенствами сг(и»=и», Рис=сота»а»=о (ас, ас)-, ! =1, ..., л. (19) ' Заметим, в частности,- что вектор- и= (аь ..., аь) нормально распределен У(и, оК(а», ас) )). Так как случайный вектор П $ и статистика Ц вЂ” П $!!с независимы, то соответственно независимы и (аь ..., аь) и !Ц вЂ” П,$!!з, так как ..= Е(".
)-а'е)= »' =1 = Я (а',, а») — (П,3,,а»), с =1, ..., й. Ф А поскольку согласно (19) (໠— а»)с((а», ас) )»Р имеет распределение АС(О, о') и !!4 — П,Ц!з=»с'Хс д, то статистика ас -а» т„ь— Нас, )-В-П.И*/( — И!" имеет распределение Стьюдента с п — сс степенями свободы. Этот факт позволяет построить доверительный интервал для а», с= 1,...,»с. Действительно, определим для заданного у, О «у~1, еъО так, чтобы Р(! — !<а)=Т. 217 Тогда случайный интервал (а~ — еб;($), ~а~+ей;(а)), ' где б1($) =[(аь а~)-иа — П',Ц!з/(я — й)[1/з='[(аь а;) оз)'/з 11 $,=а,+м,, '$, = а, + чм Ь= +аз+та~ ! 4,= а~+ а, +ч,, $,=а~ — а +ч,. ! 51=а,+ чм 5,=ах+ ч;, Согласно первой схеме каждый предмет взвешивается один раз.
Во второй схеме при дополнительном взвешивании на чашку весов кладутся оба предмета. Согласно третьей схеме при первом взвешивании предметы кладутся на одну чашку весов, а при втором — на разные. Будем-считать, что в любой схеме ошибки взвешивания независимы, причем Мч;=О, 1)ч;=.о2, (=1, 2, 3. В схеме 1: а~ = (1, О), аз = (0„1), ((а„а~ )) = ((а„аа) ) = ~ у. /1 О~ ~О 1/' Следовательно, /оэ 01 а1 = $ь а, = $„(сот(а, 'а~)) = ~ ~О и') В этой схеме п=л, и измерения не содержат информации, достаточной для оцеиивания оэ.
218 является доверительным интервалом .уровня у для аь (= =1,.',,й. Воспользовавшись выражением (16) для оценки дисперсии, легко получить доверительный, интервал для оз. действительно, в рассматрнваемом случае а'=Д П,ЦР/(и — й) = =оЩ ь Определим для заданного у, О~у~1, величины а1 и еь О~е~~ез так, чтобы 2 ч ' (1 — Ч) Р (ф, < а,) = Р ()( ь >~ еэ) = 2 Тогда Р (е, ~ а'/оз-с. ез) = Р (Э/е, ( о' ( оа/е1) = у.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
