Ю.Н. Тюрин - Лекции по математической статистике (1124591), страница 16
Текст из файла (страница 16)
Целесообразно, однако, прежде задаться вопросом: дают ли наши данныеоснования для такого выбора? По-видимому, нет, если с наблюдениями (5) совместима гипотезаH0 : a 1 = a 2 = · · · = a k .(6)Легко видеть, что гипотеза (4) в модели (3) и гипотеза (6) в модели (5) являются частными формами общейлинейной гипотезы в линейной модели, как она формулируется в следующем разделе.6.5.3.
Общая линейная гипотезаМы говорим, что в отношении наблюдения X (X - элемент линейного пространства, в наших рассмотренияхX ∈ Rn ) действует линейная модель, если наблюдение X имеет структуру X = l + ξ, где• l - неслучайный неизвестный вектор, который заведомо принадлежит некоторому заданному линейномуподпространству L;• ξ - случайный вектор (вектор ошибок).Модель называют гауссовской, если ξ имеет гауссовское распределение. В большинстве приложений Eξ = 0,Dξ = σ 2 I, причем σ 2 неизвестно.
(Такая форма матрицы ковариаций ξ означает, что компоненты вектора Xнезависимы и имеют одинаковые дисперсии.)Линейная гипотеза: гипотеза H0 : l ∈ L0 , где L0 - заданное линейное подпространство, причем L0 ⊂ L.Альтернативой к H0 выступает отрицание H0 в рамках линейной модели: H1 : l ∈/ L0 , но при этом l ∈ L.Линейную гипотезу можно рассматривать как частный случай общей параметрической гипотезы о распределении наблюдения X.566.5.4. Критерий отношения правдоподобийПредположим, что случайная величина X имеет плотность f (x, θ), где θ ∈ Θ — неизвестный параметр.Плотность берётся относительно некоторой меры, в нашем случае — относительно меры Лебега в Rn .Гипотеза H0 состоит в том, что параметр θ принадлежит заданному множеству Θ0 , более узкому, чем Θ:Θ0 ⊂ Θ. Критерий, предлагаемый для проверки H0 : θ ∈ Θ0 против H1 : θ ∈ Θ r Θ0 , строится по образцукритерия Неймана – Пирсона.• Пусть θ̂ обозначает оценку параметра θ, вычисленную по наблюдению X в предположении, что θ ∈ Θ.ˆ• Пусть θ̂ обозначает аналогичную оценку, но вычисленную в предположении, что θ ∈ Θ0 .• Критические события теперь имеют видSλ =()f (X, θ̂)>λ .X:ˆf (X, θ̂)(1)Параметр λ, как обычно, выбирают по заданному уровню значимости ε из условияP (Sλ |H0 ) 6 ε.Критерий (1) называют критерием отношения правдоподобий.ˆВ рассматриваемой нами линейной модели оценки θ̂, θ̂ (для пары (l, σ 2 )) нам известны, и вскоре мы к нимˆобратимся.
В общей задаче в качестве f (x, θ̂) и f (x, θ̂) обычно берутf (X, θ̂) = max f (X, θ),θ∈ θˆf (X, θ̂) = max f (X, θ).θ∈Θ0Получаемые по такому правилу оценки θˆθ̂ = arg max f (X, θ) и θ̂ = arg max f (X, θ)θ∈Θ0θ∈Θназывают оценками наибольшего правдоподобия (при условиях θ ∈ Θ и θ ∈ Θ0 ).Критерий отношения правдоподобий теперь имеет такие критические события:max f (X, θ)θ∈ θSλ = X :>λ .max f (X, θ)θ∈Θ0Само выражение f (X, θ), рассматриваемое как функция θ, называют правдоподобием θ.Отсюда и названия: оценки наибольшего правдоподобия и критерий отношения правдоподобий. Свойстваоценок наибольшего правдоподобия мы еще будем изучать, но позже.6.5.5. Применение критерия отношения правдоподобий к проверке линейных гипотезПрименим критерий отношения правдоподобий к проверке линейных гипотез.
В рассматриваемой гауссовской модели правдоподобие естьn11f (X, θ) = √(σ 2 )−n/2 exp − 2 |X − l|2 .(1)2σ2πПри условии, что l ∈ L, оценки ˆl, σ̂ 2 сутьσ̂ 2 =l̂ = projL X,(2)11| projL⊥ X|2 =|X − projL X|2 ,n−mn−mгде m = dim L.ˆ ˆ2При условии, что l ∈ L0 , оценки ˆl, σ̂ сутьˆl̂ = projL0 X,57(3)ˆ2 =σ̂11| projL⊥X|2 =|X − projL0 X|2 ,0n − m0n − m0где m0 = dim L0 .l|2В обоих случаях показатель экспоненты − |X−при подстановке вместо l, σ 2 их оценок превращается в2σ2постоянную, не зависящую от X величину: в первом случае это - −(n − m)/2, во втором - −(n − m0 )/2.Поэтому семейство критических событий (6.5.4.1) для проверки гипотезы H0 имеет вид{X :|X − projL0 X|2> λ}.|X − projL X|2(4)(Параметр λ в (4) не тождественен параметру λ в (6.5.4.1); несмотря на это мы употребили для них одини тот же символ.
Как уже отмечалось в 6.4, для нас важна параметризация семейства критических событий,но не связь между различными возможными параметризациями. Поэтому соотношение между параметрами в(6.5.4.1) и (4) мы можем оставить без внимания.)Ради дальнейшего упрощения (4) введем в рассмотрение еще одно линейное подпространство: ортогональноедополнение L0 до L. Обозначим его через L1 . Итак, L1 ⊥ L0 , L0 ⊕ L1 = L. Теперь Rn представимо в видесуммы трех попарно ортогональных подпространств L0 , L1 и L⊥ .
(Как обычно, L⊥ обозначает ортогональноедополнение L до всего пространства Rn ):Rn = L 0 + L 1 + L ⊥ .В связи с этим для X действует разложениеX = projL0 X + projL1 X + projL⊥ X,причем|X − projL0 X|2 = | projL1 X|2 + | projL⊥ X|2 .(5)В силу (5) критерий отношения правдоподобий (4) можно преобразовать:12m1 | projL1 X|12n−m | projL⊥ X|>λ(6)с учетом замечаний к (4).Вспомним, что оценкой для σ 2 при условии, что l ∈ L, служит1| projL⊥ X|2 .n−m(7)Это несмещенная оценка для σ 2 , вне зависимости от того, верна или нет гипотеза H0 : l ∈ L0 .
Если жеH0 верна, то для σ 2 можно предложить еще одну несмещенную оценку, притом статистически независимую отпервой: это1| projL1 X|2 .(8)m1Если гипотеза H0 неверна, оценка (8) преображает смещение - тем больше, чем больше | projL1 l|2 . (Но осмещении - чуть позже, когда будем говорить о распределениях (7) и (8)). Поэтому критериальная статистикав (6) - это отношение двух независимых оценок дисперсии. Если гипотеза H0 верна, это отношение отличаетсяот 1 только за счет случайных колебаний. Представление об их размере дает распределение статистики (6) пригипотезе.Обсудим распределение статистики из (6) при гипотезе и при альтернативе.
Лемма об ортогональном разложении 4.3.2 говорит, чтоd| projL⊥ X|2 = σ 2 χ2 (n − m),d| projL1 X|2 = σ 2 χ2 (m1 , ∆),где параметр нецентральности ∆ = σ12 | projL1 l|2 . Если верна гипотеза H0 , то ∆ = 0.Критериальная статистика из (6) распределена как F (m1 , n − m, ∆):12dm1 | projL1 X|=12|proj⊥ X|Ln−mF (m1 , n − m, ∆).(9)(Соотношение (9) объясняет, между прочим, и принятое для эф-отношения название дисперсионного отношения Фишера.)58Примечательно, что при гипотезе H0 статистика (9) распределена свободно (от влияния неизвестных параметров l, l ∈ L0 , и σ 2 ).
(Это свойство получено нами сверх ожиданий. Ничто в наших выкладках того необещало.) Поэтому выбор критического значения λ в (6) очень упрощается: для этого надо (с помощью таблицраспределения, например) решить уравнениеP {F (m1 , n − m, ∆) > λ} = ε.В качестве критического значения (для проверки H0 на уровне ε) в (6) надо взять (1 − ε)-квантиль эфраспределения с m1 , n − m степенями свободы.
Которую мы уже когда-то обозначили F1−ε (m1 , n − m).С вычислительной точки зрения более удобной формой для статистики (9) может быть выражение1m−m0 | projL X − projL012n−m |X − projL X|X|2.(10)Итак, получили статистическое правило:• Отвергаем гипотезу H0 на уровне ε, если статистика (9) или (10) превосходит F1−ε (m1 , n − m).Из свойств эф-отношения следует, что мощность этого критерия монотонно возрастает вместе с ростомпараметра нецентральности ∆ = σ12 | projL1 X|2 .6.5.6. Пример: две нормальные выборки.Рассмотрим две независимые нормальные выборки• x1 , . .
. , xm , где xi ∼ N (a, σ 2 )и• y1 , . . . , yn , где yi ∼ N (b, σ 2 ),параметры a, b и σ 2 неизвестны.Подлежащая проверке гипотезаH0 : a = b.(1)Альтернатива к нейH1 : a 6= b.В (n + m)-мерном пространстве рассмотрим векторыZ = (x1 , . . . , xm , y1 , , .
. . , yn )T ,e1 = (1, . . . , 1, 0, . . . , 0)T ,| {z } | {z }mne2 = (0, . . . , 0, 1, . . . , 1)T ,| {z } | {z }mnε = (ξ1 , . . . , ξm , ξm+1 , . . . , ξm+n )T ,где ξ1 , ξ2 , . . . суть независимые N (0, σ 2 ).Вектор Z можно представить в видеZ = ae1 + be2 + ε.Ясно, что Z следует линейной гауссовской модели, причем EZ ∈ L(e1 , e2 ), где L(e1 , e2 ) обозначает (двумерное) линейное подпространство с базисом e1 , e2 .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
