Ю.Н. Тюрин - Лекции по математической статистике (1124591), страница 10
Текст из файла (страница 10)
. . , Xn )T .Предположим, что X - случайный вектор, распределенный по нормальному закону, причем математическое ожидание X, т.е. вектор EX, принадлежит заданному линейному подпространству L, L ⊂ Rn , а матрицаковариаций вектора X равна σ 2 I (скалярная матрица).Вектор l := EX и скаляр σ 2 , σ 2 > 0 неизвестны.
Короткая запись: наблюдаемый вектор X случаен иX ∼ N (l, σ 2 I), причем l ∈ L, где L - заданное линейное подпространство.Статистические задачи в этой модели - выводы о неизвестных параметрах l и σ 2 .4.1. Несмещенное оценивание параметровВ лекциях о достаточных статистиках было сказано, что для параметра θ := (l; σ 2 ) в этой модели естьдостаточная статистика. Это пара T = (projL X; | projL⊥ X|2 ).Согласно примеру 2.7.4.4 эта статистика T полна.Поэтому наилучшая (имеющая наименьшую матрицу ковариаций) несмещенная оценка параметра θ должнабыть функцией достаточной статистики (такая оценка единственна).Заметим, что E projL X = projL EX = projL l = l, ибо:• операцию усреднения (вычисления математического ожидания) и проектирования X можно поменятьместами (проектирование X на подпространство - линейная операция, а усреднение обладает свойствамилинейности);• так как l ∈ L, то projL l = l.Следовательно, наилучшая несмещенная оценка l уже найдена - это projL X.Чтобы найти наилучшую несмещенную оценку σ 2 , надо подробнее изучить статистические свойства projL Xи projL⊥ X.354.2.
χ2 -распределениеОпределение 1 (χ2 -распределение). Пусть η1 , . . . , ηr суть независимые случайные величины, распределенные каждая по стандартному нормальному закону N (0, 1). Случайной величиной хи-квадрат с r степенями свободы называютχ2 (r) := η12 + . . .
+ ηr2 .Распределение случайной величины χ2 (r) для любого натурального r может быть вычислено во всех подробностях (плотность, функция распределения, квантили и т.д.). Явный его вид нам не понадобится. Достаточносказать, что таблицы распределений и квантилей есть в сборниках статистических таблиц.Случайную величину χ2 (r) можно толковать как квадрат длины случайного вектора ~η = (η1 , . . . , ηr ) ∼Nr (0, I), составленного из независимых одномерных стандартных гауссовских величин ηi ∼ N (0, 1), i = 1, r.Распределение Nr (0, I) часто называют стандартным r-мерным гауссовским распределением, а вектор η~ r-мерным стандартным гауссовским вектором.Определение 2 (нецентральное χ2 -распределение).
Пусть ~a = (a1 , . . . , ar ) - заданный вектор. Рассмотримслучайную величинуχ2 (r, ∆) := (η1 + a1 )2 + . . . + (ηr + ar )2Здесь ∆ = a21 + . . . + a2r . Из леммы 4.3.1 (которую мы докажем в следующем разделе) следует, что распреrPделение случайной величины(ηi + ai )2 зависит от ∆ := |~a|2 , но не от ~a. Это обстоятельство отраженоi=12в обозначении χ (r, ∆). Величина ∆ =rPi=1a2i называется параметром нецентральности распределенияхи-квадрат. Если ∆ = 0, распределение хи-квадрат называют центральным.Нецентрально распределенную случайную величину χ2 (r, ∆) можно толковать как квадрат длины r-мерногогауссовского вектора ~η + ~a, причем ∆ = |a|2 .Нетрудно показать, что семейство случайных величин χ2 (r, ∆) стохастически упорядочено по параметру∆, ∆ > 0 , если r - фиксировано.Иными словами, если 0 6 ∆1 6 ∆2 , то для любого z > 0P (χ2 (r, ∆1 ) > z) 6 P (χ2 (r, ∆2 ) > z)(о доказательстве скажем позже.)Графики функций распределения y = P (χ2 (r, ∆1 ) > z) при разных ∆ > 0 выглядят примерно так:4.3.
Две леммы о круговых нормальных распределенияхЛемма 4.3.1.Пусть X ∼ N (l, σ 2 I), C - ортогональная матрица. ТогдаY := CX ∼ N (Cl, σ 2 I)(Cловесная форма: при ортогональных преобразованиях круговое нормальное распределение остается круговым.)Доказательство.Для доказательства достаточно вычислить матрицу ковариации вектора Y = CX. Поскольку для любойматрицы A матрица ковариаций вектора AX естьD(AX) = A(DX)AT(где Dξ обозначает матрицу ковариаций вектора ξ), тоDY = C(DX)C T = C(σ 2 I)C T = σ 2 I,что и требовалось.
Следствие. Пусть η1 , . . . , ηr суть независимые N (0, 1). Тогда:d(η1 + a1 )2 + . . . + (ηr + ar )2 = (η1 +где ∆ = a21 + . . . + a2r .36√ 2∆) + . . . + ηr2 ,Это утверждение доказывает правильность употребления выражения χ2 (r, ∆) для распределения квадратадлины вектора ~η + ~a. Здесь ~η = (η1 , . . . , ηr ).Доказательство.Доказательство основывается на том, чтоη + ~a можно ортогональным преобразованием (скажем, C)√ вектор ~перевести в вектор с координатами (η̃1 + ∆, η̃2 , . .
. , η̃r )T . При ортогональных преобразованиях длина векторане меняется; распределение Cη, так же как и распределение η, есть N (0, I). Лемма 4.3.2.Пусть L1 , L2 , . . . - попарно ортогональные подпространства, прямая сумма которых составляет всепространство Rn :L 1 ⊕ L 2 ⊕ . . . = Rn .Пусть projL X обозначает проекцию вектора X на подпространство L (в евклидовой метрике).
Пусть,скажем, X ∼ N (l, σ 2 I). Тогда:(a) Случайные векторы projL1 X, projL2 X, . . . независимы (в совокупности) и распределены нормально, причем E projLi X = projLi l, i = 1, 2, . . . ;(b)где ri = dim Li , ∆i = | σ1 projLi l|2 .| projLi X|2 = σ 2 χ2 (ri , ∆i )Доказательство.Рассмотрим в Rn новый ортонормированный базис, который строим, объединяя ортонормированные базисыподпространств L1 , L2 , . . .Ради определенности введем соответствующие обозначения:f1 , f2 , .
. . , fr1 − базис L1 ;fr1 +1 , fr1 +2 , . . . , fr1 +r2 − базис L2 ;и т.д....Рассмотрим координаты вектора X = (X1 , . . . , Xn ) в базисе {f }. Обозначим их через Y1 , . . . , Yn .Как известно векторы-столбцы Y = (Y1 , . . . , Yn ) связаны с помощью матрицы C перехода соотношениемY = CX. Заметим, что C — ортогональная матрица, и поэтому Y ∼ N (Cl, σ 2 I).Следовательно, случайные величины Y1 , . . . , Yn независимы, распределены нормально и имеют одну и ту жедисперсию σ 2 .Заметим, чтоprojL1 X = Y1 f1 + .
. . + Yr1 fr1 ,projL2 X = Yr1 +1 fr1 +1 + . . . + Yr1 +r2 fr1 +r2 ,и т.д.Из этих представлений для projLi X, i = 1, 2, . . . , n и отмеченных свойств случайных величин Y1 , Y2 , . . . следует утверждение (a).Для доказательства (b) заметим, что| projL1 X|2 = Y12 + . . . + Yr21 =σ2Yr21Y12+...+σ2σ2= σ 2 χ2 (r1 , ∆1 ),Yибо Yσ1 , . . . , σr1 суть независимые случайные величины, распределенные по нормальному закону.Параметр нецентральности - это квадрат длины математического ожидания вектора1(Y1 , Y2 , .
. . , Yr1 )T .σПо сказанному выше,11TE(Y1 , Y2 , . . . , Yr1 ) = projL1 EX.σσЛемма 4.3.2 доказана. 374.4. Линейная модельВернемся к линейной модели X ∼ N (l, σ 2 I), причем l ∈ L, где L задано. Для оценивания σ 2 рассмотримвторую составляющую достаточной статистики: случайную величину | projL⊥ X|2 .Согласно лемме 4.3.2,| projL⊥ X|2 = σ 2 χ2 (n − r, ∆),где n − r = dim L⊥ = n − dim L. Параметр нецентральности ∆ здесь равен∆=1| projL⊥ EX|2 = 0,σ2ибо EX ∈ L по условиям модели, так что projL⊥ EX = 0.Поскольку Eχ2 (m) = m, наилучшей несмещенной оценкой параметра σ 2 служит11| projL⊥ X|2 =|X − projL X|2 .n−rn−rПоследнее выражение для projL⊥ X зачастую бывает удобнее (особенно когда подпространство L заданосвоим базисом).Отметим также, что в силу леммы 4.3.2, статистически projL X и projL⊥ X независимы (как случайныевекторы).Замечание о вычислении projL X и projL⊥ X.По определению, проекцией точки (вектора) X на множество L называют такую точку множества L, накоторой достигается минимум расстояния:projL X := arg min |X − Z| = arg min |X − Z|2 ;Z∈LZ∈LprojL X = arg minZ∈LnXi=1(Xi − Zi )2 .Последнее равенство объясняет название оценок в этой задаче: оценки наименьших квадратов (как и всегометода: метод наименьших квадратов).Отметим также, чтоnXmin(Xi − Zi )2 = | projL⊥ X|2 = |X − projL⊥ X|2 .Z∈Li=14.5.
Выборка из нормального законаПростой пример гауссовской модели - выборка из нормального закона N (a, σ 2 ):X = (X1 , . . . , Xn )T , где Xi ∼ N (a, σ 2 I).При этом X ∼ N (l, σ 2 I), где l = a(1, 1, . . . , 1)T .Таким образом, подпространство L здесь одномерное; оценивая l, мы, тем самым, оцениваем a.nnPP1Наилучшие несмещенные оценки a и σ 2 суть X = n1Xi и s2 = n−1(Xi − X)2 . Эта же пара (X, s2 ) иi=1служит достаточной статистикой для (a, σ 2 ).Статистики X и s2 независимы, X ∼ N (a, n1 σ 2 );i=1(n − 1)s2 = σ 2 χ2 (n − 1).4.6. Факторные модели (факторные эксперименты)В этих экспериментах отклик (регистрируемый результат опыта), точнее - его неслучайная, закономернаячасть, - есть результат действия одного или нескольких известных факторов.Регистрируемый результат опыта может отличаться от ожидаемого благодаря присутствию случайной ошибки.384.6.1.
Однофакторная гауссовская модельНекий фактор может принимать несколько различных значений, называемых уровнями: A1 , . . . , Ar . Прикаждом значении Ai , i = 1, r производится несколько (скажем ni ) независимых опытов. Их результаты обозначим через Xij , i = 1, nj - это номер опыта в серии j, j = 1, r - серия j соответствует уровню Aj .Статистическая модель:xij = aj + εij ,j = 1, r,где a1 , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
