1625915145-5b3debabab98d9e994cc3a1bc8da0f5b (843876), страница 23
Текст из файла (страница 23)
МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕП р и м е р 45. Очень часто утверждение предыдущей теоремы трактуют следующим образом: если нормально распределённые случайные величины некоррелированы, то они независимы. Это утверждение неверно:некоррелированные нормальные величины могут быть зависимы, и дажефункционально зависимы, если их совместное распределение не обладаетплотностью (39).= N0, 1 . Построим при некотором c > 0 случайную величинуПусть ξ ⊂{−ξ, если |ξ| ⩽ c,η=ξ иначе.= N0, 1 для любого c. Ещё проще проверяетсяЛегко проверить, что η ⊂зависимость ξ и η. Например, события {η ∈ (−c, 0)} и {ξ ∈ (−c, 0)}несовместны. Но ковариация∞∫∫c2222cov(ξ, η) = √x2 e−x /2 dx − √x2 e−x /2 dx2π2πc0выбором числа c может быть сделана нулевой.Так же как и одномерное, многомерное нормальное распределение часто возникает как предел распределений центрированных и нормированных сумм.
Только теперь это должны быть суммы независимых случайных векторов. Читатель поверит следующей теореме без доказательства,будучи в состоянии доказать её, как и в одномерном случае, с помощьюхарактеристических функций.(1)(2)Т е о р е м а 33 (м н о г о м е р н а я Ц П Т). Пусть ⃗ξ , ⃗ξ , . . . — последовательность независимых и одинаково распределённых случайных(1)векторов, каждый из которых имеет среднее E ⃗ξ = ⃗a и невырожден(1)(n)ную матрицу ковариаций Σ.
Обозначим через Sn = ⃗ξ + · · · + ⃗ξвектор частичных сумм. Тогда при n → ∞ имеет место слабая сходимость распределений векторов⃗η(n) =Sn − n⃗a√⇒ ⃗η, где ⃗η имеет распределение N⃗0, Σ .nВ условиях( (n) )многомерной ЦПТ распределение любых непрерывныхфункций g ⃗ηслабо сходится к распределению g(⃗η ). В качестве g(⃗x )∑ 2нам в дальнейшем будет нужна только g(⃗x ) =xi = ∥⃗x ∥2 .С л е д с т в и е 2. В условиях многомерной ЦПТ имеет место сходимость ∥⃗η(n) ∥2 ⇒ ∥⃗η ∥2 .125§ 2.
Доказательство теоремы Пирсона§ 2. Доказательство теоремы ПирсонаПлан действий. 1. Сначала покажем, что статистика ρ критерияучаствующая в теореме Пирсона, есть квадрат нормы некоторогоS − n⃗ak -мерного вектора ⃗η(n) = n√. Затем убедимся в том, что матриnца ковариаций типичного слагаемого ⃗ξ(1) в сумме Sn вырождена, чтомешает использовать ЦПТ.2. Найдём поворот Q, приводящий ⃗ξ(1) к виду Q⃗ξ(1) = (ξ̂(1), 1), гдевектор ξ̂(1) ∈ Rk−1 уже имеет невырожденную и даже единичную матрицу ковариаций. При том же повороте центрированный вектор ⃗η(n) перейдёт в вектор Q⃗η(n) = (η̂(n), 0) с нулевой последней координатой.
Но егонорма не изменится из-за ортогональности матрицы Q.χ2 ,3. К вектору сумм η̂(n) приме́ним многомерную ЦПТ. В пределе получим (k−1) -мерный нормальный вектор с нулевым средним и единичной матрицей ковариаций, т. е. составленный из независимых величин состандартным нормальным распределением. Воспользуемся следствием 2и тем, что квадрат нормы этого вектора имеет распределение Hk−1 .Реализация.вспомогательный вектор-столбец из постоян√√ 1. Введёмных P = ( p1 , .
. . , pk ) ∈ Rk . С каждым элементом выборки Xi свяжем свой вектор-столбец ⃗ξ(i) , где i = 1, . . . , n, так:)((i)I(X∈A)I(X∈A)1iik⃗ξ = (ξ1 , . . . , ξk ) =., ...,√√p1pkПолучим n независимых и одинаково распределённых векторов. Видим,что ⃗a = E ⃗ξ(1) = P, поскольку EI(X1 ∈ Aj ) = pj для любого j = 1, . . .
, k.Складывая векторы ⃗ξ(i) по i от единицы до n, центрируя и нормируя,получаем величину из многомерной ЦПТ)(∑n⃗ξ(i) − n⃗aνk − npkν1 − np1S − n⃗ai=1√, ..., √== n√.√np1npknnНайдём матрицу ковариаций вектора ⃗ξ(1) , составленную из элементов()EI(X1 ∈ Ai , X1 ∈ Aj ) − pi pjI(X1 ∈ Ai ) I(X1 ∈ Aj )σij = cov,==√√√pipjpi pj{{p−pp,еслиi=j,1 − pi ,если i = j,1ii j= √·=√pi pj0 − pi pj , если i ̸= j− pi pj , если i ̸= j.126ГЛАВА X. МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕУдобно записать эту матрицу ковариаций следующим образом: √ 10p1(√√ )T...p1 . . .pk .Σ = E − PP =− ... ×√pk01Умножив её матрицу на вектор P справа, получим нулевой вектор. Действительно, ΣP = EP −P P T P = P −P = ⃗0, поскольку норма вектора Pравна единице: P T P = ∥P ∥2 = 1.
Значит, столбцы матрицы Σ линейнозависимы и она вырождена. Заметим также, чтоP T ⃗ξ(1) = I(X1 ∈ A1 ) + . . . + I(X1 ∈ Ak ) = 1.(41)2. Из равенства (41) мораль: если последняя строка ортогональной матрицы Q будет равна P T , то после умножения Q на ⃗ξ(1) получим векторс единичной последней координатой (а после центрирования — с нулевой).Пусть Q — любая ортогональная матрица с последней строкой P T .Вектор Q⃗ξ(1) имеет по лемме 10 матрицу ковариаций B = QΣQT .
Убедимся, что B — почти единичная матрица (от единичной её отличаетлишь последний диагональный элемент bkk = 0).Заметим сначала, что скалярное произведение i -й строки матрицы Qна вектор P, лежащий в её последней строке, равно нулю при i ̸= kи единице при i = k, поэтому QP = (0, . . . , 0, 1).B = QΣQT = Q(E − P P T )QT = E − QP · (QP )T .Матрица C = QP · (QP )T состоит изравен единице. Окончательно получаем 100B = ... − ...010нулей, и только её элемент ckk01=(Ek−1 000).(42)3. Осталось повторить то, что мы уже описали в плане: умножениеQ⃗ξ(1) = (ξ̂(1) , 1) приводит к вектору с постоянной последней координатойиз равенства (41) и вектором средних QP = (0, . .
. , 0, 1) = (E ξ̂(1) , 1).Равенствами (42) мы показали, что вектор ξ̂(1) ∈ Rk−1 имеет невырожденную единичную матрицу ковариаций Ek−1 .Векторы ξ̂(1) , ξ̂(2) , . . . независимы и одинаково распределены. Всеусловия многомерной ЦПТ выполнены, поэтомуη̂(n) =ξ̂(1) + . . . + ξ̂(n)√n= N⃗⇒η⊂0, Ek−1.§ 3. Вопросы и упражнения127По следствию 2, норма вектора η̂(n) слабо сходится к норме вектора η ,состоящего согласно теореме 32 из независимых случайных величин состандартным нормальным распределением:∥η̂∥ ⇒ ∥η ∥ =(n) 22k−1∑= Hk−1 .η 2i = χ2k−1 ⊂(43)i=1Осталось заметить, что у векторов ⃗η(n) , Q⃗η(n) , η̂(n) , связанных равенствамиQ⃗η(n)(n)Q⃗ξ(1) + .
. . + Q⃗ξ − QP√= (η̂(n) , 0),=nнормы одинаковы: ∥⃗η(n) ∥2 = ∥Q⃗η(n) ∥2 = ∥(η̂(n) , 0)∥2 = ∥η̂(n) ∥2 . И всеэти нормы ведут себя согласно (43).У п р а ж н е н и е . Найти среди этих норм величину ρ из теоремы Пирсона и убедиться, что доказательство завершено.§ 3. Вопросы и упражнения= N=1. Случайные величины ξ ⊂a1 , σ21 и η ⊂ Na2 , σ22 имеют коэффициент корреляции −1 < ρ < 1. Найти плотность совместного распределенияслучайных величин ξ и η.2. Нормально распределённый случайный вектор имеет нулевые средние и следующую матрицу ковариаций:() () ()5 32 12 1Σ==×.3 21 11 1Найти линейное преобразование, переводящее исходный вектор в векторсо стандартным нормальным распределением.3.
Нормально распределённый случайный вектор имеет нулевые средние и следующую матрицу ковариаций:()2 1Σ=.1 2Найти поворот, делающий координаты вектора независимыми. Найти линейное преобразование, переводящее исходный вектор в вектор со стандартным нормальным распределением.128ГЛАВА X. МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ4.
Случайные величины ξ и η имеют плотность совместного распределения()−f (x, y) = C · e1 x2 y 2+2 a2 b2.Найти постоянную C. Найти преобразование, делающее координаты вектора независимыми случайными величинами со стандартным нормальным распределением.5.
Доказать, что случайная величина η из примера 45 (с. 123) имеетстандартное нормальное распределение.6. Случайные величины ξ и η имеют двумерное стандартное нормальное распределение. Найти вероятность P(ξ2 + η2 < r2 ).7. Случайные величины ξ и η имеют плотность совместного распределения{()}1· exp2πf (x, y) = √−120x23xyy2−+552.Найти вероятность попадания случайной точки (ξ, η) в эллипсx23xyy29−+⩽.552108. Случайные величины ξ и η имеют двумерное нормальное распределение с вектором средних (a, b) и матрицей ковариаций Σ = B 2 .
Найтивероятность вектору (ξ − a, η − b) принадлежать эллипсу, который получается из круга x2 + y 2 < r2 линейным преобразованием с помощьюматрицы B всех его точек: (x, y) 7→ B(x, y).Г Л А В А XIПОСТРОЕНИЕ ЭФФЕКТИВНЫХ ОЦЕНОКВ этом разделе мы научимся строить эффективные оценки. Напомним, чтодо сих пор мы иногда могли обосновать эффективность оценки с помощьюнеравенства Рао — Крамера. При этом для некоторых регулярных семействмы просто не смогли обнаружить оценок, обращающих это неравенство в равенство. Для нерегулярных же семейств, подобных равномерному, и этосредство не работало.
Оказывается, эффективные оценки в любом классестроятся с помощью оператора ортогонального проектирования произвольной оценки этого класса на множество случайных величин, являющихся борелевскими функциями от полной и достаточной статистики. Такая ортопроекция носит название условного математического ожидания. Условныематематические ожидания (УМО) суть жизненно важные объекты для экономистов: например, оценки метода наименьших квадратов в линейной регрессии возникают как раз при ортогональном проектировании некоторогослучайного вектора на некоторое линейное подпространство в Rn . Байесовские подходы к построению оценок при имеющейся априорной информациио параметре тоже сводятся к вычислению УМО.
При изучении случайныхпроцессов во второй половине курса эконометрики УМО тоже возникают.§ 1. Условные математические ожиданияОпределение УМО. Условное математическое ожидание имеет простой геометрический смысл, начнём с него.Пусть ξ и η — две случайные величины на некотором вероятностномпространстве, причём E|ξ| < ∞. Ничего принципиально не изменится,если они обе или только одна из них будет многомерной случайной величиной (случайным вектором).Пусть L = L(η) — множество, в котором собраны все случайные величины, имеющие вид ζ = g(η), где g(x) — произвольная борелевскаяфункция. Скалярным произведением двух случайных величин φ и ζ назовём (φ, ζ) = E(φζ), если это математическое ожидание существует.130ГЛАВА XI.
ПОСТРОЕНИЕ ЭФФЕКТИВНЫХ ОЦЕНОКУсловное математическое ожидание E(ξ | η) случайной величины ξотносительно η можно представлять себе как результат ортогональногопроектирования случайной величины ξ на пространство L.Изобразим случайные величины векторами в R3 , а пространство L —плоскостью, проходящей через начало координат, как на рис. 12.ξξ−bξbξL(η)0Рис. 12. Ортогональное проектированиеРезультат проектирования — такая случайная величина E(ξ | η) = bξиз L, для которой выполнено основное и единственное свойство ортопроекции: её разность с ξ ортогональна всем элементам L. Ортогональностьозначает, что для любой g(η) ∈ L обращается в нуль (если вообще существует) скалярное произведение ( ξ − bξ, g(η)), т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
