Лекции по методам математической статистики (1162373), страница 2
Текст из файла (страница 2)
Например, задачаXE(k(ξi − µb)2 − σ 2 )2 ∼ mink1имеет решение для ξi ∼ N(µ, σ 2 ) при k = n+1. (Доказать).Рассмотрим специально несмещенные оценки минимальной дисперсии (НОМД).Лемма. Если существует НОМД, то она единственна (с вероятностью 1).Доказательство. Пусть t1 (ξ) и t2 (ξ) — НОМД, т.е. Eti (ξ) = τ (ϑ), Dti (ξ) = δ, i = 1, 2.4Рассмотрим t3 = 12 (t1 + t2 ).
Тогда Dt3 =p√111 √= (Dt1 + 2covt1 t2 + Dt2 ) 6 (Dt1 + 2 Dt1 Dt2 + Dt2 ) = ( δ + δ)2 = δ,444но Dt3 > δ, т.е. возможно лишь равенство, откуда следует, что t1 (ξ) − τ (ϑ) = k(ϑ)(t1 (ξ) − τ (ϑ))с верояьностью 1 (k 2 = 1), и далее, из covt1 t2 = δ получаем k = 1.Иногда качество оценки можно определить, зная минимально возможное значение ее дисперсии (неравенство Рао-Крамера).Определение.
Функцией правдоподобия для некоторого распределения P (x, ϑ) называется L(x, ϑ) = p(x1 , ϑ)p(x2 , ϑ) . . . p(xn , ϑ), где p(xi , ϑ) — либо плотность распределения pξ (x, ϑ)случайной величины ξ, либо Pϑ {ξ = x}1 .2.1Теорема Рао-Крамера.(Одномерный скалярный случай.)Пусть L(x|ϑ) = L(x1 , ..., xn |ϑ) — функция правдоподобия и пусть выполняются следующиеусловия:1. ϑ ∈ Θ ⊂ R1 , Et(ξ) = τ (ϑ).2. L и τ - дифференцируемы по ϑ.3.
Множество {x ∈ Rn , L(x|ϑ) 6= 0} не зависит от ϑZZddL(x, ϑ)dx =L(x, ϑ)dxdϑdϑиddϑZZt(x)L(x, ϑ)dx =ТогдаDϑ t(ξ) >t(x)dL(x, ϑ)dx.dϑ[τ 0 (ϑ)]2L(ξ,ϑ) 2E( ∂ log∂ϑ).(2.1)Если в (2.1) выполняется равенство, то∂ log L(ξ, ϑ)= a(ϑ)[t(ξ) − τ (ϑ)]∂ϑ(2.2)с вероятностью единица для некоторого a(ϑ). RRДоказательство. Дифференцируя тождества L(x, ϑ)dx = 1 и t(x)L(x, ϑ)dx = τ (ϑ),получимZZd ln L(x, ϑ)d ln L(x, ϑ)L(x, ϑ)dx = 0, t(x)L(x, ϑ)dx = τ 0 (ϑ)dϑdϑилиZd ln L(x, ϑ)[t(x) − τ (ϑ)]L(x, ϑ)dx = τ 0 (ϑ)dϑи отсюда по неравенству Коши-Буняковского получаем (2.1).Если в условиях теоремы Рао-Крамера имеет место равенство, то справедливо (2.2) с вероятностью единица. В этом случае оценка называется эффективной и ее дисперсия равна0 (ϑ)|Dt(ξ) = |τ|a(ϑ)|.К таким оценкам, например, приводят распределения, плотности которых можно представить в видеp(x, ϑ) = exp{a(ϑ)b(x) + c(ϑ) + d(x)}, x ∈ R1 , ϑ ∈ R1 .1 Обычно функция правдоподобия рассматривается как функция от ϑ, а значения x , x , .
. . , x (выборка) — параметры. Еслиn12же, наоборот, ϑ считать параметром, то L(x, ϑ) можно считать плотностью вероятности вектора ξ с независимыми координатами.5(Они называются экспоненциальными семействами.) ТогдаXXL(x, ϑ) = exp{a(ϑ)b(xi ) + nc(ϑ) +d(xi )}и X1c0 (ϑ)b(xi ) + 0.na (ϑ)PПусть условия теоремы Рао-Крамера выполнены, тогда t(ξ) = n1b(xi ) есть эффективнаяc0 (ϑ)оценка τ (ϑ) = − a0 (ϑ) с дисперсией 0 τ (ϑ) na0 (ϑ) .∂ ln L(ξ, ϑ)= a0 (ϑ)n∂ϑЭкспоненциальному семейству принадлежат многие важные для практики распределения:нормальное, Пуассона, Бернулли (биномиальное), гамма-распределение и другие.Примеры.ln L= σn2 [x − ϑ], т.е.
x — эффективная оценка1. N(ϑ, σ 2 ): p(x|ϑ) = σ√12π exp{− 2σ1 2 (x − ϑ)2 }. ∂ ∂ϑ2ϑ с дисперсией σn .PPln L2. N(µ, ϑ2 ). ∂ ∂ϑ= ϑn3 [ n1 (xk − µ)2 − ϑ2 ], поэтому для τ = ϑ2 n1 (xk − µ)2 — эффективная4оценка с дисперсией 2ϑn .xln L3. f (x|ϑ) = e−ϑ ϑx! , x = 0, 1, 2, . . . . ∂ ∂ϑ= nϑ [x − ϑ]. x — эффективная оценка ϑ с дисперсиейϑnP xi −ϑ1∂ ln L4. Распределение Коши f (x|ϑ) = π1 1+(x−ϑ)= 2 1+(x2.2∂ϑi −ϑ)— эффективной оценки ϑ не существует.Замечание. Из (2.2) видно, что если н.о.м.д. существует, то она существует только лишьдля специальной функции τ (ϑ) параметра ϑ и не существует ни для какой функции, отличнойот c1 τ (ϑ) + c2 , где c1 , c2 — постоянные.Многомерный аналог неравенства Рао-Крамера.Теорема.
Пусть Lξ (x, ϑ), x ∈ Rn , ϑ ∈ Rm , — семейство плотностей, отвечающих семействураспределений вероятностей P (·, ϑ), ϑ ∈ Rm случайного вектора ξ ∈ Rn иZEϑ t(ξ) = t(x)Lξ (x, ϑ)dx = τ (ϑ),(2.3)Rnгде1 τ = (τ1 , . . . , τk )T , t = (t1 , . .
. , tk )T — известные функции, определенные на Rm и Rn соответственно, и принимающие значения в Rk .Обозначим S = {Sij }, M = {Mij } и D = {Dij } матрицы, матричные элементы которыхдаются равенствамиSij =∂τi (ϑ)∂ ln Lξ (ξ, ϑ)= Eϑ ti, i = 1, . . . , k, j = 1, . . . , m∂ϑj∂ϑj∂ ln Lξ (ξ, ϑ)0 = Eϑ,j = 1, . . . , m∂ϑj∂ ln Lξ (ξ, ϑ) ∂ ln Lξ (ξ, ϑ)Mij = Eϑ, i, j = 1, . . . , m,∂ϑi∂ϑjDij = Eϑ (ti (ξ) − τi (ϑ))(tj (ξ) − τj (ϑ)), i, j = 1, . . .
, k.(2.4)Предполагается, как и в одномерном случае, что дифференцирование может быть выполнено под знаком интеграла. Тогда справедливо (матричное) неравенство Крамера-РаоD(ϑ) > S(ϑ)M −1 (ϑ)S T (ϑ),1 ЗдесьT — знак транспонирования матриц или векторов.6ϑ ∈ Rm ,(2.5)причем равенство в (3.3) имеет место тогда и только тогда, когда существует k × m матрицаC = C(ϑ), не зависящая от ξ, такая, что с вероятностью единицаt(ξ) − τ (ϑ) = C(ϑ) α(ξ, ϑ),(2.6)гдеα(ξ, ϑ) =∂ ln Lξ (ξ, ϑ)∂ ln Lξ (ξ, ϑ),...,∂ϑ1∂ϑmT.(2.7)Доказательство. Согласно обозначениям (3.1), (3.2) и (3.4)D = Eϑ (t − τ )(t − τ )T ,Eϑ α = 0,M = Eϑ ααT = Σα ,∂(τi (ϑ))= Σtα .S = Eϑ tαT = Eϑ (t − τ )αT =∂ϑj(2.8)(2.9)Для любой k × m матрицы C получаем0 6 Eϑ (t − τ − Cα)(t − τ − Cα)T == Eϑ (t − τ )(t − τ )T − CS T − SC T + CM C T =T−T= Eϑ (t − τ )(t − τ ) − SM S + (C − SM−1)M (C − SM(2.10)−1 T) ,поскольку(C − SM −1 )M (C − SM −1 )T = CM C T − CS T − SC T + SM −1 S T , то есть−CS T − SC T + CM C T = −SM −1 S T + (C − SM −1 )M (C − SM −1 )T .Наконец, положив в (2.10) C = SM −1 , получим неравенство (3.3).Пусть существует матрица C = C(ϑ), такая, что выполняется равенство (3.4).
ТогдаEϑ tαT = CEϑ ααT , или, иначе, S = CM . Следовательно, (C − SM −1 )M (C − SM −1 )T = 0и, согласно равенству (2.10),Eϑ (t − τ )(t − τ )T = D = SM −1 S T .(2.11)Наоборот, пусть выполнено равенство (2.11). Тогда, согласно соотношениям (2.10) длявсякой матрицы CEϑ (t − τ − Cα)(t − τ − Cα)T = (C − SM −1 )M (C − SM −1 )T .Выбрав C = SM −1 , найдем, что с вероятностью единица выполняется равенство (3.4).Оценка t(ξ) для τ (ϑ) = τ (ϑ1 , . . . , ϑm ) называется R-эффективной, если нижняя границадисперсии этой оценки, задаваемая многомерным аналогом неравенства Рао-Крамера, достигается для всех ϑ = (ϑ1 , .
. . , ϑm ).Пример. Чибисов, Пагурова, Задача 3.6 стр. 46. Пример 4. Пусть ξ1 , ..., ξn — незавиP1(ξi − ξ)2 )симая выборка из N(µ, σ 2 ). Проверить, является ли (несмещенная! ) оценка (ξ, n−1параметра (µ, σ 2 ) эффективной.Решение.ln(L(x, µ, σ 2 )) = −n1 Xn2(x−µ)−ln(σ 2 ),i22σ i=12n∂ ln(L(x, µ, σ 2 ))1 X= 2(xi − µ),∂µσ i=1( n)X∂ ln(L(x, µ, σ 2 ))1= 4(xi − µ)2 − nσ 2 .∂σ 22σi=17Учитывая, чтоnP(ξi − µ)2 = σ 2 χ2n , Eχ2n = n, Dχ2n = 2n, получаемi=1M2,2( n)2nX1n1 XM1,1 = 4 E(ξi − µ) = 4 E(ξi − µ)2 = 2 ,σσ i=1σi=1( n)2nX1n1 X22= 8E(xi − µ) − nσ(xi − µ)2 = 4 ,= 8D4σ4σ2σi=1i=1M1,2 = M2,1 = 0.Учитывая,что S — единичная матрица и вычисляя матрицу D для независимых ξ иP(ξi − ξ), получаем неравенство (3.3) в виде! 2σ2σ00nnD=>= M −1 ,2σ 42σ 40 n−10n1n−1что означает, что оценка не является эффективной.3Распределение ортогональных проекций нормального вектора.Рассмотрим n-мерное евклидово пространство Rn , x = (x1 , .
. . , xn ) ∈ Rn , (x, y) =nPxk yk .k=1Пусть ξ = (ξ1 , . . . , ξn ) — случайный вектор в этом пространстве, причем ξ ∼ N(0, σ 2 I).Напомним, что в общем случае, когда ξ ∼ N(0, Σ),1(det Σ−1 )1/2−1exp − (x, Σ x) .pξ (x) =(2π)n/22Если Σ = σ 2 I, где I — единичный оператор, то координаты ξi независимы и11 2pξi (xi ) = √exp − 2 xi .2σ2πσ 23.1Ортогональный проектор. Ортогональное преобразование.Пусть L — линейное подпространство Rn и L⊥ — ортогональное дополнение L в Rn , т. е.множество векторов x ∈ Rn , ортогональных всем векторам из L:L⊥ = {x ∈ Rn , (x, y) = 0, y ∈ L}.Очевидно, L⊥ — также линейное пространство Rn . Как известно, всякий вектор x ∈ Rn можетбыть представлен в виде суммыx = x1 + x2 ,x1 ∈ L, x2 ∈ L⊥ .(3.1)x01x02 ,x01Разложение (3.1) единственно.
Действительно, равенство x = x1 + x2 =+∈ L,⊥0 20 2∈ L , совместно с (3.1) влечет (x1 − x1 ) + (x2 − x2 ) = 0. Слагаемые в последнем равенствеортогональны, так как x1 − x01 ∈ L, x2 − x02 ∈ L⊥ , поэтому(x1 −x01 )2 +(x2 −x02 )2 = 0, т. e. x01 = x1 , x02 = x2 . Следовательно каждому x ∈ Rn разложением(3.1) ставится в соответствие единственный вектор x1 ∈ L:x02x1 = Πx.(3.2)Π называется оператором ортогонального проецирования на L, или ортогональным проектором на L. Отметим следующие свойства оператора Π.81) Π — линейный оператор.
Действительно, пустьx = x1 + x2 , y = y1 + y2 , x1 , y1 ∈ L, x2 , y2 ∈ L⊥ .(3.3)Тогдаαx + βy = (αx1 + βy1 ) + (αx2 + βy2 ), αx1 + βy1 ∈ L, αx2 + βy2 ∈ L⊥ .Следовательно, согласно определению (3.2) Παx + βy = αx1 + βy1 = αΠx + βΠy.2) Π — самосопряженный оператор, т.е. для любых x, y ∈ Rn (Πx, y) = (x, Πy). Действительно, воспользовавшись разложением (3.3), найдем(Πx, y) = (x1 , y) = (x1 , y1 ) = (x, y1 ) = (x, Πy).3) Оператор Π удовлетворяет уравнению Π2 = Π («идемпотентность»).
Действительно,для всякого x ∈ Rn : Πx = x1 = Πx1 = Π(Πx), поскольку для ∈ L разложение (3.1) имеет видx1 = x1 = Πx1 .На самом деле свойства 1) — 3) не только необходимы, но и достаточны для того, чтобы оператор Π был ортогональным проектором. Для доказательства предположим, согласносвойству 1, что Π — линейный оператор. Обозначим через L множество решений уравненияΠx = x. через N — множество решений уравнения Πx = 0 . Легко убедиться, что L и N —линейные подпространства Rn , причем ортогональные, если Π удовлетворяет условию 2).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
