В.В. Ульянов, В.Г. Ушаков, Н.Р. Байрамов, Т.А. Нагапетян - Решения задач по математической статистике

Ульянов В. В.Байрамов Н. Р.Ушаков В Г.Нагапетян Т. А.РЕШЕНИЯ ЗАДАЧМАТЕМАТИЧЕСКАЯ СТАТИСТИКАМосква2007Аннотация. Данное методическое пособие предназначено для подготовки к экзамену по теории вероятности и математической статистике, который вот уже много летпроводится на факультете ВМиК МГУ после второго года обучения. Авторы постарались изложить наиболее стандартные решения задач, которые предлагались студентамна контрольных работах и экзаменах.При решении задачи на экзамене студент не обязан вести изложение так, как предложено в данном пособии. Вместе с тем, по мнению авторов, предлагаемые здесь решения задач весьма подробно и полно раскрывают содержание решений.Авторы благодарят Ульянова В.

В. , Шестакова О. В. , которые научили их решатьзадачи по математической статистике. Также выражается благодарность Деревенцу Е. ,Дышкант Н. , Ширяеву В. за ценные замечание касательно верстки и набора текста.Ваши замечания, размышления, предложения, оценки и конструктивную критикунаправляйте по адресу nagapetyan@gmail.com.В планы авторов входит дополнение данного пособия задачами по теории вероятности, которые предлагаются в третьем семестре обучения на втором курсе. И мы будемблагодарны, если вы на тот же адрес будете присылать условия задач с семинарских,контрольных, зачетных работ.1Глава 1ОцениваниеОпределения и теоремы1. Статистической структурой называется совокупность (Ω, F, P), гдеΩ — множество элементарных исходов,F — σ-алгебра событий — подмножеств Ω,P — семейство вероятностных мер на F.Семейство P может быть параметрическим: Pθ = {Pθ , θ ∈ Θ}.Как правило, рассматривают случайную величину X на Ω и индуцированную еюстатистическую структуру (X , B, PX, θ ), гдеX — множество значений случайной величины X,B — борелевская σ-алгебра на прямой,∀B ∈ B PX,B = P {X∈B}.2.

Повторная выборка — это случайный вектор (X1 , . . . , Xn ), в котором X1 , . . . , Xn— независимые одинаково распределенные случайные величины.3. Статистикой T (X) называется любая измеримая функция T : Rn −→ Rm от выборки X=(X1 , . . . , Xn ).4. Пусть функция распределения случайных величин X1 , . . . , Xn зависит от параметраθ, и функция T (x) возвращает приближенное значение функции τ (θ) по заданномузначению случайной выборки. Тогда можно рассматривать T (x) как единичное наблюдение случайной величины T (X) = T (X1 , .

. . , Xn ). Случайная величина T (X) —оценка функции τ (θ).5. T (X) называетcя несмещенной оценкой функции τ (θ), если ET (X) = τ (θ) длялюбого θ ∈ Θ.Пример. Пусть X1 , . . . , Xn — независимые одинаково распределенные случайные2величины, µ = EX1 , σ 2 = DX1 . Исследовать несмещенность оценки X для µ2 .Решение. Найдем математическое ожиданиеn1 X22EX = EXi =n i=1nnX1 X 2= 2EXi +Xi Xj =ni=1i=1,j=1,i6=j12222n(σ+µ)+(n−n)µ=n2σ2= µ2 +> µ2 ,n=26.7.8.9.поэтому X — смещенная оценка µ2 .Cмещением оценки T (X) называется величина B(T (X)) = ET (X) − τ (θ).2Среднеквадратичной погрешностью оценки T (X) называют E T (X) − τ (θ) =2DT (X) + B(T (X)) .Погрешность оценки T (X) — это величина e = |T (X) − τ (θ)|.Пусть T1 (X) и T2 (X) — несмещенные оценки τ (θ).(a) Если DT1 (X) < DT2 (X), оценка T1 (X) эффективнее оценки T2 (X).3(b) Эффективность T1 (X) относительно T2 (X), естьЭффективность =DT1 (X).DT2 (X)10.

T (X) называетcя состоятельной оценкой функции τ (θ), если T (X) → τ (θ) повероятности при n → ∞ для любого θ ∈ Θ, то естьlim P |T (X) − τ (θ)| ≤ ε = 1, или, что то же,n→∞lim P |T (X) − τ (θ)| > ε = 0.n→∞11. T (X) является состоятельной оценкой функции τ (θ), если(a) T (X) — несмещенная оценка, и(b) lim DT (X) = 0.n→∞12. Несмещенная оценка:(a) может не существовать;(b) не единственна;(c) может быть бессмысленной;(d) не является, вообще говоря, состоятельной.13. Состоятельная оценка:(a) не единственна;(b) может быть бессмысленной;(c) не является, вообще говоря, несмещенной.14. Оценка T (X) функции τ (θ) называется оптимальной, если1) T (X) — несмещенная, то есть ET (X) = τ (θ)2) T (X) имеет равномерно минимальную дисперсию, то есть для любой другойнесмещенной оценки T1 (X) функции τ (θ) выполнено Dθ T (X)≤Dθ T1 (X) ∀θ∈Θ.15.

Статистика T (X)= T1 (X), . . . , Tk (X) называетсядостаточной, если для любогоборелевского множества A Pθ X∈A | T (X) не зависит от θ.16. Достаточная статистика может не существовать.17. Функция прадоподобия.Пусть x1 , x2 , . . . , xn — значения повторной выборки из распределения L(X), зависящего от набора параметров θ = (θ1 , θ2 , .

. . , θr ). Функция прадоподобия выборкиL(x1 , . . . , xn ; θ) определяется следующим образом:(1) Если L(X) — дискретно,L(x1 , . . . , xn ; θ) = P (X1 =x1 , . . . , Xn =xn ; θ) .(2) Если L(X) — абсолютно непрерывно и p(x; θ) — плотность распределения случайной величины X,L(x1 , . . . , xn ; θ) =nYp(xi ; θ).i=118.

Критерий факторизацииПусть L(X, θ) — функция правдоподобия выборки X, T (X)= T1 (X), . . . , Tk (X) —некоторая статистика.Тогда T (X) — достаточная статистика тогда и только тогда, когда функциюправдоподобия можно представить в виде произведения L(X, θ) = g T (X), θ × h(X).19. Статистика T (X) называется полной, если из Eϕ(T (X)) = 0 для любого θ следуетравенство ϕ(u) = 0 почти всюдупо распределению T (X).20. Cемейство P = Pθ , θ ∈ Θ ⊂ Rk , допускающее функцию правдоподобия видаX kL(X, θ) = K(θ) × expai (θ)Ti (X) × h(X),i=1называется экспоненциальным семейством.421. Теорема о полноте экспоненциальных семействПусть • P = Pθ , θ ∈ Θ ⊂ Rk — экспоненциальное семейство, и• функции a1 (θ), ..

. , ak (θ) и параметрическое пространство Θ таковы, что a(θ) =a1 (θ), . . . , ak (θ) зачерчивает некоторый k-мерный параллелепипед, когда θ пробегает Θ.Тогда T (X) = T1 (X), . . . , Tk (X) является полной достаточной статистикой.22. Неравенство Рао -КрамераПусть X1 , . . .

, Xn — выборка с функцией правдоподобия L(X, θ), а T (X) — несмещенная оценка функции τ (θ).Пусть L(X, θ), T (X) и τ (θ) удовлетворяют условию регулярности:1) Множество X : L(X, θ) > 0 не зависит от θ;2) Функция L(X, θ) дифференцируема по θ иddθZZdL(X, θ) µ(dX),dθZZddT (X)L(X, θ) µ(dX) = T (X) L(X, θ) µ(dX);dθdθL(X, θ) µ(dX) =3) Функция τ (θ) дифференцируема.Если существует конечный второй момент T (X), то[τ 0 (θ)]2Dθ T (X) ≥Eθ∂∂θ2ln L(X, θ)∀θ ∈ Θ.Это неравенсто превращается в равенство, если и только если существует такая фук∂ция an (θ), что T (X) − τ (θ) = an (θ) × ∂θln L(X, θ).Оценка, для которой в неравенстве Рао -Крамера достигается равенство, называетсяэффективной.Эффективная оценка, если существует, является оптимальной.Пример. Плотность распределения случайной величины, распределенной по нормальному закону снеизвестнымматожиданием θ и известной дисперсией σ 2 , есть21f (x; θ) = √2πσexp − (x−θ).

Используя неравенство Рао -Крамера, показать, что2σ 2b параметра θ не меньше, чем σ 2/ .дисперсия любой несмещенной оценки ΘnРешение.∂X −θ(1)ln f (X; θ) =2∂θ2 σ(X − θ)2∂ ln f (X; θ)(2)=∂θσ4 Z2∞(X − θ)11(X − θ)2(x − θ)2√dx=(3) E=exp−σ4σ42σ 2σ22πσ−∞2b≥ 1 =σ .(4) DΘnn σ1223. Теорема Рао -Блекуэлла -КолмогороваПусть T (X) — достаточная статистика выборки X1 , . . . , Xn . Тогда если существуетоптимальная оценка T1 (X) для функции τ (θ), то эта оценка является фукнцией отдостаточной статистики T (X): T1 (X) = ϕ(T (X)).24. Измеримая функция от полной достаточной статистики является оптимальной оценкой своего математического ожидания.525.

Метод моментов.Оценками методом моментов являются решения системы уравненийnµ0r1X r= EX =x = m0r ,n i=1 irr = 1, 2, . . . , k,где k — число параметров.26. Оценки методом моментов:(a) не единственны;(b) могут не быть функциями от достаточной или полной статистик.27. Оценкой максимального правдоподобия (О.М.П.) θ̂(X) параметра θ называетсятакое значение параметра, чтоmax L(X, θ) = L X, θ̂(X) ,где L(x, θ) — функция правдоподобия выборки X = (X1 , . .

. , Xn ).Часто оказывается проще максимизировать функцию ln L(x, θ), что эквивалентномаксимизации функции правдоподобия, поскольку ln L(x, θ) есть монотонная функция от L(x, θ).Пример. Пусть X1 , . . . , Xn — выборка из Пуассоновского распределения с параметром λ.

Найти О.М.П. параметра λ.Решение.e−λ λx(1) Pλ (X = x) =.x!(2) Вычислим функцию правдоподобия: −λ x1 −λ x2 −λ xn e λe λe λL(λ) =···=x1 !x2 !xn !e−nλ λx1 +x2 +···+xn,=x1 ! x2 ! · · · xn !ln L(λ) = −nλ + (x1 + x2 + · · · + xn ) ln λ + ln(x1 ! x2 ! · · · xn !).x1 + x2 + · · · + xn∂ ln L(λ)= −n += 0.∂λλx1 + x2 + · · · + xn(4) Решение относительно λ: λ == x — О.М.П. для λ.nОценка максимального правдоподобия (О.М.П.):(a) не обязана быть состоятельной;(b) может не быть несмещенной;(c) не единственна.Если существует единственная достаточная статистика T для параметра θ, то О.М.П.для θ является функцией от статистики T .Принцип инвариантности для О.М.П.Пусть θ̂ — оценка максимального правдоподобия для θ. Если τ (·) — функция, обратная к которой однозначна, то О.М.П.

для τ (θ) есть τ (θ̂).Различные оценки.Пусть {x1 , x2 , . . . , xn } — множество наблюдений.(1) Нормальное распределение: N (µ, σ 2 ).(a) ЕслиP σ известно:1.xi — полная и достаточная статистика.1P2. Точечная оценка для µ: µ̂ = x̄ =xi — О.М.П. и оптимальная оценка.n(b) ЕслиP µ известно:1.(xi − µ)2 — полная и достаточная статистика.(3)28.29.30.31.6P(xi − µ)22b— О.М.П.

и оптимальная оцен2. Точечная оценка для σ : σ =nка.(c) Еслиσ неизвестны:Pµ и P1. { xi , (xi − µ)2 }— полная и достаточная статистика.1P2. Точечная оценка для µ: µ̂ = x̄ =xi — О.М.П. и оптимальная оценка.Pn(xi − x̄)23. Точечная оценка для σ 2 : σb2 =— О.М.П.P n(xi − x̄)2— оптимальная оценка.4. Точечная оценка для σ 2 : σb2 =n −s1PΓ n−1(xi − x̄)22√5. Точечная оценка для σ: σb=— оптимальная оценn−12Γ n2ка.(2) Пуассоновскоераспределение с параметром λ:Pxi — полная и достаточная статистика.(a)1P(b) Точечная оценка для λ: λ̂ =xi — О.М.П. и оптимальная оценка.n(3) Равномерное распределение на отрезке:(a) Отрезок [0, θ].1.