Ю.Н. Тюрин - Лекции по математической статистике (1124591), страница 20
Текст из файла (страница 20)
Так как τn∗ (решение (4)) асимптотически нормально, можно выбрать упомянутый выше компакт {τ : |τ | < C} так, чтобы для произвольновыбранного δ > 0P (|τn∗ | < C) > 1 − δдля достаточно больших n.73Таким образом, со сколь угодно близкой к 1 вероятностью, уравнение (4) имеет корень на выбранном компакте (для достаточно больших n), притом этот корень τ̂n распределен также, как и τn∗ , т.е. при n → ∞dτ̂n −→ N (0, (i(θ0 ))−1 ).Вернемся к переменной θ = θ0 +Утверждение (7) означает, что√τ ,nθ̂n = θ0 +τ̂n√,nτ̂n =(7)√n(θ̂n − θ0 ).√dn(θ̂n − θ0 ) −→ N (0, (i(θ0 ))−1 ).Следовательно, мы доказали, что (при наложенных на p(x, θ) выше условиях) существует решение (точнее,последовательность решений) уравнения правдоподобия (1) θ̂n , сходящееся к θ0 и распределенное асимптотиче1ски нормально N (θ0 , ni(θ0 ) ).8.6.
Многомерный случайДля многомерного параметра θ все исследование проходит так же, как и для одномерного, с очевиднымиизменениями.• Так, уравнение правдоподобия (1) теперь - векторное (т.е. (1) представляет собой систему уравнений).• Условие о третьих производных формулируется так:∂3 ∂θi ∂θj ∂θk log p(x, θ) < M (x),и т.д.• Место количества информации i(θ) займет теперь матрица информации J (θ), а окончательный результатпримет видdθ̂n −→ N (θ0 , n−1 J −1 (θ0 )).9. Асимптотическая нормальность оценок(статистических функций фон Мизеса)Пусть x1 , .
. . , xn - выборка из распределения (для простоты - одномерного), неизвестную функцию распределения которого обозначим через F (·). По этой выборке мы хотим оценить функционал T (F ), T (·) задан (намножестве или подмножестве функций распределения). Воспользуемся для этого близостью к F (·) выборочной(эмпирической) функции распределения Fn (·):• Если T (·) - непрерывный функционал, то T (Fn ) ≈ T (F ), т.е.PT (Fn ) −→ T (F )при n → ∞.Примеры функционалов T (F ):1. Моменты и квантили функции распределения F (·).2. Второй центральный момент случайной величины X, функция распределения которой есть F (·):1E(X − EX) =22+∞ Z+∞Z(x − y)2 dF (x)dF (y).−∞ −∞3. Оценка наибольшего правдоподобия для семейства распределений F (x, θ), θ ∈ Θ, соответствует функционалуZT (F ) = arg max log f (x, θ)dF (x).θ∈Θ744.
Для оценивания неизвестного параметра θ по выборке, распределение которой принадлежит семействуF (x, θ), θ ∈ Θ, можно применять (использовать) различные функционалы T (F ).Пусть, например, по выборке из N (a, σ 2 ) мы хотим оценить неизвестное a. В качестве T (F ) мы можемвзять, например, функционалыZT (F ) = xdF (x)иT (F ) = med F.Если функционал T (F ) в каком-либо смысле дифференцируем, тоZT (G) = T (F + (G − F )) = T (F ) + a(x)d(G − F ) + R,(1)где a(·) - некоторая функция, R - остаточный член, который убывает быстрее, чем G − F . Эта формула - аналогформулы Тейлора для функции нескольких переменных.Пусть, действительно, f (X) = f (x1 , . .
. , xp ), dX = (dx1 , . . . , dxp ). Тогдаf (X + dX) = f (X) +pX∂fdxi + o(dX)∂xii=1= f (X) + [∇f (X)][dX] + o(dX).В бесконечномерном варианте суммированиезаменяется интегрированием.RЗаметим, что линейный функционал ad(G − F ) задан на линейном пространстве разностей функций распределения. Мы можем распространитьего определение и на множество функций распределения. Для этогоRдостаточно указать значение a(X)dF (X). Фактически, речь идет о выборе функции a(X): возьмем a(·) таким,чтобыZa(x)dF (x) = 0.(2)Тогда (1) превращается вT (G) = T (F ) +Za(x)dG(x) + R.(3)(Впрочем, можнобыло бы начать сразу с (3). Тогда (2) стало бы следствием (3).)RФункционал a(X)dG(X) - это производная T (F ) в направлении G по Gâteaux. По определению, производная по Gâteaux равнаlim λ−1 [T ((1 − λ)F + λG) − T (F )],(4)λ→+0если этот предел существует.Возьмем в (3) в качестве G функцию распределенияF + λ(G − F ) = (1 − λ)F + λG,где λ ∈ [0, 1].Подставив это выражение в (3) и перейдя к пределу по λ → +0, получим сказанное.Для функции a(·) можно получить явное (более явное) выражение, если в (4) в качестве G(·) взять функциюраспределения вероятностей, сосредоточенную в одной точке.Пусть ∆u (x) - функция распределения, сосредоточенная в точке u:(0, если x < u,∆u (x) =1, если x > u.Тогдаlim λ−1 [T ((1 − λ)F + λ∆u ) − T (F )] =λ→+075Za(x)d∆u (x) = a(u).(5)9.1.
Функция влиянияФормулу (5) можно трактовать и так:T ((1 − λ)F + λ∆u ) ≈ T (F ) + λa(u).(6)Функция (1 − λ)F + λ∆u соответствует смеси двух распределений: F (·), взятого с весом (1 − λ), и ∆u , взятогос весом λ.Такое распределение возникает, когда к (основному) распределению F (·) «примешана» некоторая доля λнаблюдений, происходящих не из F (·) , а просто равных числу u. Соответственно в выборке, извлеченной изтакого распределения, помимо наблюдений, подчиняющихся распределению F (·), есть доля λ «посторонних»величин u.
В статистике такие посторонние значения называют выбросами, грубыми ошибками, засорениями ит.д.Формулы (5) и (6) показывают, какое влияние на T (F ) оказывают эти засоряющие значения. Поэтому другоеназвание для a(x) - функция влияния. За ней закрепилось довольно неуклюжее обозначение:a(x) = IF (x, T, F )(IF - первые буквы «influence function»).Функция влияния показывает, сколь значительно может измениться T (F ) из-за появления «засоряющих»элементов в выборке. Таким образом, она служит одной из количественных характеристик устойчивости T (F )к засорению.9.2. Асимптотическая нормальность T (Fn )Теперь применим (3), чтобы получить асимптотическое распределение оценки T (F ) по выборке.
В силу (3):ZT (Fn ) = T (F ) + a(x)dFn (x) + Rn .(7)Ясно, чтоZna(x) dFn (x) =1Xa(xi ),n i=1Rпричем Ea(xi ) = 0. (Ибо Ea(xi ) = a(x) dF (x) = 0.)Заметим, что случайные величины a(xi ) независимы и одинаково распределены. Поэтомуn1 Xd√a(xi ) −→ N (0, Ea2 (x1 )),n i=1еслиEa2 (x1 ) =Таким образом,ZZa2 (x) dF (x) < ∞.1a(x)dFn (x) = O( √ ).nЕсли остаточный член Rn в (7) стремится к нулю быстрее, чем√√1 ,nтоdn[T (Fn ) − T (F )] −→ N (0, V ar IF (x1 , T, F )).(8)Это и есть утверждение об асимптотической нормальности случайной величины (статистики) T (Fn ) приn → ∞.Приведенное рассуждение не является доказательством. Однако оно приводит к правильным результатам(во всех известных случаях). Оно позволяет предугадать ответ (который затем можно доказывать отдельно).Задачи.R• Вычислите функции влияния для двух функционалов: T (F ) = xdF и T (F ) = med F .• Убедитесь, что первая из них неограниченно возрастает по u, так что x =оценка) неустойчива (not robust).nPxi (как статистическаяi=1• С помощью функции влияния найдите асимптотическое распределение med(x1 , .
. . , xn ) - медианы выборкиx1 , . . . , xn из распределения F , считая, что F ′ (µ) > 0, где µ - медиана F , т.е. F (µ) = 1/2.769.3. Асимптотическое неравенство Крамера – РаоПусть распределение F (x, θ) имеет плотность f (x, θ), θ ∈ Θ, Θ ⊂ R - открытое множество.ПустьT (F (·, θ)) = θдля θ ∈ Θ.(Такие функционалы называют состоятельными по Фишеру.)Пусть θ0 - некоторое фиксированное значение параметра θ, θ0 ∈ Θ. Положим (для краткости) F 0 (x) =F (x, θ0 ).Применим (3), полагая G(x) = F (x, θ), F (x) = F 0 (x) = F (x, θ0 ).ПолучаемZθ ≡ T (F (·, θ)) = T (F 0 ) + IF (y, T, F 0 )dF (y, θ) + R.(9)В данном случае остаточный член R есть функция от θ, θ0 . Предположим, чтоR = (θ − θ0 )g(θ, θ0 ).Примем все предположения о семействе F (·, θ), которые мы сделали ранее, при доказательстве неравенстваКрамера – Рао. Да и действовать будем по той же схеме.Дифференцируя (9) по θ в точке θ = θ0 , найдем:Z∂dy,1 = IF (y, T, F 0 ) f (y, θ)∂θθ=θ 0или1=ZIF (y, T, F 0 )∂ln f (y, θ0 ) f (y, θ0 )dy.∂θПравую часть можно записать как математическое ожидание, если ввести случайную величину X, котораяимеет плотность f (y, θ0 ):∂1 = E0 [IF (X, T, F 0 )][ ln f (X, θ0 )].∂θСогласно неравенству Коши-Римана-.
. . ,(Eξη)2 6 (Eξ 2 )(Eη 2 ).Отсюда∂1 6 E0 [IF (X, T, F 0 )]2 · E0 [ ln f (X, θ0 )]2 .|{z} | ∂θ {z}Это V ar IF (X,T,F 0 )Это I(θ0 )Следовательно, для любого θ0 ∈ ΘV ar IF (X, T, F 0 ) >1.I(θ0 )(10)Левая часть (10) - это асимптотическая дисперсия T (Fn ), согласно (8). Следовательно, состоятельная поФишеру оценка параметра θ не может иметь асимптотическую дисперсию (будучи асимптотически нормальной),меньшую, чем I −1 (θ).10. Критерии согласия типа Пирсона-ФишераОни относятся к независимым испытаниям с несколькими исходами и гипотезам об их вероятностях.Рассмотрим независимые испытания с m (m > 2) исходами.
Обозначим их исходы через A1 , . . . , Am .Вероятности этих исходов неизменны во всех испытаниях. Обозначим эти вероятности через p1 , . . . , pm , приmPчемpi = 1. Описанные испытания будем называтьиспытаниями Бернулли (даже в случае m > 2).i=1Предположим, что в n испытаниях Бернулли были зарегистрированы частоты (количества осуществлений)mPµ1 , . . . , µm исходов p1 , . . . , pm ; при этомµi = n. Теоремы, обсуждаемые в этой главе, касаются проверокi=1гипотез о p~ = (p1 , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
