Ю.Н. Тюрин - Лекции по математической статистике (1124591), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

Поэтому задача о минимуме имеет решение.Взгляд на θ как на случайную величину называют байесовским подходом к статистике. Он имеет как горячихсторонников, так и противников. Мы не будем касаться его в этом курсе.Другая возможность — продолжение поиска оптимальных (т.е. равномерно наилучших правил) δ(·), но вболее узком множестве возможностей. Сужение поля выбора достигаются путем наложения на оценку δ(·) какихлибо дополнительных (и естественных) требований. Наиболее важные результаты получены для несмещённыхправил.Определение: Оценка δ(·) параметра θ (либо функции τ (θ)) называется несмещенной, если Eθ δ(X) = θ (либоEθ δ(X) = τ (θ)) для всех θ ∈ Θ.Для важной с прикладной точки зрения линейной статистической модели удается найти наилучшие несмещённые оценки, если выбрать квадратичную функцию потерь L(θ, d) = |θ − d|2 (или даже функцию потерь сматричными значениями L(θ, d) = (θ − d)(θ − d)T — считая θ и d векторами-столбцами).

В следующей главелинейная модель будет изучена нами подробно.Из этого короткого рассказа видно, насколько неопределенным и зависящим от нашего произвола являетсяпуть к оптимальным статистическим решениям. На его выбор влияют не только логические соображения (онинедостаточны), но и (в основном) конечный результат: удается ли получить в его конце явные и разумныестатистические правила.Для несмещенных оценок и квадратичной функции потерь функция риска оценки δ(·) превращается в дисперсию (в векторном случае — в матрицу ковариаций): R(θ, δ) = Eθ (δ(X) − θ)2 = Eθ (δ(X) − Eθ δ(X))2 .Задачатеперь выглядит очень естественно: надо найти несмещенную оценку с наименьшей дисперсией. Однако подробнее этой задачей мы займемся несколько позже.А сейчас приведем важные для теории неравенства, которые в так называемом «регулярном случае» ограничивают снизу дисперсию (для многомерного параметра — матрицу ковариаций) каждой оценки.

Для несмещенных оценок именно дисперсия (матрица ковариаций) служит естественной мерой точности оценивания. Поэтомуобсуждаемые неравенства показывают, что для точности оценивания есть граница снизу. Эта граница зависитот структуры статистической модели (и ее параметризации).2.3.

Неравенство Крамера – Рао для одномерного параметраЭто неравенство еще называется неравенством информации или неравенством Фреше.Так называют неравенство для дисперсии статистических оценок одномерного параметра, которое можновывести при многочисленных условиях гладкости, налагаемых на зависимость вероятностного распределенияот меняющегося параметра. Такой тип зависимости от параметра, который ниже будет описан подробнее, частоназывают регулярным. Впрочем, содержание этого термина будет меняться от задачи к задаче.Пусть X — наблюдение (конечномерный вектор), распределение которого зависит от неизвестного параметраθ, причем θ ∈ Θ ⊂ R1 , где θ — заданное открытое множество.Отдельно будем рассматривать две возможности:(a) X имеет плотность p(x, θ) (относительно меры Лебега)(b) наблюдение X имеет дискретное распределение; в этом случае p(x, θ) означает вероятность события X;p(x, θ) > 0 только для счетного множества значений x.Выкладки в обоих случаях идут одинаково — с той разницей, что в случае (a) для математических ожиданиймы пишем интегралы, а случае (b) — суммы (ряды).

Поэтому достаточно разобрать в подробностях какую-либоодну из этих двух возможностей, скажем, (a).Пусть T (X) — некоторая статистика, принимающая значения в R1 , для которой существует математическоеожидание и дисперсия.Пустьτ (θ) := Eθ T (X)Предположения о плотности p(x, θ)(взятые вместе они и составляют условия регулярности).(a) Множество A = {x : p(x, θ) > 0} не зависит от θ (это наиболее важное условие).11(b) При всех x ∈ A, θ ∈ Θ существуетλ(x, θ) :=∂ln p(x, θ)∂θ(c) (Возможность дифференцирования под знаком интеграла)ZZ∂∂p(x, θ)dx =p(x, θ)dx(= 0),∂θ∂θA∂∂θZAT (x)p(x, θ)dx =AZT (x)∂p(x, θ)dx(= τ ′ (θ)).∂θAВведем важное понятие информации по Фишеру, точнее, количества информации о параметре θ, содержащейся в наблюдении X:2∂ln p(X, θ) = Eθ λ2 (X, θ)I(θ) := Eθ∂θПоследнее из условий регулярности:(d)0 < I(θ) < ∞Теорема 2.1 (неравенство Крамера – Рао). В перечисленных условиях (a)-(d)Dθ T (X) >[τ ′ (θ)]2I(θ)(∗)Для несмещенных оценок параметра θ, когда τ (θ) = θ, из этого неравенства следует, чтоDθ T (X) >1I(θ)1◦ Заметим, что Eθ λ(X, θ) = 0.

Действительно, из (c) мы заключаем, что:ZZ ∂∂0=p(x, θ)dx =ln p(x, θ) p(x, θ)dx = Eθ λ(X, θ).∂θ∂θAA2◦ Аналогично, из второго равенства (c) мы получаем, чтоZ∂τ ′ (θ) = T (x)ln p(x, θ) p(x, θ)dx = Eθ T (X)λ(X, θ) = Eθ [T (X) − τ (θ)]λ(X, θ).∂θAПоследнее равенство — благодаря тому, что Eθ λ(X, θ) = 0.3◦ Неравенство Коши – Буняковского:(Eξη)2 6 Eξ 2 Eη 2применим к полученному в 2) равенству, полагая ξ = T (X) − τ (θ), η = λ(X, θ).

Получим, что:[τ ′ (θ)]2 6 I(θ)Dθ T (X).Отсюда и следует указанное в теореме неравенство. Замечание 1. Пусть X = (X1 , . . . , Xn ) — выборка. Можно говорить о количестве информации, заключённойв выборке X — пусть это IX (θ), и о количестве информации, содержащейся в отдельных наблюдениях (элементахвыборки) пусть это i(θ).В этих условияхIX (θ) = ni(θ)Доказательство:12Совместная плотность X = (X1 , . . .

, Xn ) равнаf (Xi , θ), где через f (·, θ) обозначена плотность вероятно-i=1стей отдельных Xi .Отсюда:nQλ(X, θ) =Dθ λ(X, θ) =nX∂ln f (Xi , θ);∂θi=12nX∂ln f (Xi , θ) = ni(θ).E∂θi=1Из сказанного можно вывести важное качественное следствие о возможной скорости уменьшения дисперсиинесмещенной оценки при возрастании числа независимых наблюдений n:где C = [i(θ)]−1 .Dθ T (X) > C/n,Замечание 2.I(θ) = −Eθ∂2ln p(X, θ).∂θ22.4. Экспоненциальные семействаСлучай, когда неравенство Крамера – Рао (∗) выполняется в виде равенства, заслуживает особого рассмотрения. При выводе (∗) мы применили неравенство Коши:(Eξη)2 6 Eξ 2 Eη 2(2.4.1)в котором равенство достигается т.

и т.т., когда между случайными величинами ξ и η существует линейная связь.Иначе говоря, когда существуют такие постоянные (такие числа) A, B, C, что с вероятностью 1 выполняетсяравенствоAξ + Bη + C = 0(2.4.2)В нашем случае ξ = λ(X, θ), η = T (X) − τ (θ). Для них приведенное выше равенство превращается вT (X) = τ (θ) + a(θ)λ(X, θ)(2.4.3)где a(θ) — некоторая функция θ. Постоянная C = 0, т.к. здесь математические ожидания ξ и η равны нулю.Оценка T (X), для которой в (∗) (или, что эквивалентно, в (2.4.3)) имеет место равенство (при всех θ ∈ Θ),называется эффективной.

Существуют эффективные оценки лишь для особых параметрических семейств распределений и лишь для некоторых функций τ .Вид этих параметрических семейств мы сейчас установим. Исходим из равенства (2.4.3). Это равенство дляплотности (вероятности) p(x, θ) дает уравнение∂1τ (θ)ln p(x, θ) =T (X) +∂θa(θ)a(θ)для всех x ∈ A (см. условия регулярности) и всех θ ∈ Θ. Интегрируя, для p(x, θ) получаем выражение:p(x, θ) = exp {(c(θ)T (x) + d(θ) + S(x))}IA (x)(2.4.4)Здесь c(θ), d(θ), S(X) — некоторые функции, зависящие только от указанных аргументов, IA (x) — индикаторная функция множества A.

(Заметим, что представление плотности в виде (2.4.4) не единственно).Семейство распределений, плотности (вероятности) которого имеют вид (2.4.4), называют экспоненциальным′(θ)семейством. Для экспоненциального семейства эффективная оценка существует для функции τ (θ) = − dc′ (θ).Распределение выборки из экспоненциального семейства, т.е. распределение совокупности n независимыхреализаций (X1 , . . . , Xn ) случайной величины, принадлежащей экспоненциальному семейству (2.4.4), очевиднымобразом, в свою очередь, принадлежит экспоненциальному семейству с плотностью (вероятностью):"#nnXXp(x1 , . . . , xn , θ) = exp c(θ)T (xi ) + nd(θ) +S(xi ) IA×...×A (x1 , . .

. , xn ).i=1i=1Многие практически важные параметрические распределения входят в этот класс. Например:13• Биномиальное распределение, где:p(x, θ) =Cxn θx (1n−x− θ)= exp x lnθ+ n ln(1 − θ) + ln Cxn1−θдля x = 0, 1, . . . , n; 0 < θ < 1 . Есть эффективная оценка X/n для параметра θ.• Показательное распределение с параметром θ > 0, где(1exp − xθдля x > 0θp(x, θ) =0для x 6 0Для выборки! nn11Xp(x1 , . . . , xn , θ) =exp −xi , x > 0, θ > 0.θθ i=1Для параметра θ есть эффективная оценкаnPXi /n.i=1В заключение отметим, что эффективная оценка может быть только одна (то есть только для одной функцииτ (θ) и ее линейных комбинаций).

Чтобы доказать это, допустим противоположное: для некоторого параметрического семейства есть два равенства вида (2.4.3):(T1 = τ1 (θ) + a1 (θ)λ(X, θ);(2.4.5)T2 = τ2 (θ) + a2 (θ)λ(X, θ).Умножив второе равенство наa1 (θ)a2 (θ)и вычтя результат из первого, получим, что:a1 (θ)a1 (θ)τ2 (θ) +T2 (X)a2 (θ)a2 (θ)(2.4.6)a1 (θ)a1 (θ)= const, τ1 (θ) −τ2 (θ) = consta2 (θ)a2 (θ)(2.4.7)T1 (X) = τ1 (θ) −Равенство (2.4.6) возможно, только если:Действительно, T1 (X)− aa12 (θ)(θ) T2 (X) не должно изменяться, когда изменяется X, X ∈ A. Это возможно, толькоесли a1 (θ)/a2 (θ) не изменяется, когда изменяется θ ∈ Θ.Из (3.6) следует, что все эффективные оценки линейно выражаются одна через другую (см.

(3.5)), как исоответствующие функции τ (θ).2.5. Статистические оценки для многомерных параметров2.5.1. Случайные векторы, их средние и дисперсииПусть X — случайный объект (случайная величина, случайный вектор и т.п.), распределение которогоопределено параметром θ.Предположим, что θ — r-мерный параметр, который мы будем представлять в виде столбца: θ = (θ1 , . . . , θr )T ,θ ∈ Θ ⊂ Rr , где Θ — заданное открытое множество. Рассмотрим задачу оценивания θ или функций от θ понаблюдению X. Ясно, что в качестве оценки θ или τ (θ) должны выступать случайные векторы соответствующейразмерности (функции от X).Поэтому предварительно надо напомнить, что такое случайный вектор, случайная матрица, их математические ожидания и ковариации, вместе с некоторыми свойствами этих объектов.

Случайный вектор при этоместь частный случай случайной матрицы.Определение 1. Случайная матрица Z есть матрица, элементы zij которой суть случайные величины, заданные на общем пространстве элементарных исходов, т.е. имеющие совместное распределение вероятностей.Определение 2. Математическое ожидание случайной матрицы Z = kzij k естьEZ = kEzij k14Утверждение 1.

Пусть Z — случайная матрица, а постоянные матрицы A, B и C таковы, что матрица AZB +Cсуществует, то есть Размерности матриц A, B, Z и C согласованы. Тогда:E(AZB + C) = A(EZ)B + CВ частности, если Y — случайный вектор, A — постоянная матрица и b — постоянный вектор, тоE(AY + b) = A(EY ) + b,когда указанные операции (умножения и сложения) осуществимы.Утверждение 2. Пусть Z1 и Z2 — две случайные матрицы, определенные на общем пространстве элементарныхисходов.

Пусть их размерности совпадают, так что матрица Z1 + Z2 существует. Тогда:E(Z1 + Z2 ) = EZ1 + EZ2 .Утверждения 1 и 2 вместе показывают, что операция взятия математического ожидания для случайныхматриц обладает привычными для этой операции над случайной величиной линейными свойствами. Правда, с учетом того, что умножение матриц не коммутативно.Пусть X и Y — два случайных вектора (произвольных размерностей, не обязательно одинаковых), имеющие совместное распределение.

Характеристики

Список файлов лекций