2002. Теория вероятности и математическая статистика. Лектор - В.Г.Ушаков (1120051), страница 11

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 11)

Абсолютная непрерывность функции PX (B) означает её абсолютной непрерывность как меры относительно меры Лебега:xFX (x ) =∫ p (x )dx ≥ 0 ,X−∞где pX (x) — плотность.Определение 1. Функция pX (x) называется обобщённой плотностью распределенияслучайной величины X относительно меры ν, еслиPX (B ) = ∫ p X (x )ν (dx ) ,Bгде ν — не обязательно мера Лебега.Выборка X1, …, Xn с функцией распределения F(x,θ) допускает функцию правдоподобия, если существует такая мера µ, относительно которой существует обобщённая плотностьраспределения p(x,θ) для любого θ, то естьFX (x,θ ) =x∫ p(u,θ )µ (du ) ≥ 0 .−∞Определение 2. Функцией правдоподобия выборки X1, …, Xn называется функцияL(X,θ) = p(X1,θ)···p(Xn,θ).Функция правдоподобия является случайной величиной.Пример. Пусть X1, …, Xn — независимые случайные величины, имеющие нормальноераспределение с параметрами θ1 и θ 22 .

Тогда обобщённая плотность совпадает с обычнойплотностью распределения и равна1− 2 ( x −θ1 )1.⋅ e 2θ 22π θ 2p(x,θ ) =2В этом случае функция правдоподобия будет иметь видL ( X ,θ ) =11− 2 ( X1 −θ1 )− 2 ( X n −θ1 )11$.⋅ e 2θ 2⋅ e 2θ 22π θ 22π θ 222Рассмотрим теперь дискретную случайную величину X1. Будем считать, что её значения(a1, …, an) содержатся в некотором счётном множестве для любого θ. Введём считающуюмеру µ:µ(B) = (число точек из (a1, …, an), содержащихся в B).В этом случае обобщённой плотностью будет являться функция p(u, θ) такая чтоP(X 1 ∈ B ) = PX 1 (B ) = ∫ p(u ,θ )µ (du )BВ качестве B возьмём множество, состоящее всего из одной точки ak.

ТогдаP(X1 = ak) = p(ak,θ)·1.Примеры. 1. Пусть выборка X1, …, Xn имеет распределение Пуассона с параметром θ.Найдём обобщённую плотность X1.50P(X 1 = k ) = e −θθkθx, k = 0, 1, … ⇒ p(x,θ ) = e −θ, где x! = k! если x = k ∈ Z +, иначе x! = 1.k!x!2. Пусть выборка X1, …, Xn имеет такое распределение, что0 с вероятностью θ ,X1 = 1 с вероятностью 1 − θ .В этом случае обобщённая плотность примет видθ f(x)(1 – θ) g(x),где f(x): f(1) = 1, f(0) = 0; g(x): g(1) = 0, g(0) = 1. Положим f(x) = x, g(x) = 1 – x. Тогдаp(x,θ ) = θ x (1 − θ )1− x⇒ L(x,θ ) = θ ∑Xi(1 − θ )n−∑ Xi2°°. Достаточная статистика.Определение 1.

Статистика T(X) = (T1(X), …, Tk(X)) называется достаточной, еслиPθ (X ∈ A|T(X))для любого борелевского множества A ⊂ Rn не зависит от θ.Очевидно, что для любой выборки достаточная статистика существует — достаточновзять T(X) = X.Определение 2. Достаточная статистика называется тривиальной, если k = k(n) → ∞ приn → ∞: T(X) = (T1(X), …, Tk(n)(X)) с неограниченной размерностью. Если же k ≠ k(n), то статистика называется нетривиальной.

Если существует следующее условное математическоеожидание, то определение достаточной статистики можно записать в эквивалентном виде:Eθ (IA(X)|T(X)) = Pθ (X ∈ A|T(X)) ∀A ⊂ Rn, A — борелевское не зависит от θ.Очевидно также, что если нетривиальная достаточная статистика существует, то она неединственна.

Действительно, пусть T(X) = (T1(X), …, Tk(X)) — нетривиальная достаточнаястатистика. Тогда1) (T(X), ϕ (X)) — достаточная статистика;2) если отображение ψ : Rk→Rk взаимно однозначное, то ψ (T(X)) является достаточнойстатистикой.3°°. Полная статистика.Определение 3. Статистика T(X) называется полной, если из Eθ ϕ (T(X)) = 0 для любогоθ следует равенство ϕ (u) = 0 почти всюду по распределению T(X). В случае, если T(X) представляет собой абсолютно непрерывную случайную величину с плотностью распределенияq(x,θ), то определение превращается в равенство∞Eθ ϕ (T (X )) = ∫ ϕ (u )q(u ,θ )du = 0−∞для любого θ.Примеры.

1. Пусть X1, …, Xn ~ U([0,θ]), T (X ) = max X i . Для некоторой функции1≤i ≤ nϕ (max Xi)рассмотрим равенствоEθ ϕ (max Xi) = 0.Случайная величина max Xi — абсолютно непрерывна. Действительно,51 nu n−1pmax X i (u ,θ ) =  θ n , u ∈ [0,θ ],0,u ∉ [0,θ ].В таком случае из равенстваθθnu n−1Eθ ϕ (max X i ) = ∫ ϕ (u ) n du = 0θ0∀θ > 0 ⇔ ∫ ϕ (u )nu n−1du = 0 ∀θ > 00следует, чтоϕ (θ)nθ n–1 = 0 ∀θ > 0 ⇒ ϕ (θ) = 0 ∀θ > 0.Следовательно, статистика T (X ) = max X i — полная.1≤i ≤ nn2. X1, …, Xn ~ Pois(θ), T (X ) = ∑ X i ~ Pois(nθ ) . В этом случаеi =1∞Eθ ϕ (T (X )) = ∑ ϕ (i )e −nθ(nθ )ii!i =0ϕ (i )ni iθ =0i!i =0∞∀θ > 0 ⇔ ∑=0∀θ > 0 ,откуда следует, чтоϕ (i )ni= 0 ∀i = 0,1,! ⇒ ϕ (i ) = 0 ∀i = 0,1,!i!4°°.

Критерий факторизации.Теорема 2. Пусть L(X,θ) — функция правдоподобия выборки X, T(X) = (T1(X), …, Tk(X))— некоторая статистика. Тогда T(X) — достаточная статистика тогда и только тогда, когдафункцию правдоподобия можно представить в виде произведенияL(X,θ) = g(T(X),θ)·h(X).Примеры. 1.

X1, …, Xn ~ Pois(θ), θ > 0.nL ( X ,θ ) = e− nθXi∑i 1n∑ Xiθ =1−nθ i =1θ'.= e*')(X 1!$ X n !X 1!$ X n ! n *')'(g  ∑ X i ,θ h(X )i =1nПо критерию факторизации T (X ) = ∑ X i — достаточная статистика.i =12. X1, …, Xn ~ U([θ1,θ2]). Введём функцию, с помощью которой функция правдоподобиявыборки запишется в наиболее удобном виде:1,H (x ) = 0,x ≥ 0,x < 0.Тогда функция правдоподобия примет вид (в данном случае θ = (θ1,θ2)):L ( X ,θ ) =() ()1H − max X i + θ 2 ⋅ H − θ1 + min X i .1≤i ≤ n1≤i ≤n(θ 2 − θ1 )nВ этом случае согласно критерию факторизации достаточной статистикой будет являться()T (X ) = min X i , max X i .1≤i ≤ n521≤i ≤n§4.

Неравенство Рао-Крамера1°°. Неравенство Рао-Крамера. Пусть X1, …, Xn — некоторая выборка с функциейправдоподобия L(X,θ) относительно некоторой меры µ. Введём функциюϕ (θ ) = ∫ T (x )L(x,θ )µ (dx ) < ∞.RnВ дальнейшем ϕ (θ ) дифференцируема необходимое число раз. Говорят, что функция L(X,θ )удовлетворяет условиям регулярности для m-ой производной, если существуетd mϕ (θ )∂ m L(x,θ )Txµ (dx ) ,()=m∫ndθ mθ∂Rпричём множество (x: L(x,θ ) > 0) не зависит от θ.

Чтобы выполнялось последнее условие,очевидно необходимо, чтобы θ не входило в пределы интегрирования.Теорема 3 [К. Р. Рао, Г. Крамер]. Пусть X1, …, Xn — выборка, причём L(X,θ ) удовлетворяет условиям регулярности для первой производной и τ (θ ) — дифференцируемаяфункция θ. Тогда1.

для любой несмещённой оценки T(X) функции τ (θ ) справедливо неравенство РаоКрамера (неравенство информации):Dθ T (X ) ≥[τ ′(θ )]2 ∀θ,Eθ U 2 (X ,θ )∂ ln L(X ,θ )— функция вклада,∂θ2. в неравенстве Рао-Крамера равенство достигается тогда и только тогда, когда существует такая функция an(θ ), чтогде U ( X ,θ ) =T(X) – τ (θ ) = an(θ )·U(X,θ ).Оценку, для которой в неравенстве Рао-Крамера достигается равенство, называют эффективной (если она существует, то она оптимальна). Если существует эффективная оценка T(X)для τ (θ ), то ни для какой другой функции от θ, кроме линейного преобразования τ (θ ), эффективной оценки существовать не будет.Доказательство проведём в терминах функции правдоподобия L(X,θ ).

Очевидно,∂L(x,θ )µ (dx ) = 0 ,∂θ∂L(x,θ )∫ T (x )L(x,θ )µ (dx ) = Eθ T (X ) = τ (θ ) ⇒ ∫ T (x ) ∂θ µ (dx ) = τ ′(θ ) .∫ L(x,θ )µ (dx ) = 1 ⇒ ∫(Последнее равенство следует из условия регулярности для L(x,θ )). Заметим, что∂L(x,θ ) ∂ ln L(x,θ )=⋅ L(x,θ ) ,∂θ∂θследовательно,∫U (x,θ )L(x,θ )µ (dx ) = 0 ⇔ E U (X ,θ ) = 0 ,θ∫ T (x )U (x,θ )L(x,θ )µ (dx ) = τ ′(θ ) ⇔ E T (X )U (X ,θ ) = τ ′(θ ).θВычитая из первого равенства, помноженного на τ (θ ), второе, получаемEθ (T(X) – τ (θ ))U(X,θ ) = τ ′(θ ).53Учитывая то, что в левой части полученного равенства стоит ковариация случайных величинT(X) и U(X,θ ),covθ (T(X),U(X,θ )) = τ ′(θ )получаем в силу неравенства Коши-Буняковского:(τ ′(θ ))2 = covθ2 (T (X ),U (X ,θ )) ≤ Dθ T (X )DθU (X ,θ ) = Dθ T (X )Eθ U 2 (X ,θ ) ,или, что то же самое, утверждение пункта 1 теоремы:Dθ T (X ) ≥[τ ′(θ )]2 .Eθ U 2 (X ,θ )Равенство будет выполняться, если T(X) и U(X,θ ) линейно связаны:T(X) = ϕ (θ )U(X,θ ) + ψ (θ ) ⇒ τ (θ ) = ψ (θ ) ⇒ an(θ ) = ϕ (θ ).Теорема доказана.Пример.

X1, …, Xn ~ Pois(θ ). Обобщённая плотность X1 равна при этом e−λλX 1. ОценимX 1!функцию τ (θ ) = θ. Функция правдоподобия имеет видnL(X ,θ ) = e −θXi∑i 1θ X1θ Xnθ =$ e −θ.= e − nθX 1!X n!X 1!$ X n !Отсюда, в силу того, что L(X,θ ) > 0 вне зависимости от θnU ( X ,θ ) =∂∂θ− nθ + ∑ X i ln θ − ln X 1!$ X n ! = −n +i =1n∑Xi =1θin1 nXθ=−∑=1 i  ,θ *n'i)'( T (X )или, что то же самоеT (X ) − θ =θU ( X ,θ ) .n2°°. Поведение правой части неравенства Рао-Крамера с ростом n. Числитель выражения, стоящего в правой части неравенства не зависит от n, следовательно, достаточно исследовать поведение знаменателя выражения[τ ′(θ )]2 .Eθ U 2 (X ,θ )Перепишем функцию вклада в эквивалентном виде (p(Xi,θ ) — обобщённая плотность):U ( X ,θ ) =n∂ ln L(X ,θ ) ∂∂ln ( p( X 1 ,θ ) p (X 2 ,θ )$ p (X n ,θ )) = ∑ln p (X j ,θ ).=∂θ∂θj =1 ∂θВ правой части последнего выражения стоит сумма независимых одинаково распределённыхслучайных величин.

Поскольку Eθ U = 0, выполняется Eθ U 2 = Dθ U. Поэтому[τ ′(θ )] ~ 1 ,∂Eθ U (X ,θ ) = nDθln p (X 1 ,θ ) ⇒E U 2 ( X ,θ ) n∂θ22541.nРассмотрим теперь равенство для эффективных оценокто есть правая часть с ростом n стремится к нулю как2τ ′(θ )][Dθ T (X ) =,Eθ U 2 (X ,θ )которое выполняется, если T(X) – τ (θ ) = an(θ )U(X,θ ) ∀θ.

Возведём последнее условие вквадрат и возьмём математическое ожидание от обеих частей:Eθ (T (X ) − τ (θ )) = Dθ T (X ) = an2 (θ )Eθ U 2 ( X ,θ ).2Сопоставляя полученное равенство с равенством, в которое обращается неравенство РаоКрамера для эффективных оценок, получаемDθ T (X ) = (τ ′(θ ))2an2⇒ Dθ T (X ) = τ ′(θ )an (θ ).Dθ T (X )Пример, когда условия регулярности не выполняются, но оценка получается лучше.Рассмотрим выборку X1, …, Xn ~ U([0,θ]), θ > 0.

Плотность X1 равна 1,p(x,θ ) = θ0,x ∈ [0,θ ],x ∉ [0,θ ].В этом случае функция правдоподобия выборки имеет вид 1,L(X ,θ ) = θ n0X 1 ∈ [0,θ ],! , X n ∈ [0,θ ],в противном случае.Предварительно отметим, что следующие условия эквивалентны:0 ≤ X1 ≤ θmin X i ≥ 0%⇔ imax X i ≤ θi0 ≤ Xn ≥ θИспользуя функцию1,H (x ) = 0,x ≥ 0,x < 0,получаем, чтоL ( X ,θ ) =1H (θ − max X i )H (min X i ) .θnФункция правдоподобия в данном случае разрывна в точке θ = max Xi, но отлична от нуля намножестве, не зависящем от параметра θ. Поэтому условия регулярности не выполняются.(Предварительно отметим, что параметр θ в данном случае играет роль потенциально наибольшего значения, которое может принять Xi.)Рассмотрим следующую статистикуT (X ) =n +1max X i ,n 1≤i≤n55которая является несмещённой оценкой параметра.

Характеристики

Список файлов лекций