2002. Теория вероятности и математическая статистика. Лектор - В.Г.Ушаков (1120051), страница 10
Текст из файла (страница 10)
При этомпользуются двумя упрощающими предположениями:1) P — семейство мер — параметризовано одно- или многомерным числовым параметром:P = (Pθ , θ ∈ Θ ⊂ Rm).2) Как правило не смотрят на элементарные исходы — это либо недоступно, либо неудобно. Считается, что на P в данном случайном эксперименте задана случайная величина ξ,наблюдаемая случайная величина. Информация об эксперименте заключается в том, что ξприняла одно из своих значений. Таким образом, наблюдения превращаются в набор чисел— набор значений ξ при проведении экспериментов.Рассмотрим распределение вероятностей заданной случайной величины. Оно задаст индуцированное вероятностное пространство (Ω, B, {Pξ,θ}), где .
Pξ,θ = Pθ (ξ ∈ B).2°°. Выборка. Наблюдением (выборкой, результатом наблюдения) называется совокупность X1, …, Xn независимых одинаково распределённых случайных величин, имеющих такое же распределение, как и ξ.Если есть выборка X1, …, Xn, то функция распределения F(x,θ) представляет собой неизвестную функцию распределения, причём неопределённость этой функции заключается внеизвестном параметре θ ∈ Θ ⊂ Rm.Существует множество способов выбрать θ на основании наблюдения: точечная оценкапараметра θ, интервальное оценивание (по количеству попадания θ в тот или иной интервал),проверка гипотез.
Последний способ заключается в следующем: из множества параметров Θвыбираются некоторые два подмножества, и путём некоторого правила устанавливается, какое из этих двух подмножеств следует выбрать.Пусть имеется некоторая выборка X1(ω), …, Xn(ω). Упорядочим её, и перейдём к наборуслучайных величин X(1)(ω) ≤ X(2)(ω) ≤ … ≤ X(n)(ω) для всех ω ∈ Ω, где X(k)(ω) — k-ые порядковые статистики определяются по правилу:X(1)(ω) = min(X1(ω), …, Xn(ω)),X(k)(ω) = ∀ω ∈ Ω ⇒ ∃1 ≤ i1 , i2 ,! , ik −1 , ik , ik +1 ,!, in ≤ n, i j ≠ il ( j ≠ l ) : X (k ) (ω ) = X ik (ω ){}X i1 (ω ), X i2 (ω ),!, X ik −1 (ω ) ≤ X ik (ω ), X ik +1 (ω ),!, X in (ω ) > X ik (ω ) , 2 ≤ k ≤ n – 1,X(n)(ω) = max(X1(ω), …, Xn(ω)).Такая последовательность называется вариационным рядом.Проиллюстрируем геометрический смысл вариационного ряда на рисунке:45X(3)(ω)X3(ω)X3(ω)X(2)(ω)X2(ω)X2(ω)X1(ω)X1(ω)X(1)(ω)Пусть дана выборка X1, …, Xn, функция распределения F(x,θ), θ ∈ Θ ⊂ Rm.
Построим поней вариационный ряд:min[X1, …, Xn] = X(1) ≤ … ≤ X(n) = max[X1, …, Xn].Найдём распределение случайной величины X(n):P(X(n) < x) = P(max(X1, …, Xn) < x) = P(X1 < x, …, Xn < x) = P(X1 < x)···P(Xn < x) = [F(x,θ)]n.Для того, чтобы найти распределение случайной величины X(k) ∀k = 1, …, n введём индикатор следующего события:X i < x,X i ≥ x.1,I( X i < x ) = 0,Обозначим через µn(x) число случайных величин среди X1, …, Xn, меньших x:nµ n (x ) = ∑ I( X i < x ) .i =1Очевидно, что (X(k) < x) и (µn(x) ≥ k) представляют собой одно и то же событие. Тогдаjnn− jP(X (k ) < x ) = P(µ n (x ) ≥ k ) = ∑ P(µ n (x ) = j ) = ∑ ⋅ [F (x,θ )] ⋅ [1 + F (x,θ )] .j =kj =k j nn3°°.
Статистика.Определение 1. Статистикой T(X1, …, Xn) называется любая измеримая функция T отвыборки.Определение 2. Выборочным моментом порядка k называется следующая статистика:Akn (X 1 ,!, X n ) = Ank = Ak =1 n k∑ Xi ,n i=1при этомA1 =1 n∑ Xi = Xn i=1называется выборочным средним, или средним ожиданием.Определение 3. Центральным выборочным моментом порядка k называется статистикаMk =1 n(X i − X )k .∑n i=1Центральный выборочный момент порядка 2 называется также выборочной дисперсией:46M2 = S 2.Пусть X1, …, Xn — независимые одинаково распределённые случайные величины. Тогдаесли у них существует математическое ожиданиеEθ X 1k = α k (θ ) ,то оно называется теоретическим моментом порядка k.Возникает вопрос о связи теоретических моментов с выборочными.
Здесь уместны дваутверждения:1. Если у теоретического момента порядка k существует математическое ожидание, тооно равно математическому ожиданию выборочного момента порядка k. Действительно,Eθ Ak = Eθ1 n k 1 n1 nkXEX==∑ i n∑∑α k (θ ) = α k (θ )iθn i=1n i=1i =1Для центральных выборочных моментов это свойство не выполняется.2.
Если для любого θ существует теоретический выборочный момент порядка k, то выборочный момент порядка k стремится к теоретическому по вероятности ∀θ (закон большихчисел в форме Хинчина) и с вероятностью 1 (усиленный закон больших чисел).3°°. Выборочная функция распределения. При фиксированном x ∈ R построим следующую функцию:x ≤ X (1),X (1) < x ≤ X (2 ) ,X (2 ) < x ≤ X (3) ,0,1 ,n 2n ,Fn (x ) = %1 − 1n ,1,X (n−1) < x ≤ X (n ),x > X (n ).График этой функции будет выглядеть следующим образом:Fn(x)1nX(1)2nX(2)X(3)…X(n)xЭта функция называется эмпирической (выборочной) функцией распределения. Очевидно, чтоFn (x ) =11 nkµ n (x ) = ∑ I(X j < x ) = ⇔ (X (k ) < x )& (X (k +1) ≥ x )nn j =1nи равно среднему арифметическому случайных величин.4°°. Гистограмма. Для заданной выборки X1, …, Xn разобьём числовую прямую на конечное число промежутков ∆1, …, ∆m (например, так, чтобы в каждом из промежутков оказалось равное количество элементов выборки, или если известны границы, между которымилежат все значения выборки, на равное число промежутков).47∆1∆2∆3α1α2∆mα3αmОбозначим через νk(x) число случайных величин среди X1, …, Xn, попавших в интервал ∆k.Тогда ν1(x) + … + νm(x) = n.
Определим функцию G(x) для данного разбиения следующимобразом: ν 1 (x ) n ∆ , x ∈ ∆1 ,1νx( 2 ) , x ∈ ∆ ,2G (x ) = n ∆ 2%ν (x ) m , x ∈ ∆m. n ∆ mЕё график будет выглядеть следующим образом:G(x)ν 1 (x )n ∆1∆1ν m (x )n ∆mν 2 (x )n ∆2∆2…∆3∆mxПолученная функция является, разумеется, случайной, поскольку напрямую зависит от выборки. Сумма площадей, ограниченных графиком этой функции на отрезках ∆i, (интеграл отнеё) равен 1. Такая функция называется гистограммой. Если существует плотность распределения Xi, то при определённых условиях при увеличении объёма выборки гистограммастремится к плотности.§2. Точечное оценивание1°°. Точечная оценка.
Рассматривается выборка X1, …, Xn c функцией распределенияF(x,θ ), θ ∈ Θ ⊂ Rm.Определение 1. Статистикой размерности k называется вектор-функцияT(X) = (T1(X), …, Tk(X)),где Ti(X) — статистика ∀i = 1, …, k.Определение 2. Точечной оценкой параметра θ = (θ1, …, θm) называется m-мерная статистика T(X) = (T1(X), …, Tm(X)). При этом Ti(X) считается оценкой θi.Определение 3.
Оценка T(X) = (T1(X), …, Tk(X)) называется несмещённой оценкой функции τ (θ ) = (τ1(θ ), …, τk(θ )), если для любого θ выполняется EθTi(X) = τi(θ ), i = 1, …, k.48Определение 4. Оценка T(X) = (T1(X), …, Tk(X)) называется асимптотически несмещённой оценкой функции τ (θ ) = (τ1(θ ), …, τk(θ )), если EθTi(X) = τi(θ ) + αni(θ ) и αni(θ ) → 0 приn → ∞ для любого θ и для любого i = 1, …, k.Определение 5.
Оценка T(X) называется состоятельной оценкой функции τ (θ ), еслиT(X) → τ (θ ) по вероятности при увеличении объёма выборки (n → ∞) для любого θ.В качестве меры близости оцениваемой функции τ (θ ) и оценки T(X) условимся рассматривать Eθ (T(X) – τ (θ ))2.Если оценка T(X) функции τ (θ ) несмещённая (Eθ (T(X)) = τ (θ )), тоEθ (T(X) – τ (θ ))2 = Dθ T(X),где M2(θ ) = Dθ T(X) зависит от θ.
В связи с тем, что для двух оценок T1(X), T2(X) функции τ(θ)Dθ T1(X) и Dθ T2(X) могут оказаться несравнимыми, введём понятие оптимальной оценки.Определение 6. Оценка T(X) функции τ (θ ) называется оптимальной, если1. T(X) — несмещённая, то есть Eθ T(X) = τ (θ ) и2. T(X) имеет равномерно минимальную дисперсию, то есть для любой другой несмещённой оценки T1(X) функции τ (θ ) выполняется Dθ T(X) ≤ Dθ T1(X) для любой выборки X.2°°. Единственность оптимальной оценки.Теорема 1.
Если существует оптимальная оценка функции τ (θ ), то она единственна.Доказательство. Предположим обратное: пусть существуют две оптимальные оценкиT1(X) и T2(X) функции τ (θ ). Тогда в силу того, что они несмещённые,Eθ T1(X) = Eθ T2(X) = τ (θ ),а в силу того, что они имеют равномерно минимальную дисперсиюDθ T1(X) = Dθ T2(X) ∀ θ.Введём новую статистикуT3 (X ) =T1 (X ) + T2 (X ).2Очевидно,Eθ T3 (X ) =12[Eθ T1 (X ) + Eθ T2 (X )] = τ (θ ),следовательно, статистика T3(X) есть несмещённая оценка функции τ (θ ). Имеем такжеDθ T3 (X ) = 14 Dθ (T1 (X ) + T2 (X )) =14[Dθ T1 (X ) + Dθ T2 (X ) + 2 cov(T1 (X ), T2 (X ))].В силу свойстваEθ ξ 2 < ∞, Eθη 2 < ∞ ⇒ cov(ξ ,η ) = E(ξ − Eξ )(η − Eη ) ≤ Dξ Dη ,причём равенство достигается тогда и только тогда, когда ξ = aη + b, получаем,14[Dθ T1 (X ) + Dθ T2 (X ) + 2 cov(T1 (X ), T2 (X ))] ≤ 14 [Dθ T1 (X ) + Dθ T2 (X ) + 2что равно[]Dθ T1 (X ) Dθ T2 (X ) ,]Dθ T3 (X ) ≤ 14 Dθ T1 (X ) + Dθ T2 (X ) + 2 Dθ T1 (X ) Dθ T2 (X ) = Dθ T1 (X ) = Dθ T2 (X )В силу того, что T1(X) и T2(X) — оптимальные, дисперсия T3(X) не может быть меньше дисперсии T1(X), следовательно, справедливо равенство.
Равенство достигается приT1(X) = aT2(X) + b ⇒ ET1(X) = aET2(X) + b ⇔ τ (θ ) = aτ (θ ) + b ∀θ ⇒ a = 1, b = 0.Теорема доказана.49§3. Функция правдоподобия1°°. Функция правдоподобия. Пусть X — случайная величина с распределением вероятностей PX (B).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
