Ю.Н. Тюрин - Лекции по математической статистике (1124591), страница 8
Текст из файла (страница 8)
. , n), так что можно говоритьо последовательности f (0), f (1), . . . , f (n).Уравнение (∗) имеет вид:nX∀θ ∈ (0, 1)Cnm f (m)θm (1 − θ)n−m = 0.(∗∗)m=0θВведем переменную z = 1−θ. Очевидно, что z ∈ (0, ∞) и пробегает это множество, когда θ пробегает множество (0, 1).
Сократив (∗∗) на множитель (1−θ)n , получаем уравнение для последовательности f (0), f (1), . . . , f (n),т. е. для функции f (·):nXCnm f (m)z m = 0,z ∈ (0, ∞).m=025Многочлен (от z) степени n может тождественно (на открытом множестве) обращаться в нуль, только есливсе его коэффициенты равны нулю.Отсюда следует, что f (0) = f (1) = . . . = f (n) = 0.Таким образом, уравнение (∗) имеет лишь тривиальное решение, т.е. статистика Sn полная.Получили, что частота Snn является для испытаний Бернулли наилучшей несмещённой оценкой вероятностиуспеха.Пример 2. Выборка из показательного распределения.Пусть x1 , .
. . , xn — выборка из распределения с плотностью(1exp − xθ , для x > 0p(x, θ) = θ0,для x < 0,где θ ∈ (0, ∞) — неизвестный параметр. Нам уже известно, что T =статистикой для θ. Покажем, что статистика T — полная.nPxi является достаточнойi=1Нетрудно показать, что T имеет плотность, задаваемую формулой: n x1xn−1exp −для x > 0.qn (x, θ) =θ(n − 1)!θЭто распределение называют гамма-распределением, в котором θ служит масштабным параметром. (Случайная величина T по распределению совпадает со случайной величиной θγ, где случайная величина γ имееттак называемое «стандартное» гамма – распределение с плотностьюxn−1exp (−x)(n − 1)!для x > 0,где n может принимать натуральные значения).Полнота статистики T означает полноту относительно θ семейства гамма-распределений.Рассмотрим уравнениеEθ f (T ) = 0для всех θ > 0илиZ∞f (x)0Введем новую переменную t =1θ;xn−1 1 − xe θ dx = 0(n − 1)! θnдля θ > 0после сокращений получим уравнениеZ∞0fe(x)e−tx dx = 0для всех t > 0(где fe(x) = xn−1 f (x)).Левая часть этого уравнения — это преобразование Лапласа функции fe(·).
Оно тождественно (относительноt) равно нулю только для fe(·) = 0, или, что эквивалентно, f (·) = 0. Отсюда следует, что статистика T — полная.Пример 3.Пусть {Pθ , θ ∈ Θ} — k-параметрическое экспоненциальное семейство распределений, где плотностьp(x, θ) =Xkexpcj (θ)Tj (x) + d(θ) + S(x) IA (x)j=1(∗ ∗ ∗)По теореме факторизации T (X) = (T1 (X), .
. . , Tk (X)) есть достаточная статистика для θ, θ ∈ Θ.ТеоремаЕсли область значений векторной функции (c1 (θ), . . . , ck (θ)), которую она заполняет, когда θ пробегает параметрическое множество Θ, содержит какое-либо открытое множество, то статистика T —полная. (Семейство распределений с плотностями (∗ ∗ ∗) полное).26Доказательства этой теоремы мы не приводим. Оно может быть основано на свойствах преобразованийЛапласа и Фурье (на обратимости этих преобразований), подобно Примеру 2.Из этой теоремы можно извлечь много результатов, относящихся ко многим известным семействам распределений. В частности, утверждения Примеров 1 и 2.
Еще одним следствием этой теоремы является полнотастатистики (x, s2 ), достаточной дл я параметров нормального распределения N (a, σ 2 ) в случае выборки из этогораспределения.Пример 4. Линейная гауссовская модель.Линейная гауссовская модель X ∼ N (l, σ 2 I), l ∈ L, L — задано. Следствием приведенной выше теоремы является утверждение о полноте достаточной статистики (projL X, | projL⊥ X|2 ) для (l, σ 2 I).3. Условное математическое ожидание3.1. Сведения из других курсов3.1.1. Вероятностное пространство и случайные величины• Вероятностной моделью, или вероятностным пространством называют набор (Ω, A, P ), гдеΩ — это множество точек Ω; A — σ-алгебра подмножеств из Ω, а P — вероятностная мера на A.• Множество Ω называют пространством элементарных исходов (или элементарных событий).• Множества из A называют исходами или событиями.• Множество A ⊂ Ω называют A-измеримым, если A ∈ A.• Для всякого A из A значение функции P на A, т.е. величину P (A), называют вероятностью события A.На числовой прямой выделяют σ-алгебру борелевских множеств B.
Это минимальная σ-алгебра подмножествчисловой прямой, которая содержит произвольные интервалы, полуинтервалы и отрезки числовой прямой.• Действительная функция ξ = ξ(Ω), определенная на Ω, называется случайной величиной, если множествавида{Ω : ξ(Ω) ∈ B}(1)являются событиями (т.е. принадлежат A) для любых борелевских множеств B, B ∈ B.Каждая случайная величина ξ определяет в пространстве Ω некоторую совокупность подмножеств, образующих σ-алгебру, далее обозначаемую как Aξ , состоящую из событий вида (1), когда B пробегает множество B.3.1.2. Производная Радона – НикодимаПусть на некоторой σ-алгебре F подмножеств из Ω заданы меры µ и λ.• Меру λ называют абсолютно непрерывной относительно меры µ, если из равенства µ(A) = 0 следует, чтои λ(A) = 0 (для множеств A из F ).• Меру µ называют σ-конечной, если Ω можно представить в виде объединения счетной совокупности измеримых множеств, µ-меры которых конечны, т.е., еслиΩ=∞[Ai ,i=1причем µ(Ai ) < ∞, i = 1, 2, .
. .Теорема Радона-НикодимаПредположим, что на измеримом пространстве (Ω, F ) задана σ-конечная мера µ и мера λ, абсолютнонепрерывная относительно µ.Тогда существует F -измеримая функция f (Ω) такая, что для всякого A ∈ FZλ(A) = f (Ω)µ(dΩ).AС точностью до множества µ-меры нуль, функция f (Ω) единственная.27• Функцию f (Ω) называют производной Радона – Никодима меры λ по мере µ, или плотностью меры λотносительно меры µ:dλf (Ω) =(Ω)dµ3.2.
Определение условного математического ожиданияПусть на вероятностном пространстве (Ω, A, P ) заданы две случайные величины X = X(Ω) и Y = Y (Ω).Мы хотим определить математическое ожидание X при данном Y , в дальнейшем обозначаемое как E(X|Y ).Введем несколько более общее определение условного математического ожидания X относительно произвольной σ-подалгебры данной нам σ-алгебры A. Это математическое ожидание мы затем свяжем с E(X|Y ).Пусть G — некоторая σ-подалгебра σ-алгебры A. (Это означает, что, если множество A входит в G, оно такжевходит и в A).
Определим условное математическое ожидание X относительно G, в дальнейшем обозначаемоекак E(X|G).Представим X в видеX = X + − X −,где X + > 0, X − > 0.Определим E(X + |G) и E(X − |G) и затем положим по определению:E(X|G) = E(X + |G) − E(X − |G),(1)если хотя бы одно из этих условных математических ожиданий конечно.Таким образом, E(X|G) может принимать значения +∞ или −∞.
(Такую возможность имеет и EX при этомспособе определения.) Впрочем, можно ограничиться случаем, когда E|X| < ∞.Итак, надо определить E(X|G) для X > 0.На σ-алгебре G рассмотрим две меры: P (·) и Q(·), положив для произвольного A ∈ GZQ(A) = XP (dΩ)(2)AЯсно, что мера Q абсолютно непрерывна относительно меры P . Поэтому, по теореме Радона-Никодима,существует функция f = f (Ω), измеримая относительно G и такая, чтоZQ(A) = f (Ω)P (dΩ)(3)AФункцию f (Ω) из (3) назовем условным математическим ожиданием X (здесь X > 0) относительноσ-алгебры G, т.е.:E(X|G)(Ω) = f (Ω).X.Определив E(X + |G) и E(X − |G), по формуле (1) определим E(X|G) для произвольной случайной величиныТаким образом, E(X|G) — это случайная величина, измеримая относительно σ-алгебры G.
Она определенаединственным образом, с точностью до множеств нулевой вероятности.Пусть сейчас G = AY . Так как E(X|AY ) измерима относительно AY , как функция от Ω, эта случайнаявеличина с вероятностью 1 постоянна на множествах вида {Ω : Y (Ω) = const}. Поэтому E(X|AY ) можно рассматривать как функцию от Y = Y (Ω), и, по определению, можно положитьE(X|Y ) = E(X|AY ).3.3. Некоторые свойства условного математического ожидания1.ZE(X|G)P (dΩ) =AZXP (dΩ)Aдля всякого A ∈ G.Это свойство — всего лишь другая запись определения (3.2.3).Заметим различие между X и E(X|G): случайная величина X, вообще говоря, не измерима относительноG (она измерима относительно более «богатой» σ-алгебры A, G ⊂ A).282.EE(X|G) = EX.Для доказательства надо положить A = Ω в свойстве 1.Тогда:E[E(X|G)] =ZE(X, G) dP =ΩZX dP = EX,Ωчто и требовалось.3.
Линейное свойство:E(aX + bY |G) = aE(X|G) + bE(Y |G)для произвольных случайных величин X, Y и постоянных a, b. При этом левая часть существует, еслисуществует правая часть.Для доказательства достаточно показать, что для любого A ∈ GZZE(aX + bY |G) dP = [aE(X|G) + bE(Y |G)] dPA(1)Aи что aE(X|G) + bE(Y |G) измеримо относительно G. Последнее, впрочем, очевидно.Преобразуем левую часть (1):ZE(aX + bY |G) dP =AaZZ[aX + bY ] dP =A[E(X|G)] dP + bAZ[E(Y |G)] dP =AZ[aE(X|G) + bE(Y |G)] dP,Aчто и требовалось.4. Если X измерима относительно G, то E(X|G) = X.В частности,E(X|AX ) = X.5.
Если X и Y независимы, тоE(X|Y ) = EX.Для доказательства достаточно проверить, что для любого A ∈ AY :ZZE(X|Y ) dP = (EX) dPA(2)AОбозначим через IA = IA (Ω) индикаторную функцию множества A.Как случайная величина, IA измерима относительно AY . При этом случайные величины X и IA независимы, ибо независимы две σ-алгебры AX и AY .Преобразуем левую часть (2), заметив предварительно, что правая часть (2) равна (EX)P (A).Имеем:ZAE(X|Y ) dP =ZX dP = E[XIA ] = (EX)EIA = (EX)P (A)A(в силу независимости X и IA ), что и требовалось.6. Условные вероятности.Как мы только что вспомнили, P (A) = EIA .
По аналогии с этим равенством, условную вероятность событияA относительно σ-алгебры G определим как P (A|G) = E(IA |G). Соответственно, условная вероятностьсобытия A относительно случайной величины Y (при данном Y ) есть P (A|Y ) := P (A|AY ).297. Условные распределения.Напомним, что распределением случайной величины X мы называем совокупность вероятностей видаPX (B) := P (X ∈ B), B ∈ B,когда B пробегает σ-алгебру борелевских множеств числовой прямой. При этом PX (B) как функция B ∈ Bобразует на B вероятностную меру.По аналогии с этим условным распределением случайной величины X относительно σ-алгебры G естественно называть совокупность условных вероятностейPX (B|G) := P (X ∈ B | G)(Ω), B ∈ B.(3)Из дальнейших свойств условного математического ожидания будет следовать, что с вероятностью 1 этиусловные распределения вероятностей σ-аддитивны.Не следует забывать, что (3) — это случайная величина, определенная с точностью до множества мерынуль.
Можно показать, что существует такой вариант ее определения, что (3) как функция B, B ∈ B, свероятностью 1 образует на B (случайную) вероятностную меру. В этом случаеZE(X|G)(Ω) = X(Ω′ )PX (dΩ′ |G)(Ω)почти наверное.Впрочем, в простой ситуации, которую мы рассмотрим в следующем параграфе, мы определим условноематематическое ожидание, отправляясь от условного распределения.
Подобно тому, как математическоеожидание случайной величины мы обычно вводим, отправляясь от распределения.3.4. Случай простых случайных величинВ этом параграфе мы рассмотрим E(X|Y ) для простых случайных величин X и Y . В этом случае условноематематическое ожидание можно ввести элементарными средствами.Случайная величина Y называется простой, если Y можно представить в видеXY =yj I(Dj ),(1)где I(D) = ID (Ω) — индикаторная функция множества D.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
