1612725170-875f1dc1af30a046ee4b954c4f0d36bd (Борисов - Курс лекций)

НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТМЕХАНИКО–МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТкафедра теории вероятностей и математической статистикиИ. С. БОРИСОВЛЕКЦИИ ПО МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕНовосибирск – 2010ВведениеМатематическая статистика – раздел математики, который посвящен методамобработки результатов реальных стохастических экспериментов.

Математическая статистика тесно связана с теорией вероятностей, поскольку также имеет дело со стохастическим экспериментом. Однако математическая статистика занимается в известном смысле обратнымизадачами теории вероятностей. Как нам хорошо известно, в теории вероятностей исходнымобъектом было вероятностное пространство (Ω, F, P), и мы могли говорить о вероятностяхпоявления тех или иных событий, связанных, скажем, с последовательностью независимыхиспытаний.

В то же время, исходными данными в математической статистике являются конечные наборы результатов уже проведенных в одних и тех же условиях стохастических экспериментов (стало быть, независимых и одинаково распределенных) x1 = ξ1 (ω),..., xn = ξn (ω),где ω – некоторый элементарный исход вероятностного пространства Ω, описывающего всюсерию проводимых испытаний, а величины xi могут принимать значения в любом измеримомпространстве X. При этом распределение отдельного эксперимента P (A) = P(ξ1 ∈ A)предполагается неизвестным частично или полностью. Задача математической статистики как раз и состоит в восстановлении (или оценке) распределения P (·) как можно болееточно.Курс состоит из двух разделов:1. Теория построения оценок неизвестных параметров наблюдаемых распределений.2.

Проверка статистических гипотез.Определение. Вектор X = (x1 , . . . , xn ) называется выборкой объема n из неизвестного распределения. Декартова степень Xn с соответствующей σ-алгеброй подмножеств называется выборочным пространством.Замечание.Как мы видим, с одной стороны, выборка – неслучайный вектор X = (x1 , . .

. , xn ) =(ξ1 (ω), . . . , ξn (ω)), представляющий собой обычную n-ку чисел или элементов более сложнойприроды. Повторно проведя n раз эксперимент в тех же условиях, получим новые значения000(ξ1 (ω ), . . . , ξn (ω )), для которых, вообще говоря, ξi (ω ) 6= ξi (ω) хотя бы при одном i. Так чтоесли нас будут интересовать всевозможные значения выборочного вектора и их распределение (если иметь в виду многократные серии одних и тех же испытаний), то выборку X будеминтерпретировать как n-мерный случайный вектор с независимыми одинаково распределенными координатами.

При этом, следуя традиции математической статистики, в этомслучае мы оставим прежнее обозначение и для случайного выборочного вектора. Так что запись типа P(x1 ∈ A1 , . . . , xn ∈ An ) не должна приводить к недоразумению.Стоит также отметить, что по большому счету суть всех статистических процедур сводитсяк поиску “почти достоверных” измеримых подмножеств в выборочном пространстве (т.

е. подмножеств, в которые выборочный вектор X попадает с вероятностью, близкой к 1). При этомприменяется основной принцип статистики: имеющаяся в вашем распоряжении “неслучайная” выборка (x1 , . . . , xn ) наверняка находится именно в этом подмножестве.Определение. Эмпирическое распределение, построенное по выборке объема n:P∗n (A) =#{ xi | xi ∈ A }.nЛегко видеть, что P∗n – дискретная вероятностная мера с атомами в точках {xi ; i ≤ n}.Определение. Выборочной характеристикой называется измеримый k-мерный (принимающий значения в пространстве Rk ) функционал G(P∗n ).1Пример. G(P∗n ) =Rf (x) P∗n (dx) – выборочный момент “порядка f ”, где f (x) – скалярнаяXизмеримая функция.

Очевидно, G(P∗n ) =1nnPf (xi ). В математической статистике для этойi=1величины используется обозначение f (x). Пусть X = R. Если f (x) = xk , то говорят о k-омвыборочном моменте. При этом x традиционно называют выборочным средним.Приведем еще пару примеров:G1 (P∗n ) = g1 (f1 (x), . . . fk (x), x),G2 (P∗n ) = g2 (f1 (x) − f2 (x)),где gj (·) и fj (t) – произвольные измеримые функции, заданные на соответствующих пространствах.

Скажем, выборочные центральные моменты (x − x)k , в частности, выборочnPная дисперсия S 2 = n1 (xi − x)2 = x2 − (x)2 имеют как раз указанную структуру.i=1Понятие неизвестного параметра.Определение. Параметром наблюдаемого распределения называется значение того илииного функционала от этого распределения: θ = G(Px1 ) ∈ Rk , где Px1 (A) = P(x1 ∈ A).Определение. Параметрическое семейство распределений {Pθ }θ∈Θ – это класс распределений известной функциональной формы, содержащей один или несколько скалярныхпараметров.

При этом множество Θ называется параметрическим.Ясно, что два эти определения тесно связаны между собой.Примеры. {πλ }λ>0 – семейство пуассоновских распределений с параметром θ = λ. Дляэтого семейства λ = Ex1 – интегральный функционал от наблюдаемого распределения. Аналогичные представления имеют место для параметров нормального распределения. Квантильпорядка t неизвестного распределения F при любом фиксированном t ∈ [0, 1] также являетсяпримером такого вида функционалов.Определение. Оценка θn∗ = θn∗ (x1 , . . .

, xn ) неизвестного параметра θ – это выборочная характеристика θn∗ = G(P∗n ), которая в том или ином смысле приближает неизвестныйпараметр θ.→ θ при n → ∞.Определение. Оценка θn∗ называется состоятельной, если θn∗ −pОпределение. Оценка θn∗ называется сильно состоятельной, если θn∗ −−→ θ∗ при n→∞.п.н.Замечание. Пусть X∞ – пространство последовательностей (x1 , x2 , . . .), а X∞ – выборка бесконечного объема. Будем считать, что вектор Xn получен в результате проектированияX∞ на первые n координат.

Сходимость почти наверное понимается относительно распределения P в (X∞ , B ∞ , P). В силу теоремы Колмогорова о согласованных распределениях, такоераспределение всегда существует.Пример. Пусть E|f (x1 )| < ∞. Используя ЗБЧ в форме Хинчина, получаем:n1X→ Ef (x1 ) = θ.f (x1 ) = f (x) = θn∗ −pn i=1Замечание. В курсе теории вероятностей УЗБЧ был доказан в предположении существования E|ξ1 |4 .

Верна более сильнаяТеорема (УЗБЧ Колмогорова). Для того, чтобы Snn −−→ a, необходимо и достаточп.н.но, чтобы существовало Eξ1 = a.Следовательно, выборочное среднее является сильно состоятельной оценкой для теоретического среднего (математического ожидания), если только E|f (x1 )| < ∞. Выборочная дисперсия S 2 – сильно состоятельная оценка для истинной дисперсии, если Ex21 < ∞.2Замечание.

Далее x1 ∈ (X, B), где X – любое измеримое множество, а B – σ-алгебра егоподмножеств.Теорема (ЗБЧ для эмпирического распределения). Для каждого множества A из Bверно: P∗n (A) −−→ Px1 (A).п.н.nPД ОКАЗАТЕЛЬСТВО . Заметим, что #{ xi | xi ∈ A } =I(xi ∈ A), где I(xi ∈ A) –i=1nP#{ xi | xi ∈ A }I(xi ∈A)бернуллиевские случайные величины. Тогда=−−−→ P(xi ∈ A) ≡nУЗБЧni=1≡ Px1 (A). Другими словами, для любого фиксированного множества A эмпирическая мераявляется сильно состоятельной оценкой для неизвестного распределения.

Замечание. Покажем, что равномерная аппроксимация в теореме , вообще говоря, невозможна. Условие равномерной аппроксимации означает, что sup |P∗n (A)−Px1 (A)| −−→ 0. БудемA∈Bп.н.предполагать, что B содержит все конечные подмножества X, и x1 имеет неатомарное распределение. Пусть A∗ = { x1 , x2 , . . . , xn }, тогда P∗n (A∗ ) = 1 и Px1 (A∗ ) = 0. Следовательно,sup |P∗n (A∗ ) − Px1 (A∗ )| ≡ 1.A∈BТеоремы Гливенко – Кантелли.Пусть x1 ∈ (X, B), и A ⊆ B - класс измеримых подмножеств. Будем говорить, что длякласса A выполняется теорема Гливенко – Кантелли, еслиsup |P∗n (A) − Px1 (A)| −−→ 0 при n → ∞.п.н.A∈AОпределение.

Класс A имеет конечную двустороннюю ε-энтропию относительноN (ε)распределения Px1 , если ∀ε > 0 существует конечный набор {A±i }i=1 ∈ B со следующим−++−свойством: ∀A ∈ A ∃ A±i0 такие, что Ai0 ⊆ A ⊆ Ai0 и Px1 (Ai0 \ Ai0 ) 6 ε.Замечание. Вспомним некоторые определения анализа. Пусть (S, %) – метрическое пространство. Множество M ⊆ S называется ε-сетью для S, если для любой точки x ∈ S существует хотя бы одна точка y ∈ M такая, что %(x, y) 6 ε.Множество X ⊆ S называется вполне ограниченным, если при любом ε > 0 для негосуществует конечная ε-сеть. При этом определяется число H(ε) = log min N (ε), называемоеε-энтропией множества S.Пример. Пусть S = {A} ≡ A – класс множеств.

Это пространство можно сделать метрическим, введя бинарный функционал %(A, B) = Px1 (A4B), где A4B ≡ (A \ B) ∪ (B \ A).Упражнение. Проверить, что введенный функционал %(A, B) удовлетворяет всем аксиомам метрики, кроме одной: %(A, B) = 0 ⇔ A = B. Чтобы получить метрику, надо провестифакторизацию пространства, отождествив все множества A и B такие, что Px1 (A4B) = 0.Заметим, что определение класса A с двусторонней ε-энтропией похоже на определениевполне ограниченного класса множеств. Отличие только в слове “двусторонняя”.