2002. Теория вероятности и математическая статистика. Лектор - В.Г.Ушаков

Московский Государственный Университетимени М. В. ЛомоносоваФакультет Вычислительной Математики и КибернетикиКафедра Математической СтатистикиТеория вероятностей иматематическая статистика(II курс)лектор — профессор В. Г. УшаковМосква 2002СодержаниеСодержание2Часть I. Теория вероятностей3§1. Элементы теории множеств§2. Вероятностное пространство§3.

Прямое произведение вероятностных пространств§4. Интеграл Лебега§5. Случайные величины§6. Моменты случайных величин§7. Совокупности случайных величин§8. Виды сходимости последовательностей случайных величин§9. Неравенства Маркова и Чебышёва.Закон больших чисел в форме Чебышёва§10. Лемма Бореля-Кантелли. Усиленный закон больших чисел§11. Характеристические функции§12. Центральная предельная теорема§13. Условное математическое ожидание§14.

Цепи Маркова34111316202226Часть II. Математическая статистика45§1. Статистическая структура§2. Точечное оценивание§3. Функция правдоподобия§4. Неравенство Рао-Крамера§5. Теорема Рао-Блекуэлла-Колмогорова. Оптимальность оценок,являющихся функцией полной достаточной статистики§6. Метод моментов§7. Метод максимального правдоподобия§8. Интервальное оценивание§9.

Проверка гипотез§10. Критерии согласия Колмогорова и χ-квадрат45485053565859626670Литература722303135363740Часть I. Теория вероятностей§1. Элементы теории множествПусть задано некоторое множество Ω. Принадлежность элемента ω множеству Ω будемобозначать ω ∈ Ω (будем говорить, что ω принадлежит Ω). Принадлежность каждого элемента из множества A множеству Ω будем обозначать A ⊂ Ω (будем говорить, что A — подмножество Ω, или A вложено в Ω). Объединением множеств A и B называется множествоA ∪ B, состоящее из всех элементов, принадлежащих A или B.

Пересечением множеств A и Bназывается множество A ∩ B, состоящее из всех элементов, принадлежащих одновременно Aи B. Разностью множеств A и B называется множество A \ B, состоящее из всех элементов,принадлежащих A но не принадлежащих B. Дополнением множества A до Ω называется множество A = Ω \ A. Симметрической разностью множеств A и B называется множествоA ∆ B = (A \ B) ∪ (B \ A).Пусть дан некоторый класс A подмножеств во множестве Ω.Определение 1. Класс A называется полуалгеброй, еслиa) Ω ∈ A.b) Из того, что A ∈ A, B ∈ A следует, что A ∩ B = AB ∈ A.c) Из того, что A ∈ A следует, что найдутся такие A1, …, An ∈ A, что Ai ∩ Aj == ∅ (i ≠ j) и A = A1 ∪ ! ∪ An (в A каждое множество является частью некоторого конечного разбиения).Примеры.

1. A1 = ( ∅, Ω ).2. A2 = ( ∅, A, A , Ω ), где A ⊂ Ω.3. A3 = ( ∅, A1, …, Am, Ω ), где Ai ∩ Aj = ∅ (i ≠ j) иm" A = Ω . Система мноii =1жеств A1, …, Am, удовлетворяющая вышеперечисленным условиям называется конечным разбиением множества Ω.4. Пусть Ω = R = (– ∞ , + ∞). Тогда множество A4 = {[a, b): – ∞ ≤ a ≤ b ≤ + ∞}является полуалгеброй.Определение 2.

Класс A называется алгеброй (σ-алгеброй), еслиa) Ω ∈ A.b) Из того, что A ∈ A следует, что A ∈ A.c) Для любых A1, …, An ∈ A выполняетсяn" A ∈ A (соответственно для любойii =1последовательности A1, …, An, … ∈ A выполняется∞" A ∈ A ).ii =1Иными словами, σ-алгебра — это класс множеств, который замкнут относительно счётных операций дополнения и объединения. Можно добавить, что σ-алгебра замкнута также иотносительно счётного пересечения, так как AB = A ∪ B .Очевидно, любая алгебра является полуалгеброй. Действительно, пусть A — алгебра.Пункты a) в определениях алгебры и полуалгебры дословно совпадают. Докажем справедливость пункта b) определения полуалгебры.

Зафиксируем два элемента A, B ∈ A. Это всегдавозможно, так как в силу a) A всегда содержит хотя бы два элемента — Ω и ∅. Согласно b)A, B ∈ A. Согласно c) A ∪ B ∈ A. Снова, согласно b) имеем A ∪ B ∈ A. Но A ∪ B = AB ,следовательно, из того, что A ∈ A, B ∈ A следует, что A ∩ B = AB ∈ A. Докажем справедливость пункта c) определения полуалгебры.

Зафиксируем некоторое множество A ∈ A. Со3гласно b) A ∈ A. Следовательно, дополнение A представляется в виде объединения одногомножества A , принадлежащего A, и утверждение доказано.Очевидно также, что любая σ-алгебра является алгеброй. Поскольку пункты a) и b) вопределениях алгебры и σ-алгебры совпадают, докажем пункт c). Для любого набора A1, ……, An ∈ A последовательность A1, …, An, An+1 = ∅, An+2 = ∅, … ∈ A и∞" A ∈ A. Посколькуii =1∞nni =1i =1i =1" Ai = " Ai ∪ ∅ ∪ ∅ ∪ ! = " Ai , для любых A1, …, An ∈ A выполняетсяn" A ∈ A. Утверii =1ждение доказано.A1 и A2 в примерах полуалгебр являются алгебрами (а следовательно, и σ-алгебрами).Пример.

A = ∅, A1 ,!, Am , A1 ∪ A2 ,!, Ai ∪ A j ,!, Ai1 ∪ ! ∪ Aik , Ω , k = 3, m , где Ai ∩ Aj =(=∅(i≠j)и)m" A = Ω , очевидно, является алгеброй.ii =1Для полуалгебр, алгебр и σ-алгебр также применимы операции пересечения, объединения и разности. Также имеет смысл говорить о вложенности одной полуалгебры, алгебрыили σ-алгебры в другую. Так например, A1 ⊂ A2, A1 ∩ A2 = A1, A1 \ A2 = ∅, A2 \ A1 == {A, A}.Обозначим Aα — некоторая σ-алгебра подмножеств Ω. Пусть теперь A = ∩ Aα, тогдаαиз A ∈ A следует, что A ∈ A.

Действительно, A ∈ A, следовательно, A ∈ Aα для любого α.В силу того, что все Aα — σ-алгебры, A ∈ Aα для любого α, следовательно, A ∈ A. Совершенно аналогично из A1, …, An, … ∈ A вытекает∞" A ∈ A. Таким образом, A также являетii =1ся σ-алгеброй подмножеств Ω.Определение 3. Пусть задано некоторое множество Ω и класс A подмножеств множества Ω. Тогда σ-алгеброй, порождённой классом A — σ (A), называется минимальная σалгебра, содержащая A.Пример. Пусть A = {A}.

Тогда σ (A) = (∅,Ω, A, A ) .Теорема 1. Для любого множества Ω и любого класса A подмножеств множества Ωсуществует единственная σ (A).Доказательство. Пусть {Aα} — множество всех σ-алгебр подмножеств Ω. Тогда, какпоказано выше, ∩ Aα также является σ-алгеброй. Одновременно, очевидно Aβ ⊃ ∩ Aα ∀β.ααСледовательно, ∩ Aα является σ-алгеброй, порождённой классом A.αОпределение 4.

Борелевской σ-алгеброй B подмножеств R называется минимальнаяσ-алгебра, содержащая все открытые множества на прямой.Так, например, если A4 = {[a, b): – ∞ ≤ a ≤ b ≤ + ∞}, то σ (A4 ) = B.§2. Вероятностное пространство1°°. Вероятностное пространство. Совокупность (Ω, A, P), где Ω — некоторое множество, элементы ω которого называются элементарными исходами, A — σ-алгебра подмножеств множества Ω, элементы A которой называются событиями (случайными событиями),P — вероятность — отображение A → R, удовлетворяющее следующим свойствам:1) P(Ω) = 1,2) ∀A ∈ A верно P(A) ≥ 0 и4∞  ∞3) ∀A1, A2, …, An, … ∈ A таких что Ai ∩ Aj = ∅ (i ≠ j) выполняется P " Ai  = ∑ P(Ai ) . i=1  i=1Для каждой задачи выбирается соответствующее её постановке вероятностное пространство, в терминах которого строится решение. При этом вероятностному пространствупредъявляются некоторые требования, а именно: полнота Ω — множество Ω должно содержать все возможные элементарные события, допустимые в данной задаче; «непротиворечивость» Ω — элементарный исход должен определяться однозначно в каждый момент, допустимой моделью; устойчивость P — при слабом изменении множества A, его вероятностьдолжна также слабо изменяться; воспроизводимость — каждый эксперимент может (хотя быгипотетически) быть повторен какое угодно большое число раз.2°°.

Операции над событиями. Достоверным событием будем называть событие, которое всегда происходит, таким событием является Ω. Невозможным событием называется событие, которое никогда не происходит. Таким событием является ∅. Событие A называетсясобытием, противоположным A, если оно происходит тогда и только тогда, когда не происходит A. Объединением событий A и B называется событие, обозначаемое A ∪ B, котороепроисходит тогда и только тогда, когда происходят или A, или B (или оба вместе).

Пересечением или произведением событий A и B называется событие, обозначаемое A ∩ B или AB, которое происходит тогда и только тогда, когда происходят и A и B вместе. Разностью A \ Bсобытий A и B называется событие, которое происходит тогда и только тогда, когда происходит A и не происходит B. Симметрической разностью A ∆ B событий A и B называется событие, которое происходит тогда и только тогда, когда либо происходит A и не происходитB, либо происходит B и не происходит A.3. Свойства вероятности.1) P(∅) = 0. Действительно, рассмотрим последовательность событий Ω, ∅, ∅, ∅,! .A1 A2Имеем∞∞" A = Ω ⇒ P " A  = P(Ω ) = 1 . В силу пункта 3) определения вероятности и того, чтоi i =1i =1iAi ∩ Aj = ∅ (i ≠ j), выполняется∞∞∞∞i =1∑ P(A ) = P(Ω) + ∑ P(∅ ) . Поскольку P " A  = ∑ P(A ), поii =1лучаемA3 A4 i=1i =2ii∞∑ P(∅ ) = 0 ⇒ P(∅ ) = 0 , что и требовалось доказать.i =2 n  n2) Для любых событий A1, …, An таких, что Ai Aj = ∅, P " Ai  = ∑ P(Ai ) .

Действитель i=1  i=1но, достаточно рассмотреть последовательность событий A1 , !, An , ∅, ∅,! . Очевидно,An +1 An + 2∞nn∞∞nn" A = " A ⇒ P " A  = P " A  = ∑ P(A ) = ∑ P(A ) + 0 = ∑ P(A ), что и требовалось.iiiiiiii =1i =1 i=1  i=1  i=13) (Монотонность вероятности) Из того, что A ⊃ B следует, что P(A)≥P(B). Действительно, из того, что A ⊃ B следует, что A = (A \ B) ∪ B. Из неотрицательности вероятности итого, что (A \ B) ∩ B = ∅ следует, что P(A) = P(A \ B) + P(B)≥P(B), что и требовалось доказать.

Из этого следует также, что если A ⊃ B, то P(A) – P(B) = P(A \ B).4) Пусть A и B — события. Тогда P(A \ B) = P(A) – P(AB). Это следует из того, что A == (A \ B) ∪ AB и того, что (A \ B) ∩ AB = ∅.5) P(A ∪ B) = P(A) + P(B) – P(AB). Это следует из того, что A ∪ B = (A \ AB) ∪ B и того,что (A \ AB) ∩ B = ∅.Рассмотрим теперь произвольную последовательность событий A1, A2, …, An, …. Верхi =1i =1∞∞ним пределом этой последовательности назовём lim sup An = #" Ak , то есть такое множестn→∞5nn =1 k = n∞∞во точек, вложенное в бесконечное число Ai. Нижним пределом назовём lim inf An = "# Ak ,n→∞nn =1 k = nто есть такое множество точек, которое, начиная с некоторого номера, вложено во все Ai.Имеет место вложение lim sup An ⊃ lim inf An.