Работа №1. Предельные теоремы

Цель работы: статистически пронаблюдать существо основных предельных теорем.

Содержание.

1. Теорема Бернулли.

2. Закон больших чисел в форме Чебышева.

2.1. Основное утверждение.

2.2. Испытание практически достоверного события.

2.3. Сжатие распределения с ростом числа слагаемых.

3. Усиленный закон больших чисел.

4. Теорема Гливенко  основная теорема статистики.

5. Центральная предельная теорема.

5.1. Содержание теоремы.

5.2. Одинаково распределенные слагаемые.

5.3. Различно распределенные слагаемые.

1.Теорема Бернулли

Если проводится n независимых испытаний случайного события A, вероятность которого P(A) = p, то относительная частота /n появления события A (   число появлений A) при большом n приближенно равна вероятности p:

.

уточнение: будем писать

при ,

если для любого >0 и для достаточно больших n соотношение

(1)

выполняется с вероятностью, стремящейся к 1 с ростом n; запишем это так:

при .

В этом состоит теорема Бернулли. Заметим, что теорема не утверждает, что соотношение (1) достоверно, однако, если n достаточно велико, то вероятность его выполнения близка к 1 (например, 0.98 или 0.999), что практически достоверно. Если собираемся провести эксперимент, состоящий из этого достаточно большого числа n испытаний, то можем быть уверены, что соотношение (1) будет выполнено. Проверим это не абсолютно достоверное утверждение.

Пример. Бросание симметричной монеты.

Вероятность появления герба p=0.5. можно показать (с помощью центральной предельной теоремы), что, например, если n  (1.5/)², то соотношение (1) выполняется с вероятностью 0.997, а если n  (1.3/)², то  с вероятностью 0.99; последняя в данном случае нас вполне устраивает как практическая достоверность. Положим  = 0.1; тогда соотношение

|  / n - 0.5 | < 0.1 (a)

выполняется с вероятностью 0.99 при n 170. если =0.03, то соотношение

|  / n - 0.5 | < 0.03 (б)

выполняется с вероятностью 0.99 при n 1850. Мы уверены, что, проведя 170 бросаний монеты, получим (а), а, проведя 1850 бросаний, получим (б).

Бросание монеты моделируем генерацией случайной величины , принимающей значения 1 ("герб") и 0 ("цифра") с вероятностями 1/2. Число появлений "герба" в n испытаниях

,

где _k- результат k-го испытания.

Образуем вектор длины n = 1850, генерируем n = 1850 значений  .

Определение числа появлений “герба” и относительной частоты f_n в серии из n = 170 испытаний. Убеждаемся, что f_n – 0.5 < 0.1.

Определение числа появлений “герба” и относительной частоты f_n в серии из n = 1850 испытаний. Убеждаемся, что f_n – 0.5 < 0.03.

2.Закон больших чисел в форме Чебышева

2.1.Основное утверждение

Одно из основных утверждений закона больших чисел состоит в том, что значение среднеарифметического случайных величин с равными математическими ожиданиями при большом n (при некоторых широких условиях) оказывается приближенно равным a:

уточним: будем писать

при ,

если для любого  >0 и достаточно больших n соотношение

(2)

выполняется с вероятностью, стремящейся к 1 с ростом n; запишем это так:

при n .

это одно из утверждений закона больших чисел. Заметим, что, как и теорема Бернулли, оно не означает, что соотношение (2) достоверно; однако, если n достаточно велико, то вероятность его выполнения близка к 1, например, 0.98 или 0.999, что означает практически достоверно. Приведем полную формулировку одной из теорем закона больших чисел в форме Чебышева,

Теоремы Чебышева. Если - последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной:

,

то для любого >0

при .

2.2. Испытание практически достоверного события

Убедимся в выполнении (2) статистически на примере1.

Пример1. Случайные величины распределены равномерно на отрезке [0,1]. Если значение  задавать произвольно, а число испытаний выбирать из условия n  (9D/²), то (как нетрудно показать) соотношение (2) выполняется с вероятностью P=0.997, а если n  (5.4D/²) - то с P=0.98. Последняя нас устраивает, как практическая достоверность.

Положим ₁ =0.1 и ₂ =0.02, определим два соответствующих значения n₁ =45 и n₂ =1125, и проверим (2) экспериментально (в нашем случае a=0.5). Выполнение аналогично п.1. При генерации случайных чисел нужно задать полное имя новой переменной, например, LIMIT.unif.

Задание. Проверить (2) экспериментально для экспоненциально распределенных слагаемых с M=1. Принять ₁ =0.2 и ₂ =0.05. При выполнении в пакете SPSS учесть, что - ln  , где  ~ R[0, 1], имеет требуемое распределение.

Пример 2. Невыполнение закона больших чисел

Рассмотрим случайную величину, распределенную по закону Коши с плотностью

(3)

Заметим, что плотность симметрична относительно нуля, однако, 0 не является математическим ожиданием; это распределение не имеет математического ожидания. Напомним, что математическим ожиданием называется , если ; последнее, очевидно, для распределения Коши не выполняется. Для последовательности независимых случайных величин, распределенных по закону Коши (3), закон больших чисел не выполняется. Если бы среднеарифметическое  сходилось с ростом n к какой-либо константе, то, в силу симметрии распределения, такой константой мог быть только 0. Однако, 0 не является точкой сходимости. Действительно, можно показать, что при любом  >0 и при любом сколь угодно большом n

(4)

с вероятностью arctg . (Поясним сказанное: с помощью характеристических функций легко показать, что распределена по (3), а функция распределения для (3) есть arctg x). Эта вероятность, как видно, не стремится к 0 с ростом n. Например, если  = 0.03, то вероятность выполнения (4) равна приближенно P  0.98, т.е. событие (4) практически достоверно, и можно уверенно ожидать его выполнения с одного раза. Если  =1, то вероятность (4) равна 0.5, и выполнение его хотя бы раз можно уверенно ожидать, проделав 7 экспериментов (т.к. вероятность невыполнения ни разу равна (0.5)⁷ = 1/128). И это при любом фиксированном n, например, n = 1000. Проверим это экспериментально.

При выполнении в пакетах, где нет закона Коши, учтем, что, если случайная величина X распределена равномерно на отрезке длины , то случайная величина

Y = tg X (5)

имеет плотность (3). Сгенерируем 7 выборок объемом n=1000 и проверим (4) при  =1.

Сгенерируем 7 выборок объема n = 1000 с распределением Коши и определим по каждой среднее значение. Определяющее выражение, соответствующее плотности (3),

= VCauchy (rnd (1); 0; 1)

здесь а = 0 – параметр сдвига, b = 1 – параметр масштаба в плотности

p (x  a, b) = ;

Определяем среднее значение на всех 7 выборках:

Посмотрим график выборки из распределения Коши:

обратим внимание на то, что имеются редкие наблюдения, отстоящие очень далеко от центра распределения – точки 0.

2.3.Сжатие распределения с ростом числа слагаемых

Закон больших чисел в форме Чебышева означает, что распределение случайной величины

сжимается с ростом n. Если математические ожидания одинаковы, т.е. M_i=a, то сжатие происходит в окрестности точки a.

Аналитически иллюстрировать сжатие можно, если распределение для легко выписывается. Например, если _i распределены нормально N(a, ²), то случайная величина распределена по N(a, ²/n). Построим графики плотностей для n =1, 4, 25, 100 и  =1, a =1 (сделаем это в целях освоения пакета).

Статистически убедиться в сжатии можно, наблюдая гистограммы при различных значениях n (например, для n =10, 40, 160, 640). Сгенерируем k раз (например, хотя бы k =20) случайную величину  : и построим для этой выборки средних гистограмму H_n. Сравнивая гистограммы для различных n, мы заметим сжатие (сделать самостоятельно). сжатие можно увидеть определением для каждого n по минимального _min, максимального _max значений и размаха w = _{max - min .}

а) графики плотностей:

N=4

n=25

N=100

б) Разброс средних

Получим к = 20 выборок объемом n = 10 ( в таблице 20v  10c) из распределения R [0,1]. По всем выборкам определим среднее. Выделим полученную строку средних и определим для нее стандартное отклонение. Затем определим минимум (Min’s) и максимум (Max’s). Результаты получаем в трех вновь образованных столбцах.

Повторяем то же самое для n = 40:

n=160:

n=640:

Результаты заносим в таблицу, вычисляем размах и убеждаемся, что с ростом n разброс средних уменьшается (распределение сжимается).

Сжатие распределения для ­­­­ с ростом n можно показать графически. Из предыдущего имеем 4 строки средних для различных n. Поскольку в пакете удобнее работать со столбцами, а не со строками, 4 строки средних сделаем столбцами транспонированием.