А.Н. Ширяев - Вероятность-1 (1115330), страница 12
Текст из файла (страница 12)
с и х независимы) в том и только том случае, когда с азсопз1. 13. При каких условиях на С случайные величины С и ейп С независимы? 14. Пусть с и г! — независимые случайные величины и г) !с О. Выразить вероятности Р(сг) < х) и Р! — < г) через вероятности Рс(х) и Р„(у). Г( ~и 15. пусть с, и, ~ — случайные величины, [с[ < 1, [г![ < 1, ф < 1. доказать справедливость неравенства Белла: [Е(~ — Еп('[<! — ЕСг).
(См., например, [!36[) 16. В и урн независимым образом бросаются й шаров. (Для каждого шара вероятность его попадания в каждую конкретную урну равна 1/и.) Найти математическое ожидание числа непустых урн. В 5. Схема Бернулли. 1. Закон больших чисел 1. В соответствии с данными выше определениями тройка (й, лФ, Р) с й=(ы: ы=(аь ..., а„), а; =О, Ц, л~ =(А: А С й), Р(( )) = рл- " д"-Е ' (= р( О называется вероятностной моделью, отвечающей и независимым испытаниям с двумя исходами, или схемой Бернулли.
В этом и следующем параграфах мы изучим некоторые предельные (в указываемом ниже смысле) свойства схем Бернулли, которые оказывается удобным ввести в терминах случайных величин и вероятностей событий, связанных с ними. Введем случайные величины сь ..., с„, полагая для ш = (аь ..., а„), что 6(~в) =аь ! = 1, ..., и.
Как мы уже видели, бернуллиевские величины $(м), ! = 1, ..., и, независимы и одинаково распределены: РК;=Ц=р, Р(6=0)=д, 1=1, ..., и. Понятно, что случайная величина с; характеризует результат испытания на 1-м шаге (в 1-й момент времени). Положим Бр(ш) ьчО и 68 ГЛ.!. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ (2) Доказательство. Заметим, что с = 0(с > г) + 0(с < г) > с((с > г) > г/(с > г), где l(А) — индикатор множества А. Как было найдено выше, Е5„= ар и, следовательно, Š—" = р. (!) Иначе говоря, среднее значение частоты появления «успеха», т.
е. вели- чины 5„/и, совпадает с вероятностью «успеха» р. Отсюда естественно возникает вопрос о том, как велики отклонения частоты 5„/л появления «успеха» от его вероятности р. Прежде всего отметим, что не приходится рассчитывать на то, что при достаточно малых г > О и даже при больших значениях п отклонения частоты 5„/л от вероятности р будут меньше г для всех ы, т.е. что будет выполнено неравенство ~ — — р~ <г, ыЕ(). Действительно, при О < р < ! Р(~ (~ „, .
Р(5" =О~=Р(Е, =О, ..., Е =О)=е", ~ л откуда следует, что неравенство (2) не выполняется при достаточно малых г>О. Однако мы замечаем, что при больших и вероятности событий ~ — = ! ~ . Г5« Г 5« и 1 —" = О~ малы. Естественна поэтому мысль, что суммарная вероятность ! л 5»(ы) исходов ы, для которых ~ — р ~ > г, будет при достаточно больших и и также мала. В связи с этим постараемся оценить вероятность события (-: ~'!'- ~-1 лля чего воспользуемся следующим неравенством, открытым П. Л. Чебы- шевым.
Неравенство Чебышева. Пусть ((), ~Ф, Р) — некоторое вероят- ностное пространство и С =~(~) — неотрицательная случайная ве- личина. Тогда для всякого г > О Р(с >г) < —. (3) йз. схемА БеРнулли.!. 3АкОн БОльших чисел 69 Поэтому по свойствам математических ожиданий Е4 > е Е)(5 > е) = е Р К > е», что и доказывает (3).
П Следствия. Пусть С вЂ” произвольная случайная величина. Тогда для е>0 Р(!6>е»< —,, Е(4) Е42 Раа >.)»»РК'> "» < — ",, сз ' РЯ вЂ” Е() > е» < —. 04 Воспользуемся последним неравенством, взяв 5=5„/н. Тогда с уче- том (14) Б 4 получим 0— 5л Итак, (5) Р„(й) = С„'р'д"-'. Тогда Р(! — '" — р/ > е~ = ~ Р„(й), (Й: ~ -„-»~>«7 и, в сущности, в (5) мы установили, что Р„(й) < — ~ <— нсз 4нс2' (си ~ » -ф»>«Т (6) т е. доказали некоторое неравенство, которое можно было бы получить и аналитически, без использования вероятностной интерпретации.
Из (6) ясно, что Р„(й)- О, л- оо. (':И-! ) (7) откуда видно, что при больших л вероятность отклонения частоты «успеха» 5„/л от его вероятности р больше чем на е достаточно мала. Обозначим для всех н > 1 и 0 < й < п ГЛ. Ь ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ 70 Графически это утверждение можно пояснить следующим образом. Изобразим биномиальное распределение (Р„(й), О< А <а), как это сделано на рис. 6 (при р=(/2). Р~(л) Тогда с ростом и вся Л картина «расплывается», в то же время «сжимаясь» по высоте.
При этом сумма величин Р„(й) по й таким, что ар — из<А<ар+аз, стремится к единице. Рис. 6. Будем представлять последовательность случайных величин 50, 5н ..., 5„как траекторию некоторой блуждающей частицы. Тогда результат (7) означает следующее. Проведем прямые йр, й(р+е) и й(р — е). Тогда «в среднем» траектория движется вдоль прямой йр, и для любого е) О можно утверждать, что для достаточно больших и с большой вероятностью точка 5„, характеризующая положение частицы в момент и, будет лежать в интервале [а(р — е), и(р+е)]; см.
рис. 7. »Р-н« л Р+л« Ф тхт 0 ! 2 3 Рис. 7. Утверждение (7) хотелось бы записать в таком виде: Р(] —" — р~)е~- О, и- со. (8) Однако надо иметь в виду, что здесь существует определенная тонкость. Дело в том, что эта запись была бы вполне оправданной, если бы Р была вероятностью на некотором пространстве (й, л~), на котором определена бесконечная последовательность независимых бернуллиевских случайных йз. СХЕМА БЕРНУЛЛИ.!. ЗАКОН БОЛЪШИХ ЧИСЕЛ 7! величин с), сз, ...
Эти объекты действительно можно построить и тем самым придать утверждению (8) совершенно строгий вероятностный смысл (см, далее следствие 1 к теореме 1 з 9 в гл. 1!). Пока же, если желать придать смысл аналитическому утверждению (7), пользуясь языком элементарной теории вероятностей, то можно утверждать лишь следующее. Пусть (й)л), л«!л), Р!л)), и > 1, — последовательность схем Бернулли таких, что — "' =(а ..
аы') а!М=О 1) ) ' ''' л ЛГ (л) (А, А С О!л)) Р(л)((ш!л))) т: а,'л,„л-т. 'длл О! )(~)ьл)) ~(л)( (л))+ +~(л)( )д) и > ! С), ..., 6„— последовательность независимых (л) !д) иакова распределенных бернуллиевских случайных величин. Тогда 5(л)( !л)) Р!")(ш!"): / " — р!>в~= ~~ Р„(й)- О, и-+со. (9) (ы ! ~ -р!>д) Утверждения типа (7) — (9) носят название «Закон больших чисел Я. Бернулли». Отметим, что доказательство Я.
Бернулли именно и состояло в установлении утверждения (7), что было сделано им вполне строго с использованием оценок для «хвостов» биномиальных вероятностей Р„(й) (при тех й, л для которых ~ — — р~ >е). Непосредственное вычисление суммы вероятп настей «хвостов» биномиального распределения ~ Р„(н) пред- (':6- 1-") ставляет для больших и довольно трудоемкую задачу, к тому же получаемые формулы мало пригодны для практической оценки того, с какой вероятностью частоты 5„/и отличаются от р меньше чем на е.
Именно поэтому большое значение имели открытые Муавром и Лапласом (для произвольного О < р < 1) простые асимптотические формулы для вероятностей Рл(й), что позволило не только заново доказать закон больших чисел, но и получить его уточнения — так называемые локальные и интегральные предельные теоремы, суть которых состоит в том, что при больших и н 45. СХЕМА БЕРНУЛЛИ. 1.
ЗАКОН БОЛЬШИХ ЧИСЕЛ 73 Из (11) следует, что таким числом является наименьшее целое л, для которого л> —. 1 (13) 4«за Если, например, а =0,05 и е=0,02, то число наблюдений, равное 12500, гарантирует выполнение неравенства (12) независимо от значения неизвестного параметра р. Далее мы увидим (п. 5, $6), что это число наблюдений сильно завышено; это объясняется тем, что неравенство Чебышева дает слишком грубую 115« оценку сверху вероятности Рц — — р~ > е1. 11 л 4.
Обозначим С(п,е)=(ы; ~ " ) — р)<е~, Из доказанного закона больших чисел следует, что для всякого е > 0 прн достаточно больших л вероятность множества С(л, е) близка к единице. В этом смысле траектории (реалнзацнн) «7 нз С(л, е) естественно назвать типичныли (нлн (и, е)-тнпнчнымн). Поставим следующий вопрос: каково число Ф(С(л, е)) типичных реалнзацнй и вес р(ы) каждой типичной реализации? С этой целью заметим сначала, что общее число точек Н(й) = 2", и если р = 0 нлн 1, то множество типичных траекторий С(п, е) состоит соответственно всего лишь нз одной траектории (О, О, ..., 0) нлн (1, 1, ..., 1). Но если р = 1/2, то интуитивно понятно, что «почтн все» траектории (за исключением траекторий типа (О, О, ..., О) нлн (1, 1, ..., 1)) будут тнпнчнымн, следовательно, нх число должно быть близко к 2".
Оказывается, что на поставленный вопрос можно дать нсчерпываюшнй ответ для произвольных 0< р < 1; прн этом выясняется, что как число типичных реализаций, так и нх веса р(ы) определяются некоторой специальной функцией от р («энтропней»). Чтобы глубже раскрыть содержание соответствующего результата, полезно рассмотреть несколько более общую схему нз и.
2 $2, нежели схема Бернулли. Пусть (рь рэ, ..., Р,) — некоторое конечное распределение вероятностей, т.е. набор неотрицательных чисел, удовлетворяющих условию р~ + +... + р, = 1. Энтропией этого распределения называется величина Г Н= — ~~', Р~ 1и Р~ (14) 1=! где 1и — натуральный логарифм и 0 !и 0 =0. ясно, что Н > О, причем Н = 0 тогда и только тогда, когда все вероятности рь кроме одной, равны нулю.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
