1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 11
Текст из файла (страница 11)
П ЭЛЕМЕНТХРНЛЯ ТЕОРИЯ ВЕРОЯТНОСТЕП Однако мы замечаем, что при больших п вероятности событий -'-'- = 11 и ~ — "- =* 01 малы. Естественна поэтому мысль, что суммарная вероятность исходов эт, для которых ~ —" — р~) в, 8е (и) будет при достаточно больших п также мала. В связи с этим постараемся оценить вероятность события еэ; ~ " — р ~ ) е~, для чего воспользуемся следующим нера8е( ) венством, открытым П. Л. Чебышевым.
Н е равенство Чебышева. Пусть (11, а:6', Р) — некоторое вероятностное пространгаево и 5 =в(м) — нготрие(отельная случайная величина. Тогда для всякого е) 0 Р~е е Доказательство. Заметим, что е = е У (е — е) + к У (е ( е) ~ $! (с ~ е) т е е! (е — В), где 1(А) — индикатор множества А, Поэтому по свойствам математических ожиданий М~ .=з ВМ) Я ) е) = ВР (8 == е), что и доказывает (3). Следствия.
Если $ — произвольная случайная величина, то для В~О Р (; К ~ --- е) = — ' М:е' Р( е;=е', =Р(се=-ее) =- —,;:;, Р(',е — Ма|== ',=- —,. Ее (4) Воспользуемся последним неравенством, взяв а = 5,уа. Тогда с учетом (4.14) получим 0(...л ' ~ 8 й / 08» эра ря Итак, откуда видно, что при больших и вероятность отклонения частоты «успеха» 5„,~п от его вероятности р больше чем на в достаточно мала, 4 5. схемА БггиуллРЕ !. 3АкОн БОльших чисел Обозначим для всех п~( и О )5==а Р„® = Сер')"-' Тогда Р~~ — '."- — Р~- Б~ = ~ Р„()е), (Е: ( —,—,— Р~~е) и, в сущности, мы установили, что (6) лее 4лее (е: (- — с( - е~ т. е.
доказали некоторое неравенство, которое можно было бы получить аналитически, без использования вероятностной интерпретации, Из (6) ясно, что Р„()5) -е. О, а — е- со. (7) 74. ~ -е — Р ~ = е~ Графически это утверждение можно пояснить следующим образом.
Изобразим биномиальное распределение (Р, ()5), О == 15 ==.л), как это сделано на рнс. 6. е ! л ее+па Рис. б. Тогда с ростом л вся картина «расплываетсяе, в то же время есжимаясь» по высоте. При этом сумма величин Р,(15) пой таким, что пр — пе -й-- пр+па, стремится к единице. Будем представлять последовательность случайных величин 3„5„..., Я„как траекторию некоторой блуждающей частицы. Тогда результат (7) означает следующее. Проведем прямые 15р, л(р+е) и )5(р — е). Тогда в среднем траектория движется вдоль прямой 15Р, и для любого в~О можно утверждать, что для достаточно больших и с большой вероятностью точка 5„характеризующая положение частицы в момент л, будет лежать в интервале (а(Р— е), п(р+е)); см. рис. 7.
ГЛ ! ЗЛЕЕ!ЕНТХРНХЯ ТЕОРИЯ ВЕРОЯТНОСТГП Ъ тес!)жд<п<ие (7) хотелось Оы записать В таком виде: (8) Л Однако иаио иметь в виду, что здесь существует определенная тонкость. Лоло в том, что эта запись была бы вполне оправданной, если бы Р была вероятностью на некотором пространстве (Рн еее), на котором опредетена оесконен<ая последовательное<ь независимых берпуллиевскнх случайных величии со я(я-е) о ) г л Рис. 7. $я, ... Эти объекты действительно ь<ожио построить и тем самым придать утеерждепию (8) совершенно строгий вероятностный смысл (см.
далее следствие 1 к теореме ! 9 9 в гл. ! !). Пока же, если жеяать придать смысл аналитическому )тверждению (7), пользуясь языком теории вероятпостси, мы доказали лишь следуюи.ее. Пусть (1)<и<, "<" <, Р<"'), л ==- 1, — п< следовательность схем Бернулли таких, что Й'и< ==- (<я<и<«я<и> =<Р<м...., о<ип а<и< =. 0 1! е-йи<и' ==. (А; А .:- О<и<<, и,, и — п с<и) (<О<и<) а<и< (аз<и<)+ ! Еь< О (<о<и<) где для каждого и '~ ! Ци', ..., Я<и< — последовательности независимых одинаково распределенных бернуллиевских случайных е<личин.
А Б. ОхсмА БеРнулли 1. 3АХОн Больших рп)сел 61 Тогда 5)л) ( сл)) Ри)(":/ — рл) — т р)») р, и ),» й' 1'В- ~- 1 (9) Утверждения типа (7) — (9) носят название закона больших чисел Я. Бернулли. Отметим, что доказательство Я. Бернулли именно и состояло в установлении утверждения (?), что бьшо сделано им вполне строго с использованием оценок для «хвсстог;) биномпальньж вероятносгей Рл (й) (при тех )г, для которых !'- = д - — р ~ =- е).
Непосредственное вычисление суммы вероятностей <О,ВОСтОВ)) бПНОМНЗЛЬНОГО раСПрЕдЕЛЕНИя ~' Рл (lг) Прсд- 1~,!" (.,1 сгавляет для больш:)х и дОБольио трудоех)кую задач)п к том) же по. учаемые форхл лы мало пригодны для практической оценки тс:го, с какой вс роятностью частоты 5, 'и отличаются от р мешрше цм па е. Р(х)енпо поэтому большое значение имели открытые МП)яром (в случае р.=-!)2) и затем Лапласом (для произвольного 0(р~!) простые асимптотпческие формулы для вероятностей Рл (/г), что позволило ие только заново доказать закон болыппх чисел, но и получить его угочиения — так называемые локальные и интегральные предельные теоремы, суть которых состоит в гом, что при больших и и по крайней мере для й пр М вЂ” лри 1 Р, ,'й), е '"л« )' 2иирч «)срилр Р„(й) —,' —. ~ е ' с)х.
2и )» (» Р(~«~ — «ЪРР,Р« 2. Следуюший параграф посвя)цен точным формулировкам и дсказательствам этих ).сзультатов. Сейчас >ко мы останою)моя на вопросе о том, каков реальный смысл закона больших чисел, какова его эмпирическая интерпретацияр Пусп; производ)ыся большое число, скажем, й), серий экспериментов, каждая пз которых состоит из «и независимых испытаний с веооятностью интересуюшего нас события С, равной р)). Пусть 5„' л — частота появления события С в )-й серии и )«',— число серий, в которых частоты отклоняются от р меньше чем на е: )»р«равно числу тех 1, для которых —" — р е, и ГЛ.!. ЭЛГМЕНТЛРНЛЯ ТГОРИЯ ВЕРОЯТИОСТЕП Тогда ('10) где Р, = Р ) ) — '" — р =.
е~. !! л Важно подчеркнуть, что попытка уточнить соотношение (1О) неминуемо приводит к необходимости использования некоторой вероятностной меры точно так же, как оценка отклонения частоты Я„!гг от р оказывается возможной лишь после привлечения вероятностной меры Р. 3. Рассмотрим полученную выше оценку Р() —" — р~- е~ = т Рл(lг) ~ — —, (!!) 1к~ - — Р~)г~ для ответа на следующий, типичный для математической статистики вопрос: каково наименыиее гарантированное число наблюдений и, при котором (для любого 0 ~ р ( 1) Р () --,"- —,о ( — е~ ==-: 1 — а, (!2) где а — заданное (обычно мэлее) число? Из (1!) следует, что таким числом является пагмгеньшее целое и, ДЛЯ КОТОРОГО 1 4ега ' Если, например, а=0,05 и е=0,02, то число наблюдений, равное 12500, гарантирует выполнение неравенства (!2) независимо от значения неизвестного параметра р.
Далее мы увидим (п. 5, Э 6), что это число наблюдений сильно завышено; зто объясняется тем, что неравенство Чебышева даст слишком грубую оценку сверху вероятности Р (~ — '- — р~)е(. л 4. Обозначим С(п, е) =~В!: ) " ) — р и-"е~. Из доказанного закона больших чисел следует, что для всякого е ) 0 при достаточно больших и вероятность множества С (гг, е) близка к единице.
В этом смысле траектории (реализации) Вг нз С(п, е) естественно назвать типичнылги (или (и, е)-типичными). Поставим следующий вопрос: каково число типичных реализаций и вес р (ы) каждой типичной реализации? С этой целью заметим сначала, что общее число точек Лг(гг) = = 2", и если р = 0 или 1, то множество типичных траекторий Э а схем« ьсгнэллп ! э«кон вольших чпсгл сз Н = — ~ р! 1п р! Г= ! где 0.)п0=0. Ясно, что Н)0, причем Н=О тогда н только тогда, когда все вероятности рь кроме одной, равны нулю. Функция ((х) = — х!пх, 0 =х-.=-1, выпукла кверху и, как хорошо известно из свойств выпуклых функций, )(к!)+...+)(х,) /х!+...+х,.) « Следовательно, « Н= — э ! = — г "' "' Р' !и! Р'+'" Р')=!пг Иначе говоря, энтропия достигает своего максимального значения при р, =...
= р, = !)г (см. рис. 8 для функции Н = Н (р) в случае г = 2). Если рассматривать распределение вероятностей (р„р„..., р,) как вероятности появления некоторых событий, скажем, А„А,, ... ..., А„то совершенно понятно, что «степень неопределенности» в свершении того или иного события различна для различных распределений. Если, например, р, = 1, р, = ...
= р, = О, то ясно, что такое распределение не обладает никакой неопределенностью: с полной уверенностью можно сказать, что в результате опыта произойдет событие А,, Однако если р! = ... = р, = !)г, то такое распределение обладает максимальной неопределенностью в том С(п, е) состоит всего лишь из одной траектории (О, О, ..., 0) или (1, 1, ..., !). Но если р=!)2, то интуитивно понятно, что «почти все» траектории (за исключением траектории типа (О, О, ... ..., 0) или (1, 1, ..., !)) будут типичными и, следовательно, их число должно быть близко к 2". Оказывается, что на поставленный вопрос можно дать исчерпывающий ответ для произвольных 0 ( р ( 1; при этом выясняется, что как число типичных реализаций, так и их веса р («!) определяются некоторой специальной функцией от р, называемой энтропией.
Чтобы глубже раскрыть содержание соответствующего результата, полезно рассмотреть несколько более общую схему нз п. 2 Э 2, нежели схема Бернулли. Пусть (р„р„..., р,) — некоторое консчнос распределение вероятностей, т. е. набор неотрицательных чисел, удовлетворяю- () щих условию р,-1-...-)-р, = 1. Энтропией этого распределе»!ия называется величина р«с з !эу««ц«я Н(р) = — р )и р— — (! — Р) Х)п (! — Р). (!4) ГЛ ! ЭЛЕМЕНТАРНЛЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ смысле, что невозможно отдать предпочтение в свершении тому или иному событию.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
