Учебник_Бочаров_Печинкин (846435), страница 30
Текст из файла (страница 30)
Поэтому мода нормального закона совпадает с математическим ожиданием Она же является наивероятнейшим значением н медианой. О Пример 34. Найдем моду биномиального распределения. Для этого заметим что снк Р (гъ !) Р г гг г ггг (и — 2)Р Отсюда нетрудно вывести, что отношение Р (г)!Р„(!+!) меньше ! при г < пр — д н больше 1 прн г > пр — д. Таким образом, если пр — гг не является целым, то максимальное г, для которого г, > пр — у, является модой и наивероятнейшнм значением. Если же пр — у — целое, то бнномиальный закон имеет две моды н два наивероятнейших значения: пр — и н пр — и+ 1.
П Энтропия Н = Н(Е) дискретной с гучайной величины с определяется формулой н Н = Н(с.) = — ~ р,1пр,. г=г Отметим, что энтропия не зависит от значений Х, случайной величины й, а зависит только от вероятностей р„с которыми эти значения принимаются, Энтропия является мерой априорной неопределенности случайной величины. Максимальное значение Н „, = 1пп энтропия дискретной случайной величины достигает тогда, когда все п возможных значений случайная величина принимает с одной и той же вероятностью р, = !гп, минимальное Нты = 0 — когда случайная величина принимает единственное значение с вероятностью, равной единице. Энтропия НЯ,й) двумерной дискретной слу гайной величины (д,г!) определяется формулой НЫ г!) = Ерд(прм. Поскольку для независимых случайных величин !пр,.
= 1прз + + 1пря, то, как нетрудно видеть, энтропия случайной величины (Е,г!) с независимыми компонентами д и г! представляет собой сумму энтропий: Н(с„г!) = Н(с) + Н(й); в случае зависимости с и й энтропия Н(с„й) всегда меньше суммы Н(() + Н(г!). Энтропия играет важную роль в теории информации, она в некотором смысле представляет собой минимальный объем памяти, необходимый для записи информации, содержащейся в случайной величине. 136 Гл. 7 Числовые характеристики случайных вели~ин Поскольку информация записывается обычно в двоичной системе, то основанием логарифма берется число 2.
Энтропия Н = У® непрерывной случайной величины С и энтропия Н!с„ у) двумерной непрерьсвной случайной величины (С,у) задаются выражениями Н = НЯ = — ре(х) !пр~(х) йх, НЯ, и) = — рбч(х, у) !прет(х, у) с!х йу. И в непрерывном случае энтропия Н!С, у) двумерной случайной величины совпадает с суммой Н® + Н(Ч) энтропий компонент тогда и только тогда, когда ~ и у независимы; иначе Н!с„п) < НЯ + НЯ.
Однако в отличие, например, от математического ожидания энтропию непрерывной случайной величины нельзя получить предельным переходом от дискретного случая. Отметим также, что при заданной дисперсии аз максимальную энтропию !пч72яеоз имеет нормально распределенная случайная величина. Глава 8 ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ На практике довольно часто встречается ситуация.
когда многократно наблюдается, как сказал бы не знакомый с теорией вероятностей человек, водна и та жеь случайная величина, а конечный результат представляет собой сумму наблюденных в каждом испытании значений этих величин. Наряду с уже упоминавшимися азартными играми сюда можно отнести: повторные замеры одного и того же параметра с последующим осреднением результатов с целью повышения точности измерений; многократное воздействие однородных причин на некоторый протекающий во времени физический процесс и т.д. Пройденный нами путь по теории вероятностей и приобретенный при этом опыт применения основных ее понятий позволяют подойти к описанию всех этих явлений с единых вероятностных позиций на основе следующей схемы: имеется последовательность независимых одинаково распределенных случайных величин и из нее образуется среднее арифметическое первых и членов.
Спрашивается, как будет вести себя это среднее арифметическое, если и велико? Оказывается, при большом и оно теряет свойство случайности и приближается к математическому ожиданию каждого слагаемого (отсюда второе название математического ожидания — среднее значение). Этот факт носит название закона больших чисел Собственно говоря, с частным случаем закона больших чисел мы уже встречались, когда рассматривали схему Бернулли (теорема Бернулли) Следуя исторической традиции, доказательство закона больших чисел мы сначала проведем, опираясь на неравенство Чебышева, которое является родоначальником многих других неравенств, широко применяемых в современной теории вероятностей. Дальнейшее уточнение закона больших чисел происходило в двух направлениях. Первое связано с динамикой поведения средних арифметических. К основным результатам этого направления следует отнести усиленный закон больших чисел и закон повторного логарифма, полученные А.
Н. Колмогоровым Исходным пунктом второго направления, называемого иногда центральной предельной проблемой, являются теоремы Муавра †Лапла. Решение центральной предельной проблемы позволило описать класс всех распределений, которые могут выступать в качестве предельных для функций распределения сумм независимых случайных величин в том случае, когда вкладом каждого слагаемого можно пренебречь, найти необходимые и достаточные условия сходимости к каждому распределению этого класса, оценить скорость сходимости Простейшим примером результатов такого типа является центральная предельная теорема для одинаково распределенных слагаемых, имеющих дисперсию, которую мы докажем в параграфе 4. Основным математическим аппаратом при решении центральной предельной проблемы служит преобразование Фурье, носящее в теории вероятностей название характеристической функции, хотя в последнее время все ча|це применяются другие методы.
138 Гл. 8. Предельные теоремы теории вероятностей 1. Неравенство Чебышева. Закон больших чисел Рассмотрим случайную величину (, имеющую дисперсию йд = сгз. Мы уже говорили, что дисперсия является показателем разброса г, вокруг математического ожидания М~. Однако с точки зрения исследователя разброс естественнее характеризовать вероятностью Р(~( — М~~ > е) отклонения случайной величины д от Мд на величину, большую некоторого заданного е.
Следующее неравенство позволяет оценить эту вероятность через дисперсию о~. Неравенство Чебышева. Для каждой случайной величины с, имею~цей дисперсию П~ =- а~, при любом е > 0 справедливо неравенство Р(~~ — Мс > е) ( —,. Доказательство проведем для непрерывной случайной величины 8 с плотностью распределения р(х). По определению, ОС = Г (х — МО р(х) ох. Поскольку подынтегральное выражение неотрицательно, то при уменьше- нии области интегрирования интеграл может только уменьшиться, поэтому ьн— 08 > ~ (х — Мб)эр(х) дх ж ~ (х — Мб)"р(х) дх ~ (т — Мб)~р(х) дх. ' |еэ Р— мов Учитывая теперь, что (х — Мб) > в~, если х — Мб( > е, получаем ~ (х — Мс) р(х) дх > е ~ р(х) дх.
м — мы> ~ — лмю Остается заметить, что последний интеграл представляет собой вероятность события 8 — Мб > в и, значит, 08 > еэРЦ вЂ” М6 > е), откуда и вытекает неравенство Чебышева. Аналогично неравенство Чебышева доказывается и для дискретного слу- чая, при этом нужно только заменить интеграл на сумму. сд Ясно, что применять неравенство Чебышева имеет смысл только тогда, когда в > и; в противном случае оно дает тривиальную оценку.
При мер 1. Пусть случайная величина 8 имеет плотность распределения р(х) =- е '"'/2. Тогда Мб =. О, еэ = 05 =- 2. Воспользовавшись неравенством Чебышева, оценим р, = Р( 5~ > е) для в =- 2; 5; 10 В результате получим рэ < 0,5, рь ( 0,08, р|а ( 0,02. С другой стороны, поскольку р.- = 1 — Г(е) + Г( — с) = е -', имеем рэ = —. = 01353 рэ = —, ,= 0,0067, р|о = ь = 0000045 е !39 Д Неравенство Чебышева. Закон больших чисел Таким образом, в этом примере неравенство Чебышева дает очень грубую оценку вероятности р«. П П рн и е р 2. Пусть случайная величина б принимает только два значения 1 и — 1 с одинаковыми вероятностями 1/2. Тогда Мб = О, от = Об = 1. Применяя неравенство Чебышева, получаем р! = РЯ~ > 1) < !.
С другой стороны, поскольку оба возможных значения б равны по модулю единице, то р! = 1. Этот пример показывает, что если не делать никаких дополнительных предположений относительно случайной величины б, то неравенство Чебышева дает неулучшаемую оценку р,. Е! Рассмотрим теперь последовательность д!,~ю...,с„, ... независимых одинаково распределенных случайных величин (так как случайные величины Е, одинаково распределены, то все их числовые характеристики, в частности математические ожидания и дисперсии, равны между собой).
Скажем, что эта последовательность удовлетворяет '!слабому) закону больших чисел, если для некоторого а и любо- го в > 0 Иными словами, выполнение закона больших чисел отражает предельную устойчивость средних арифметических случайных величин: при большом числе испытаний они практически перестают быть случайными и с большой степенью достоверности могут быть предсказаны. Иногда вместо выражения «последовательность д!, сз,..., Е„,... удовлетворяет закону больших чисел» говорят «среднее арифметическое случайных величин ~!,дз.....г,„, сходится по вероятности к некоторой предельной постоянной а». Теорема !закон больших чисел). Если последовательность С!, Сз,..., Сп,... независимых одинаково распределенных случайных величин тзкова, что сушествуют М(„= т и П(„=- о~, то для любого г > О Р( — ~Е, — гп > г~ — О. ~=! Доказательство является элементарным следствием неравенства Чебышева Действительно, по свойствам математического ожидания н дисперсии М( — ~ ~б,,) =- т, О( — ~ ~б,) .=.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
