А.Н. Ширяев - Вероятность-1 (1115330), страница 13
Текст из файла (страница 13)
ГЛ. !. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ 74 Функция /(х)= — х !и к, 0<х< 1, выпукла кверху, и, как хорошо известно из свойств выпуклых функций, /(к!) +... + /(х,) /к! +... + к, ) г г Следовательно, Н= — ~ р !и р <-г "' !и! "' )=!и г Р!+" +Р«ГР!+" +Рг'! г г 1=! Иначе говоря, энтропия достигает своего максимального значения при р! =... = р, = 1/г (см. рис. 8 для функции Н = Н(р) в случае г = 2). Если рассматривать распределение вероятностей (рн рт, ..., Р,) как вероятности появления некоторых событий, скажем, А!, Аз, ..., А„то совершенно понятно, что «степень неопределенности» в свершении того илн иного события различна для различных распределений.
Если, например, р! = 1, Рз =... = р, =О, то ясно, что такое распределение не обладает никакой неопределенностью: с полной уверенностью можно сказать, что в результате опыта произойдет событие А !. Однако если р! = ... = р, = = 1/г, то такое распределение обладает максимальной неопределенностью в том смысле, что О !/2 ! невозможно отдать предпочтение в свершении тому или иному событию. Важно поэтому было бы иметь количественную характеристику меры неопределенности различных распределений вероятностей, что позволяло бы их сравнивать с этой стороны. Такой удачной характеристикой меры неопределенности как раз и оказалась энтропия Н, играющая существенную роль в статистической механике, теории кодирования и теории связи, что видно из следующих рассмотрений.
Предположим, что пространство исходов Й = (ин ы = (а !, ..., а„), а; = 1, ..., г) и р(!и) = р",' !... р,"'! 1, где И(ш) — число элементов ! в последовательности ь7, а (р!, ..., Р,) — некоторое распределение вероятностей. Для е>О и и=1, 2, ... положим Рис. В.
График функ- ции Н(р)= — Р !и р— — (1 — Р) !и(! — Р) С(п, е)=(«7: ~ — Ю вЂ” р!! <е, ! =1, „,, г). Ясно, что « Р(С(п, е)) > 1 — 'У Р( ~ — ' — р; ~ > е), !=1 45. СХЕМА БЕРНУЛЛИ.!. ЗАКОН БОЛЬШИХ ЧИСЕЛ 75 н для достаточно больших л в силу закона больших чисел, примененного к случайным величинам с»( )=~ ' (1, а»=), 10, а»фг, вероятности Р~~ — — рг~ >е) достаточно малы. Тем самым прн боль! м(м) шнх л вероятность события С(л, е) близка к единице.
Поэтому, как н в случае г = 2, траектория, входящие в С(п, е), будем называть типичными. Если все р; >О, то для любого РЕП веса Поэтому, если и! — типичная траектория, то в силу (!4) Г ( — » !и р» — Н < — ~ ~ — — р»~!и р»< — г ~ 1п р». »=! »=! »=! Отсюда следует, что для типичных траекторий вероятность р(ы) близ- ка к е "" н — поскольку в силу закона больших чисел при больших л типичные траектории «почтя» исчерпывают Й вЂ” число таких траекторий должно быть порядка е"". Этн соображения приводят к следующему пред- ложению. Теорема (Макмиллан).
Пусть р; >О, ! = 1, ..., г, и О<в < 1. Тогда существует ло = ле(г; рь ..., р,) такое, что для всех и > ло. а) е«!и-«) < А)(С( )) < «!и+«) Ь) е "'"+'< р(ш) <е "'" ' иге С(п, г!), с) Р(С(л, г!))= ~, 'р(ьг)- 1, и- оо, мес!и,«~) где г)=лип г,г — 2~ !п р» Доказалтельство. Утверждение с) следует из закона больших чисел.
Для доказательства остальных утверждений заметим, что если ш е С(п, г)), то пр» — г)п<и»(и!)<пр»+г)п, Й=1, ..., г, ГЛ. ). ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ и, значит, р(ш)=ехр(- ~ м» !п р») <ехр( — и ) р» !и р» — е)п ~~~ !и р»~ < < ехр( — п(Н вЂ” -) ). Аналогично р( ) > ехр(- (Н + -) ). Следовательно, Ь) и подавно выполнено. Далее, поскольку Р(С(п, е))))~Н(С(п, е))) ° ш1п р(ш), нес(лл~) то Р(С(, ))) 1 „(и+д ш)п р(ы) „(и+ й') ~ ~ЕС(галл~) е и аналогично 5.
Закон больших чисел для схемы Бернулли позволяет дать простое и изящное доказательство известной теоремы Вейерштрасса о равномерном приближении непрерывной функции полиномами. Пусть ( = /(р) — непрерывная функция на отрезке (О, 1). Введем по- линомы в„(р) = ~ 1(~~) с» р»(! — р)"-', 0 < р < 1, п > О, (15) называемые полиномами Бернштейна по имени автора (С. Н. Берн- штейна) приводимого доказательства теоремы Вейерштрасса.
Н(С(п, е)))> ( ' ' >Р(С(п, е)))е"( й). гпах р(ш) мЕСЫеу) Поскольку Р(С(п, е)))- 1, п- оо, то найдется п) такое, что для п>п) Р(С(п, е))) > 1 — е и, значит, Н(С(п, е))) > (1 — е) ехр(п(Н вЂ” -) ~ =ехр(п(Н -е) + ( — +)и(1 — е)) ~. Пусть пз таково, что для п > пз — +)и(1 — е) >О. 2 Тогда ллЯ п > по = гпах(п ), пз) Н(С( )) >ежн-е) П 45.
СХЕМА БЕРНУЛЛИ. Е ЗАКОН БОЛЬШИХ ЧИСЕЛ 77 Если (и ..., ф— последовательность независимых бернуллиевских случайных величин с РК;= Ц= р, Р(С; =О) =а и 5„=~6+" +С„, то Е )(5„/п) = В„(р). Поскольку непрерывная иа отрезке [О, 1] функция ) = 7(р) равномерно непрерывна, то лля всякого е>0 найдется б >О такое, что ]7(х) — 7(у)[<е, коль скоро ]х — у] < б. Ясно также, что такая функция ограничена, ]7(х)[< < М < оо. Учитывая это и неравенство (5), находим л ]1(р) — В„(р)]= ~ [7(р) — ]Н~]С~~реу" ~ < $7'Р) ( )/ .Р У ('[!- !"1 + ~ ~' !((р) - ~Я~с„'р'д"-'< (гк[-„-р!)г) <е+2М " С„р д" <е+ — =е+ —.
2М М 4пбз 2ибз' (ы! ~~-р[>6) Отсюда следует, что для полиномов Бернштейна (П) Вгп гпах ]7(р) — В„(р)] =О, » акр<а что и составляет утверждение теоремы Вейерштрасса. 6. Задачи. !. Пусть С и г) — случайные величины с коэффициентом корреляции р. Показать справедливость следуюшего двумерного аналога неравенства Чебышева: Р(]б — Е([ >ет/О( или [и — ЕП] >ет/ОЧ) < — з((+ 1/à — Рз). е (Указание.
Воспользоваться результатом задачи 8 из $4.) 2. Пусть 7'= 7(х) — неотрицательная четная функция, неубываюшая при положительных х. Тогда для случайной величины с = ~(ю) с ]С(ю)] < С (К] ~)е))~ 7 ) В частности, для 7(х) =хо Ебе — ез Об 2 ~ (Р([с — Ес] ~) е) ~ (-е-. 46. СХЕМА БЕРНУЛЛИ. !!. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ 79 также можно придать точный вероятностный смысл, рассматривая, напри- мер, вероятности типа '(~'-'- ~- Р) " ' нли, что то же, вероятности РД " "~<х) (поскольку Е5 = и р и 05„= л рд).
Если обозначить, как и выше, для п > 1 Р„(я) = Сь рад" ь, О < й < п, то вероятность Р(~ " "~<х)= ~ Р„(й), (ь: )-'„;„"й ~кх) (4) (ьв! лег)) Р„(й) - е т/2ял рд лье. при л-+со Рь('ь) -+О, (б) зпр !ь: !а-л р ! ку(и)! ~~-лр~~ е еч т/2ял рд где у(л) — любая неотрицательная функция такая, что !ь(л)= о(л рд)з/з ~7оказательство существенно использует формулу Стирлинга (6) $2 л! =У'2зле "и"(1+)с(л)), где )т(л)- О, л-+со, Поставим задачу об отыскании удобных аснмптотических формул при л- со для вероятностей Р„(й) н нх сумм для тех й, которые удовлетворяют условиям в правой части (4).
Следующий результат дает ответ не только для этих значений й (т. е. таких, что !й — и р(= 0(~/л рд)), но н для тех, которые удовлетворяют условию 1й — и р1= о(ярд)э~~. Локальная предельная теорема. Пусть 0 < р <1, тогда равномерно ло всем й таким, что !й — пр(=о(арды, ГЛ. 1. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ 80 Согласно этой формуле, если л- оо, й- оо, л — й — ~ со, то л1 ~/2лле плл н( — ю! 2гт( — ~) и- -в-Ч вЂ” Й)'— ! +)Т(л) 1 1 + х(л, а, л — х) (1+Та))(1+Ц вЂ” х)) Ь х ат ГА~ХГ а)"- где очевидным образом определяемая функция з=з(л, К л — й)- 0 при л-~со, л- оо, л — л- оо. Поэтому )л-х 2лл-(1 — ) (л) (! л) Обозначим р = †.
Тогда х л' где х 1-к Н(х) =х )и — +(1 — х) !п —. Р 1 — р' Рассматриваемые значения й таковы, что )й — ар(=о(при)зуз, а значит, р —,0- О, л-+со. Поскольку для О<к < 1 к 1 — к Н'(х) = !и — — !п —, 1 — Р' Н (х)= — + —, 1 1 к 1 — х' Н~л() 1+ кз (1 — х)з $6. СХЕМА БЕРНУЛЛИ.!!.
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ в! О(й) =й(р)+11'(р)(р — р)+-йв(р)(й — р)'+0(ф — р!') = = — (-+ -)(р — )'+ О(Ю вЂ” р('). 1/1 1 2~р д Следовательно, Р~м= .. Р( — ю — р) ~- ь~э — р~ ф~... ~. Заметим, что а . г л /й ~г (й — ар)г 2рд 2рд ~п '! 2ард Поэтому Рь(й)= е т (1+с'(л, й, п-й)), т/2кл рд где 1+в (л, К л — й) = (1+ (п, й, а — й))е" й а11 'т' р(' — р) и, как легко видеть, анр !е'(а,й,п — й)(- О, л- оо, если ацр брать по тем й, для которых !й — ар) <~р(а), р(л) =о(пру)ч~. Следствие. Утверждению локальной предельной теоремы можно придать следующую эквивалентную форму: для всех х Ек! таких, что х = о(л ру) ча, а а р + х /пру — целые числа из множества (0,1,...,п), 1 Рь(пр+хтДрд) е "~~, /2ка рд (7) т,е.
при л- оо Р,(ар + х,/арв) 1 г-хг/г т/2ккард (8) аОР 1ь: Щ <Е(ьп где Ф(а) = о(л рд) !7а. то, представив 1!(Р) в виде О(р+(р — р)) и воспользовавшись формулой Тейлора, найдем, что лля достаточно больших л ГЛ.!. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ С учетом замечаний, сделанных по поводу формулы (8) $5, полученные результаты на вероятностном языке можно переформулировать следующим образом: Р(5, = й) е '"и, 1й — пр~ = о(пр»))2/з, (й) т/2«л рд (В последней формуле величины ар+ к,/лр») предполагаются принимающими значения О, 1, ..., п.) Ф вЂ” ПР ! Если положить (» = н Ы» = г»+» — (» =, то последней фор/~рд ,/Прд ' муле можно придать такой внд: р( аа ПР ! '1 !» -»»~/2» ( РЧ) ЦБ (11) Ясно, что ь»г»аа - О, и- оо, н множество точек (!») как бы 1 ,/про «заполняет» всю числовую прямую, Естественно поэтому думать, что (11) можно использовать для получения «интегральной» формулы ь ( < 5 а П Р < ( / ! З Е а» / »/пРЧ»/2к а Перейдем к точным формулировкам.
2. Пусть для — со < а < Ь < оо Р„(а, Ь) = ~~» Р„(пр+х,/пру), а<а<» Р„(ар+!»~/пр»Т) = — » е '/2(! +е(йн п)), »/2~г (! 2) где зпР !е(ь», и)( — »О, п-»со. !»»!<г где суммирование распространяется по тем х, для которых ар+ х /лрд— целые числа. Из локальной теоремы следует (см. также (! 1)), что для всех йь определенных нз равенства й= ар+ !» /прд н удовлетворяющих условию (Я < < <Т <со, 46. СХЕМА БЕРНУЛЛИ. и. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ аз Следовательно, для фиксированных а и Ь таких, что — Т<а <Ь < Т, где Т <оо, Ра(пр+Гь,/арц) = ~~), — ье г)7з+ " е((ы и) — "е гк~з= а<(,<ь а<(к<Ь а<(,<ь ь — — ~Зе ')з((х+(г(О(а, Ь)+)г(~)(а, Ь), (!4) )/2лл где ь Лл л~72лл )г„("(а, Ь) = а<Г)<Ь г1З1(л, Ь)аа ~ а<(,<ь е(1ы п) — е к«ГЬ гк з )('2 ля Из известных свойств интегральных сумм зир 11<П1(а, Ь))- О, п- со.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
