1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 12
Текст из файла (страница 12)
Важно поэтому иметь количественную характеристику меры неопределенности различных распределений вероятностей, что позволяло бы их сравнивать с этой стороны. Такой удачной характерисгикой меры неопределенности оказалась энтропия, играющая существенную роль в статистической механике и во многих важных задачах кодирования и теории связи. Предположим теперь, что просзранство исходов «? =-(Ве! В! =(а„..., и„), а;=1, ..., г) и р («!) =р,' ' '...р' "", где Р;(В!) — число элементов ! в последовательности Вз, а (р„ ..., р,) — некоторое распределение вероятностей. Для В~О и и=1, 2, ... положим С(п, е)=~!В:~ '( — р!~(е, (=1, ..., ф Ясно, что Г Р(С(л Б))) 1 — '~ 1' (~ — ' Р!~-. В) !=! и для достаточно больших и в ситу закона больших чисел, при- мененного к случайным величинам вероятности Р)~ — ' — р;)-»В( достаточно малы. Тем самым при (»! (Н) больших и вероятность события С(п, е) близка к единице.
Поэтому, как и в случае ! =2, траектории, входящие ч С(п, е), будем называть типичными. Если все р, О, то для любого «! «:- (? à — — ° ф !'» («!) л Поэтому, если ы — типичная траектория, то ! г — 1пр») — тт' ( — 1 1 — р„~)пр»=- — е ~) (пр,. ч»(«!) ( ъ~ !»»(«!1 »=! .» =- ! «=! Отсюда следует, что для типичных траекторий вероятность р(В!) близка к е — «и и — поскольку в силу закона больших чисел при больших и типичные траектории «почти» исчерпывают 1? — число 5 5 схемл Бегпулли 1 злкон Больших чисел таких траекторий должно быть порядка ел". Зги соображения приводят к слсдугощсхгу предложению. Т с о р е м а (Макмнллан).
Преть рг ) О, г' = 1, ..., г и 0(е ( 1. Тогдгг сршеегггврегг! п,=-гг,(е; р,, ..., р,) тате, что для веех п и;! а) ел гн — "-.-.. Аг (С(п, е,))-.=ел !" — '!. Ь) е — лгег-'ег===р(гг)-..=-е — лгн — ", те=С(п, е ); с) Р(С(п, е,))= ~х', р(!в!7 — 7-1, л-е=о, ам С ге. ео где с, =- пни г' е, — 2 ~', !Бгге ) е=! Доказательство. Угнерждение с) следует из закона больших чис.л. Для доказзтельсгва остальных у!во!77к;гений заметим, по если ш~ С(п, е,), то лог — ггп л.. Х|. (Ег! ггрг +егп, Iг = 1, ..., г, и, значит, р (ш) =.
схр ! — ) ! л !п гг;,) <" сх!7 1 — п ), рг, !п р» — е,п ~~ !п рг,) ~ сх!7( — п Н— / е'! 27')' Аналогично )7 ((07 .. ех!7 - — и, П / Следовательно, Ь) и подашнг выгнглнспо. Далее, поскольку Р(С(п, с,)) =Аг(С(г, е,)) пип р(гл), <еее С гл, е,! то Р(С(л, е,!) ! ''гг+ е,г и аналогично е! Аг (С (п, е,)) ~ — (- „("' ' — '))— ~ Р (С (гг, е,)) е' ( 21, амСгл, е,г Г1оскольку Р(С(п, е,))- 1, л — г-оо, то найдегся пт такое, что для л )л, Р(С(п, е!)) ) 1 — е и, значит, Лг(С(л, е,)).=-(1 — е)схр(п Н ')(— = ехр )п (Н вЂ” ег -1- ("-! -1- ! п (1 — е) )~. гл. и элементхвнхя теОРия Велоятностеп Пусть и, таково, что для и- и, "— '+ 1и (1 — е) О. 2 Тсгда для и - п, = шах (п„по) У (С (и, е,)) -- е" '" — и.
Теорема доказана. 5. Закон болыиих чисел длп схемы Бернулли позволяет дать простое и изяшное доказательс во известной тсорсх.ы Вейерштрасса о прибл..женин непрерывной фуикиии полииомами. П)сть 1=-)'(Р) — вепре)ьшн.я ф;пинии на отрезке [О, 1). Вводом пьлиномы В„(Р) = з 1(" ) С',,Р д —, ),, называемые иолиноиаии Всрнштздна по имени автора приводимого доказательства теоремы Всиерипрасса.
Если .", ..., ń— последовательпосзь независимых Серпуллиевгких случайп:ых вслишш с Р(с,=-1~-— -Р, Р(с,=-О)=-Ч и Ва= = З+ ..'. + ~л, т О М~ (х,лл) = В, (Р), л <)(Р) (Р),= ~ ~((Р) (~,,))СлР'Ч" о=о ~1(,) )('~С„;; — + (и ! — „— л/ од о~ + ~~ )1'(Р) — ~(-) (~С~Р"дл '== 1':(-'.-- ! "Э ="а+2Л1 2Л! М С р"д"-».=- е — ' — — =е+ —, 4иб' 2пбм Отсгода 1ии тиах !1(Р) — В„(р)! =О, л о~о(! что и составляет утверждение теоремы Вейерштрасса. Поскольку непрерывная на отрезке (О, 11 фуикиия 1=((р) равномерно непрерывна, то для всякого е ) 0 найдется б ) 0 закис, что ~((х) — ("(р) ~ -"е, коль скоро (х — р,'==5.
Ясно также, ч~о такая функция ограничена,,'((х) ~ с- Л1 (со. Учизывая это и неравенство (5), находим б б схГмл БГРиглли. и пРГЛГЛ! пые теоРГЛ!ы 6. Задачи. 1. Пусть е и 1) — случайные величины с коэффициентом корреляции р. Показ:пь справедливость следующего двумерного знал «га неравсис«ва Чебыи«ева« Р~($ — Мв)==-е! 0$ или (Π— МГ;',==е3~08~-=-;;(1+(л1 — рб), (Ук аз ание. Воспользоваться резуль!атом зсщачи 8 из 5 4.) 2.
Г! с«ь )' =) (х) — неотоицзтельная четная функция, неубывающая при полож!пельиых х. Тогда гб!я случайной величины», с !'в(б«)!'-= С (т(! (Р) — ((г) «,. н., М!'(! — й(В )(б) = "" '""'' ' )(1) В час«ности, для )" (х) ==х' ! "- И( -' Р!"= бг' бч 8 П1сть Р1, ..., ",".,—:!осле!озз«сльлюсть пезависюых случай!- из!х величин с (д:, == С. Тогда !г)! (, .( (. ! л н (С те1и! исс !«Гово',«кани, какие были сделаны и соот«юю! Пи!о (8), из иеран !с!ва !1«) Г,бедует справедливость закона б!«Льших чисел в более об!их й Г1И(ии!и, не«кали Б Гхгб!е Бс)«иулли.) б.
П сгь б„..., с..— 11сззвис«п«ыс бсрпуллиевские ел«чайн!Ре гсл1ч1иь! с Р '-;= 1) ==)«) О, Р",-; =- — 1) = 1 — и. )Вкег мсс!о след) юсцая оиенно Бг««ниииеннп« существует а~О такое, что Р (, ,'-'-' — («!« — 1) '=:=е(.--2е й где Я„=".,+...+,»„и е>О. 5 6. Схема Бери!с!!Ли.
!1. Предельные теоремы (локальная, Муавра — Лапласа, Пуассона) 1. !(ак и в предыдущем параграфе, пусть З. = Г1+...+ 1.. Тогда ~л М =Л л и в силу (4.14; М( р) гл. г. элементАРнля теОРия ВеРОятнОстей Из формулы (1) следует, что —" р, где знак эквивалентности получил точную интерпретацию в законе больших чисел в виде 5п оценки вероятностей Р ~~ —" — р ~- е~.
Естественно думать, что аналогичным образом вьпекающему нз (2) соотношению ~5а . ~ '~) рд также можно г)рггдагь тсчг:ый вероятностный смысл, рассматривая, например, вероятности типа Р (( '— "- — р ( =-- х )/ Р-'-(, х ~ )с), или, ч и ) О же, вероятности (поскольку М5„=пр и 05„=прд).
Если обозначить, как и выше, для п-=1 Рп (й) = Срр "дп А, 0 «= й ~ и, то вероятность Р г)5п — М5 ~~х~ ~~Р ~А, ~ ~ — 'Р/ <и) т. е. при п — рсо Рп (А) )А: г А — пр г (э гп)) )А — пр)' 2п рр Уг Рв' -и О, (б) гдв гр(П) =О(ирд)2)з Поставим задачу об отыскании удобных асимптотических форлгул при и-рсо для вероятностей Р„()г) и пх сумм для тех lг, которые удовлетворяют условиям в правой части (4). Следующий результат дает ответ не только для этих значений lг (т. е. таких, что,'й — )гр)=0 )г прд)), но и для тех, которые удовлетворяют условию )й — прг=о(прд)"'. Локальная предельная теорема. Пг)сгггь О<р<1, тогда равномерно по всем lг таким, гто,)г — пр/)=о(прд)ри )А — пр)* Р ()г) г,, 2прр (5) У2рлпод ва % 6 СХГ»1» ГГ1'НУЛЛИ 11 ПРГДГЛ!гнг!Гг ТЕОРЕММ Л о к а з а т е л ь от в о существенно используе! формулу Отнр.
линга (2.6) и! = Рх2ппе-"и" (!+К(г!)), где Н(п)-».0, и-+ос. Тогда, если п-г-оо, /г — я со, и — /г-г.оо, то С,— ', ' ' )г п! ! ' 2пгг Е-пггл х! (п — /г!! ! 2л» 2п(л — /.) е гга» ° е'" "' <и — »)и-» <+/? (и) ! !+е <л, /г, л — /г) (!+/г(/г)) (!+/г (л — /г)) $ Г9 ' ( 6 / » С» <' »)л» пг п (п ( п/ тле очевидным образом опредсляемая функипя е=е(и, /г, и — /г)-». — 0 при и — »-со, /г-г-со, и — /г-г-ощ Поэтому Оосгзючис! /! =- —. Тогда л р»г!Рп» Рп(/г) =- (' — <,' — ! (! +е) .= 1' 2плр(! — /1) С р/ с! — Р/ — сх р !/г 1и -- + (п — /г) ! и — "1 < 1 + е) = ! 2ппр' С! — Р) ( р ! — р/ — ===== ехр (и ~ Ь1п --+ 1 — — 1!п — '~((1+е)= 1'2111,гг <! — и) ( ~ л р <С гг/ ! — р'1! ! ехр ( — пН(р)) (1+е), !' '2лгггр С! — р) где х ! — гг Н (х) =- л.1п — + (1 — х) 1п Р ! — и Рассматриваемые значения /г таковы, что )/г — ир,=о(прг/)гг, а зиачгп, р — р-»-0, гг-~ос.
Псгс!согтьку, для 0< х(! Н' (х) =1и — — !п: х ! — х р ! — р' х + ! — х' ! ! Н" (х)= — — „, +, ! ! 70 Гл.!. злементхРнхя теОРг!я ееРОятностсп то, представив Н(р) в виде Н(р+(р" — р)) и воспользовавшись формулой Тейлора, найдем, что для достаточно больших и Н~р) =Н(р)+Н'(р)(Р— р)+-,-Н" /р)(/1 — Р) — 0(1Р— р!')= 1 1/1 1г =- — ! — + — 1(р — Р)г+О(!р — р ")- 2(р ч/ Следователю;о, Р„(/г) =,,.
е хр ) — —" (р — Р) г + п 0 (' р — р,')~ (1+ Е). 1' 2лпр!1 — р) 1 2ра Заметитг, что и . г а //г 12 (/г — пр)г (Ф вЂ” Р) = — ( — — Р 2рр 2рд (, гг '/ 2прг/ Поэтому и — хри Р (//) — е гхрг (1 1 е (и, /г~ и й)), )' 2ггпрч где ' р(1 — ) 1--, 'е'(и, "., и — /г) =(1+а(п, //, и — /г)) е"о(' р — й ') (7 "—.( Г р'(1 — и) И наг! ЛСГКО ВПЛОТЬ зцр(е'(гг, /н и — //)',— О, п- ж, если анр брать по тем /г, для которых , и — пр,' =-- гр (и), хр (п) = о (ггр///' ~. хх Р„(пР+х Р~прд) / е )' 2плрЧ (7) т. е. г:рн п-х.со Рх (прг-х)хггре) х-' 1 е Р 2югрд (8) -г- О, зир гх:!х~ ('Р!Юг где ф1. (п) = о(пр//)!/'. С учетом замечаний, сделанных по поводу формулы (5.8), пол)ченньм результаты на вероятностном языке можно персфор- Теорема доказана.
Следствие. Утверждению локальной предельной теоремы ггг жно придать следующую эквивалентную форму: для всех х ен Нг таких, что х=о(/грг/)ь"', а пр+х)/'/гр// — целые числа из множес!са (О, 1, ..., и) 71 5 6, схГ»1А ГРРнуллн. 1! пРедел!ные теоРГмы мулнровать следуюшнм образом: Ы вЂ” лр1» Р (Лл = 72), Е "РЛ, ! й — ПР) = О (ПРд)22, (9) )' 2ллрд )2« =".. ' =х е — -'" х=о(прд)12Е, (10) 15» — лр 1 1 1 1'-рд ") (Е« последпей формуле пр+х) 22рд предполагаются принпмаюшими значения О, 1...,, п.) Л вЂ” »»Л 1 Если полсж, гп 2'„= ' ' ' и Мл = (л„— )л = —,, то послед- 1 лрл ) лрд ией формуле можно при,ш;ь такси вид: (1 1) )ллрд ! 1 2л Ясно, что Ил= —,=О, и — «-со, и множество точек !!2«) 1 1";7 пак бы лзаполпяе!«всю ч глоэшо Прямую.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
