А.Н. Ширяев - Вероятность-1 (1115330), страница 78
Текст из файла (страница 78)
(8) Поэтому ![Р— ~[! < Ео[г — г!. (9) Но для функции 1, г))г, "т" = з19п (2 — г) = — 1, 2<я, имеем [Еф — Еч' ! = Ео !а — 2!. (10) Из (9) и (1О) получаем требуемое равенство (6). Соотношения (7) следуют из (6), поскольку я+2=2 Я-п. н.). П $9. РАССТОЯНИЕ ПО ВАРИАЦИИ Следствие 1.
Пусть Р и Р— два распределения вероятносгпей на ()с, М()г)) с плотностями вероятностей (относительно меры Лебега дх) р(х) и р(х), хай. Тогда ]]Р— Р]! = ') ]р(х) — р(х)]дх. (В качестве меры 9 надо взять меру Лебега на ()1, ВУ()1)).) Следствие 2. Пусть Р и Р— две дискретные меры, Р=(р!, рз, ...), Р =(р!, рз, ...), сосредоточенные в счетном числе точек х!, хз, ... Тогда (12) ЫР др дО д9 Определение 3.
Расстоянием Какутани-Хеллингера между мерами Р и Р называется неотрицательная величина р(Р, Р) такая, что ~(Р, Р)=-ЕО! 5- ъ6]т. (13) Поскольку (14) то становится понятной символическая запись величины рз(Р, Р) в виде рз (Р, Р) = — ~ ! ЙР - Л Р ]'. 2„ (15) (В качестве меры !е надо взять считающую меру, т. е. такую, что 1'„)((х!)) = 1, ! = 1, 2, ... ) 2. Обратимся теперь к еше одной мере близости вероятностными мерами, во многом (как это будет следовать из дальнейшего) родственной близости мер по вариации.
Пусть Р и Р— вероятностные меры на (й,,рг) и Π— третья вероятностная мера, доминирующая меры Р и Р, т. е. такая, что Р а !',), Р~а ГЕ. Снова обозначим ГЛ. и!. СХОДНМОСТЬ ВЕРОЯТНОСТНЫХ МЕР Если положить Н(Р, Р) = ЕОъlгг, (16) то по аналогии с (!5) можно символически записать Н(Р,Р)=~ ЯЕИ. Из (13), (16), а также из (! 5), (! 7) понятно, что рз(Р, Р)=! — Н(Р, Р). (18) Величина Н(Р, Р) называется интегралом Хеллингера порядка 1/2. Для многих целей удобным оказывается рассмотрение интегралов Хеллингера Н(а; Р, Р) порядка а Е (О, 1), определяемых формулой Н(а; Р, Р) = Еог«г ~ -« (17) или, символически, Н(а; Р, Р) = ~ (йР) (дР)1 (20) Ео(г г~ )=Ей (г') (г')~ йр, йр где г' = —, 2' = — .
Обозначим о = —. Тогда г'=го, 2'=го и й9 Д3' ЕО(г г~ )=ЕО(ог г~ )=ЕО(г') (2') что и доказывает первое утверждение. 2. если р(Р, Р) = О, то г = 2 (!',1-п. н.), откуда Р = Р. симметричность р(Р, Р) =р(Р, Р) очевидна. Наконен„пусть Р, Р', Р" — три меры, Р« 1Е, Ясно, что Н ! -; Р, Р) = Н(Р, Р). ~2' Чтобы определение 3 было корректным, надо показать, что величина р~(Р, Р) не зависит от выбора доминирующей меры и что действительно р(Р, Р) удовлетворяет требованиям, предъявляемым к «расстоянию». Лемма 3. !. Интеграл Хеллингера порядка аЕ(0, 1) (а следовательно, и р(Р, Р)) не зависит от выбора доминирующей меры 9. 2.
Функция р, определенная в (13), является метрикой на множестве вероятностныг мер. Доказательство. 1. Если мера 9' доминирует Р и Р, то !',!' домини- Р+Р руст и меру 9= . Поэтому достаточно доказать, что если 9«9', 2 то $9. РАССТОЯНИЕ ПО ВАРИА11ИИ дР, дР' и др" Р'«гг и Р" «1Е се= —, х'= —, хп= —. Используя справедливость дО' гиг' дО ' неравенства треугольника для нормы в 1.9(Й, л, 1Е), получаем [Ед(т/г — 1/апп) ]'~ ( [ЕЛЯХ вЂ” 1/2') ]чз+ [Ед(т/2' — 1/ап) ]'~, т. е.
р(Р, Р")< р(Р, Р)+р(Р', Рп). Из определения (19) и теоремы Фубини 5 6 гл. П) непосредственно вытекает, что в том случае, когда меры Р и Р являются прямыми произведениями мер, Р=Р~ х ... х Р„, Р=Р~ х ... х Р„(см. п. 10 $6 гл. П), интеграл Хеллингера между мерами Р и Р равен произведению соответствующих интегралов Хеллингера: и И(о; Р, Р) =Д И(о; Рп Р,), 1=1 Следующая теорема раскрывает связь между расстоянием по вариации и расстоянием Какугани — Хеллингера (или, эквивалентно, интегралом Хеллингера). В частности, она показывает, что эти расстояния определяют одну и ту же топологию в пространстве вероятностных мер на (й, .и ). Теорема 1. Имеют место следующие неравенства: яв — нр,Рц(н-Рц((чз-и!Р,Ря, вч ЦР— Р$$ (2~~ — Н~Р. Р~.
(22) В частности, 2рз(Р, Р) < []Р— Р[] < (Яр(Р, Р). (23) Доказательство. Поскольку И(Р, Р) < 1 и 1 — хз < 2(1 — х) для 0< <х < 1, то правое неравенство в (21) вытекает из (22), доказательство 1 которого дается следующей цепочкой неравенств (с !',) = — (Р+ Р)): 2 1 —,Р-П~=ц~-*~(ЛЕТ:*Г=,/Г-кМ~= =(т — те ( ее =ц~~ — е(/(т() ((й-(е( та) = '7 — РГР,А. Наконец, первое неравенство в (21) следует из того, что в силу неравенства -[ьlг — т/2 — х] ~(]х — 1], еЕ[0,2], 466 ГЛ. Ш.
СХОДНМОСТЬ ВЕРОЯТНОСТНЫХ МЕР имеем (Я = -(Р + Р)) ! 2 Н(р р)=рз(р, р)=-Ео(Й вЂ” ~2 — г] <Ео]г — 1]= ]]р р]]. 2 2 Замечание. Сходным образом показывается, что для всякого о Е (О, 1) 2г — Н~ ',Р.РЦ())Р— и((( (г — О(~;Р,Р)), е() где с — некоторая константа. Следствие 3. Пусть Р и Р", и>1, — вероятностные меры на ((),.эг). Тогда (л-+ос) ]]Р— Р]] — +0 гь Н(Р, Р) — + 1 4Ф р(Р~, Р) -+0 ]]Р" — Р]]-+2 гь Н(Р", Р)-( О гь р(Р", Р)-(1. Следствие 4.
Поскольку в силу (5) Вг(Р, Р) =! — -]]Р -Р]], 2 то из (21) и (22) имеем В частности, пусть Р"=Рх...хр, Р"=Рх...хР П л — прямые произведения мер. Тогда, поскольку Н(Р", Р") =(Н(Р, Р)]" =е "", Л= — !п Н(Р, Р) > р~(Р, Р), то из (25) получаем 1 ,-2хп ( д.(рл рк) С -А( ~ -ьр'1РР1 (26) Применительно к рассмотренной выше задаче различения двух ста тистических гипотез из этих неравенств вытекает следующий резуль тат. Пусть Еь сз, ...
— независимые одинаково распределенные случайны элементы, имеющие распределение вероятностей или Р (гипотеза Н), или Р (гипотеза Й), причем Р 4 Р и, значит, рт (Р, Р) > О. Тогда при л — оо фун каня в"г(Р", Р"), характеризующая качество оптимального различения ги потев Н и Й по наблюдениям Еь ..., С„, убывает к нулю экспоненциально быстро.
$9. РАССТОЯНИЕ ПО ВАРИАЦИИ 467 3. С помощью введенных выше интегралов Хеллиигера порядка сг удобно выражать условия абсолютной непрерывности и сингулярно- спти вероятностных мер. Пусть Р и Р†д вероятностные меры, заданные на измеримом про- странстве ((),лг). Напомним, что мера Р абсолютно непрерывна от- носительно меры Р (обозначение: Р « Р), если Р(А) =0 всякий раз, ко- гда Р(А) =0 для Аале. Если ЫРи Р«Р, то говорят, что меры Р и Р эквивалентны (Р Р). Меры Р и Р называются сингулярными или ортогональными (Р.! Р), если существует А Елг такое, что Р(А) =1 и Р(А) = 1 (т. е. меры Р и Р «сидят» на разных множествах).
йр йР Пусть 0 — вероятностная мера, Р «Я, Р « О, е = —, 2 = —. %' йО' Теорема 2. Следующие условия являются эквивалентными: (а) Р«Р, (Ь) Р(г >0)=1, (с) Н(о; Р, Р)- 1, а40. Теорема 3. Следующие условия являются экеивалентныии: (а) Р) Р, (Ь) Р(е>0)=0, (с) Н(о; Р, Р)- О, о10, (й) Н(а; Р, Р) = 0 для всех о е (О, 1)„ (е) Н(а; Р, Р)=0 для некоторого ое(0, 1). Доказательство обеих теорем будем проводить одновременно. Со- гласно определению е и г, (27) Р(г=О) =Ео[г/(в=О)[ =О, Р(А П (е > 0)) = Ео [И(А П (г > 0)) [ = = Е, [2 — У(А О (е > 0))] = Е [- У(А Г! (г > О))] = Е [-!(А)] .
(28) Следовательно, имеет место «разложение Лебега»: Р(А) = Е [- У(А)] + Р(А й(г =0)), А Е.Р', (29) в котором величина с = — называется производной Лебега («абсолюте г но непрерывной компоненты») меры Р по (отношению к) мере Р йр и обозначается †„ (ср. с замечанием к теореме Радона †Никоди, $6 гл. П), Отсюда сразу получаем эквивалентность (а) и (Ь) в обеих теоремах.
ГЛ. 1Н. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР Далее, поскольку г г' — гг'(г > 0), а» О, и для а Е (О, 1) 0<г г' <аг+(1 — а)г<г+2 с ЕО(г+ 2) = 2, то по теореме Лебега о мажорируемой сходимости !пп Н(а; Р, Р)=ЕОИ(г>0)=Р(г>0) я10 ~~-аг р»(х) = — е 2 ~(2~г 1лг»»1~ р»(х)= — е =2 зг'2я Поскольку, как показывает простой подсчет, (,, ) П (, м») »=! где Н(а; Р„10»)= ) р»(х)р' (х)г(х=е то --(-~ — 1 $1~,-»*1 гг(1-а) г Н(а; Р, Р)=е Из теорем 2 и 3 получаем, что ЫРс=> Р«Р е» Р-Р е» 'С (໠— а»)'<оо, »=! Р ! Р,м ~; (и» й»)2 оо и, значит, (Ь) е» (с) в обеих теоремах.
Наконец„покажем, что во второй теореме (с) е» (г)) е» (е). Для этого надо лишь заметить, что Н(а; Р, Р) = Е ! =1 l(г > О) и Р(2 > О) = 1. Зна~г1 чит, для каждого а Е (О, 1) Р(г > 0)= 0 е» Н(а; Р, Р) = О, откуда и следуют импликации (с) е» (д) е» (е). П Пример 1. Пусть Р = Р, х Р2 х ..., Р =Рг х Р2 х ..., где Р» и л— гауссовские меры на (!т, Яф)) с плотностями 49. РАсстОяние пО ЕАрилции 469 Пример 2. Снова пусть Р =Р~ х Рз х ..., Р =Р~ х Рз х ..., где Р» и Р» — распределения Пуассона с параметрами Л» > 0 и Л» > 0 соответственно.
Тогда нетрудно показать, что ЫРеь Р«Р е» Р Р е» ~ ~(~/л» вЂ” х/л~)з<оо, »ьп Р~.Р»о ~ ~(хД~ — Л~)з=оо. »»н (30) 4. Задачи. 1. В обозначениях леммы 2 положим Р А Р = ЕО(х Л 2), где хлг =пип(х, г). Показать, что )!Р— Р!! =2(1 — РА Р) (и, следовательно, е г(Р, Р) = Р А Р). 2. Пусть Р, Р„, и > 1, — вероятностные меры на ()7, М(к)) с плотностями (относительно лебеговской меры) р(х), р„(х), и > 1. Пусть р„(х) — р(х) для почти всех х по мере Лебега. Показать, что тогда !!Р-Р,!)= $ )р(х) — р„(х)!Ых- О, и-+со Е!п =, если Р«Р, ар ар' со в противном случае.
Показать, что К(р, Р) > — 2 !п(1 — рз(Р, Р)) > 2рз(Р, Р). 4. Доказать формулы (11), (12). 5. Доказать неравенства (24). 6. Пусть Р, Р, !',! — вероятностные меры на ()7„Я()г)), Р * !) и Р* !,!— их свертка (см. п. 4 $8 гл.
11). Тогда !!Р* 4Р— Р * О!! < !)Р— Р!! 7. Доказать (30). (ср. с задачей 17 в 9 б гл. П). 3. Пусть Р и Р— две вероятностные меры. Определим информацию Кульбака К(Р, Р) — информацию в пользу Р против Р— равенством ГЛ. ПЬ СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР 470 8. Пусть С и 47 — случайные элементы на (й, лг, Р) со значениями в измеримом пространстве (Е, и-). Показать, что (Р(( Е А) — Р(г7 Е АИ < Р(~ Ф г7), А Е 8. 2 1О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
