Прокис Дж. Цифровая связь (2000) (1151856), страница 13
Текст из файла (страница 13)
В некоторых приложениях мы интересуемся лишь площадью, ограниченной одним хвостом: либо в интервале (б,сс), либо в интервале (-сз,-б). В таком случае мы можем получить весьма плотную верхнюю границу путем огибания функции дЩ посредством экспоненты с параметром, который может оптимизировать верхнюю границу так плотно, насколько это возможно. Конкретно мы рассмотрим вероятность хвоста в интервале (б,сс) Введем огибающую для ф7~ из соотношения д(У) < е" (г 1.
167) с где фУ) теперь определена как г /1 (У>а), '(О (У < б), (2.1. 168) а р > Π— параметр, который следует оптимизировать. Графики для дЯ и экспоненциальной верхней границы даны на рис. 2.1.12. Математическое ожидание уЯ равно Е[~(у)~ = Р(у > б) < Е[е'" "~. (2. 1. 169) Эта граница справедлива для любых т >О. Наиболее плотную верхнюю границу можно получить путем выбора значений,„ которые минимизируют Е[ен" ~1]. Необходимое условие минимизации — Е[е"'" а1) = О. гЬ (2.1.170) с Для многих практических приложений эта чебышевская граница чрезмерно груба.
Это можно объяснить неточностью квадратичной функции как верхней границы ф5~, Имеется много других функций, которые можно использовать в качестве верхней границы уЯ. В частности, граница Чернова часто оказывается более плотной. Рис. 2.1.12. Экспоиенциальная верхняя граница для яЩ, используемая для получения вероятности хвоста (граница Чернова) Но можно изменить порядок дифференцирования и вычисление математического ожидания так, что фх -х~ ф (-х1 ф д х.х~ = е "(Е(1'е") — бЕ(е'")1 = О. РОх<б) <е-х Е~еи ] где ь — решение (2.1.171) и б < О. Пример 2.1.6. Рассмотрим ФПВ Лапласа Р(у) — г е (2.1.174) которая проиллюстрирована на рис. 2.1.13. Вычислим вероятность правого хвоста исходя из границы Чернова и сравним его с действительной вероятностью хвоста„которая равна Р(У > б) = ~ з е ' о) = г е '.
(2. 1. 175) Заметим, что Е(е' ) для действительных 1 не является характеристической функцией У. Ее называют миеитной производяшей функцией Г 53 Следовательно, величина ц, которая обеспечивает плотную верхнюю границу определяется решением уравнения Е()'е"") — бЕ(е "г) = О. (2. 1. 171) Пусть ( является решением (2.1.171). Тогда из (2.1.169) следует, что верхняя граница для вероятности одного хвоста определяется так: Р(К>б) <е "аЕ(е'). (2.1. 172) Это — граница Чернова для вероятности верхнего хвоста дискретной или непрерывной случайной величины с нулевым средним'. Эту границу можно использовать, чтобы -х2)2 : показать, что Я(х) < е, где фх) — площадь, определяющая вероятность хвоста гауссовской ФПВ (см.
задачу 2.18). Верхнюю границу для вероятности нижнего хвоста можно получить аналогичным путем: (2.1.173) Рис. 2.1.13. График ФПВ длв олучайной величины, распределенной па Лапласу -1+ 6+Р У= г' б Так как ч должно быть положительной величиной, один из двух корней исключается.
Таким образом, — 1+ Я+ ба ч= б (2.1.178) с1 границу в (2.1.172), ограничиваясь Е1 е"'~, зй подставляя для О решение (2.1.178). Результа1 В1 Д1 В заключение вычислим верхнюю используя второе решение в (2.1.176) и равен Р(г>б) = е' "" . г -1+,6+Ь' (2.1.179) Для б»1 из (2.1.179) следует 7(1 >б) <-,'е-'. (2. 1. 180) Заметим, что граница Чернова уменьшается экспоненциально с ростом 6 вй Следовательно, она тесно аппроксимирует действительную вероятность хвоста определяемую (2.1.175).
Напротив, чебышевская верхняя граница для вероятностйсГ верхнего хвоста, полученная как половина вероятности двух хвостов (вследстви1м~ симметрии ФПВ), равна а 1 Г(У > б) Следовательно, эта граница очень неточная. Если случайная величина имеет ненулевое среднее, граница Чернова может быт1 обобщена, как мы сейчас покажем. Чтобы найти м из решения (2.1.171), мы должны определить моментыЕ(Уе"~) и Е(е"') . Для ФПВ (2,1.174) находим г, вйч""1 = — аУ— (н+ 1) (ч — 1) х Подставив эти моменты в (2.1.171), получим квадратное уравнение ~'б+г -б=а, которое имеет решение Если У= Х-п~„, имеем Р0'>б) — Р(Х т >б) — Р(Х>т +б)= Р(Х>б ) где б„, =и„+б, Так как 4 > О, то б„, > и„.
Пусть функция д(Х) определяется как /1 (х>б„,), (О (х<б„,), (2.1.181) а верхняя граница — как (х) (2. 1. 182) Далее исследование идентично шагам, отраженным в (2.1.169) — (2.1.172). Окончательный результат таков: Р(Х > б„,) < е ' "'ф "х1, (2. 1. 183) где б„, > и,. и ч является решением уравнения Е(хе~)- б Е(е~) = О . (2.1 184) Аналогичным путем можно найти границы Чебышева для вероятности нижнего хвоста.
Для б < О имеем Р(Х вЂ” т,. <б)=Р(Х <т. +б)=Р(Х <б„,)<Е(е" "~) (2 1 185) Из нашего предыдущего исследования очевидно, что (2.1.185) приводит к границе Р(Х < б ) < е ""Е(е "~1, (2.1.18б) где б < и, и ч является решением (2.1.184). Дисперсия 1' равна 2.1.6. Суммы случайных величин и центральная предельная теорема Выше мы рассмотрели вопрос о нахождении ФПВ для суммы статистически независимых случайных величин. В этом разделе мы снова рассмотрим сумму статистически независимых случайных величин, но наш подход будет иным и не ,зависит от частных ФПВ случайных величин в сумме В частности, предположим, что слагаемые суммы — статистически независимые и одинаково распределенные случайные величины, каждая из которых имеет ограниченные средние значения и ограниченную дисперсию.
Пусть У определяется как нормированная сумма, называемая выборочным средним Л т'= — ,'ГХ, (2 1.187) и кч Сначала определим верхние границы вероятности хвостов 1; а затем докажем очень важную теорему, определяющую ФПВ У в пределе, когда и стремится к бесконечности. Случайная величина К определенная (2.1.187), часто встречается при оценивании среднего случайной величины Х по ряду наблюдений Х, 1=1, 2,, п. Другими словами, Х могут рассматриваться как независимые выборочные реализации из распределения Рх(х), а у является оценкой среднего тг.
Математическое ожидание 1' равно Е(у)=т, = 12 Е(Х,)=т и,, (2.1.189) (2. 1. 192) Обозначим решение (2.1.192) через ч. Тогда граница для вероятности верхнего хвост» аг = Е(1")-т' = ЕЯ вЂ” и'. = — "г ,"! Е(Х.Х ) — и'. = —,~~»„Е(Хг)+ иг..., ' и + — ,'г ,'>„Е(ХХ )-иг = — (пг+тг)+ — п(п-1)и'-и и !т» Если Урассматривать как оценку среднего и, видим, что его математическое ожидани» равно ш, а его дисперсия уменьшается с ростом объема выборки Х Если Х неограниченнг в возрастает, дисперсия стремится к нулю.
Оценка параметра (в данном случае ш)„котора» удовлетворяет условиям. что ее математическое ожидание стремится к истинном! значению параметра. а дисперсия строго к нулю, называется состоятельной оценкой Хвостовую вероятность случайной величины У можно оценить сверху, использу» границы, данные в разд.
2.1.5. Неравенство Чебышева применительно к 1'имеет вид б о, ,М Рф — пг,(> б)< —,', (2.1 188) (1" а,. В пределе, когда и — ма, из (2.1.188) следует ( ! л 1ип Р~ — ~~> Х,. — т„. > б1 = 0 . и-~ю и / Следовательно, вероятность того, что оценка среднего отличается от истинноп значения и,. больше, чем на б (б>0), стремится к нулю, если и неограниченно растет. Этс положение является формой закона больших чисел.
Так как верхняя граница сходится ~ нчлю относительно медленно, т.е. обратно пропорционально Х. выражение (2.1.183', называют слабым законом больитх чисел. Если к случайной величине У применить границу Чернова, содержашуя зкспоненциальную зависимость от п, тогда получим плотную верхнюю границу дл~ вероятности одного хвоста. Следуя процедуре, изложенной в разд, 2.1.5, найдем, чт< вероятность хвоста для )'определяется выражением (! л Р(У вЂ” и„~ б) = Р~ — ~~~'Х, -иг,. > б1= п,, " / (2.1.190) п! о! где б =т„1-б и б>0. Но Х, »=1, 2, ..., п статистически независимы и одинаков~„ распределены.
Следовательно, л! р~ (~х,-~.,]])=.- .к~.,р~,~хЯ= Ю -нпБ ПЕ( их,) ~ -чь„Е( 1х))" с1 ыг где Х вЂ” одна из величин Х. Параметр ч, который дает наиболее точную верхнюю границ получается дифференцированием (2.1.191) и приравниванием производной нулю. Эт~ ведет к уравнению Е(Хе"х)-б„,Е(е"х)= 0 (2.1,193) Аналогично мы найдем, что вероятность нижнего хвоста имеет границу Р(у<Ь )<11е ''"Е(е" )1, б„, <т„. (2. 1.
194) Пример 2.1.7. Пусть Х; 1=1,2, ..., п — ряд статистически независимых случайных величин, определенных так: Х ,= 1 с вероятностью р < -' 2 -1 с вероятностью 1-р. Мы хотим определить плотную верхнюю границу вероятности того, что сумма от Х больше, чем нуль. Так как р<1(2, то сумма будет иметь отрицательное значение для математического ожидания (среднего), следовательно, будем искать вероятность верхнего хвоста.
При о!!! = О в (2.1.193) имеем Р ~х,г О) ('!е(( ""')1 !=! ! где ( — решение уравнения Е(Хе )= О. Теперь (2.1. 195) (2.1. 196) Е(Хе'~)= — (1-р)е "+ре' =О. Следовательно, О=1п (2. 1. 197) Далее 57 Е(е' )= ре" +(1 — р)е ' Следовательно, для границы в (2.1.195) получаем / Р<~ Х >03<(ре'+(1 — р)е '~ =<р ! — -г-(1 — р) 1 — / <(4р(1 — р)~ . (2.1198) Мы видим, что верхняя граница уменьшается экспоненциально с и, как ожидалось.
В ~лротивоположность этому согласно границе Чебышева вероятность хвоста уменьшается 'рбратно пропорционально п. Центральная предельная теорема. В этом разделе рассмотрим чрезвычайно полезную теорему, касающуюся ИФР суммы случайных величин в пределе, когда число лагаемых суммы неограниченно возрастает. Имеется несколько версий этой теоремы. окажем теорему для случая, когда случайные суммируемые величины Х, !=1, 2, ..., п, ~татистически независимы и одинаково распределены, каждая из них имеет ограниченное 'среднее и!, и ограниченную дисперсию гт„.
2 Для удобства определим нормированную случайную величину Х, -т„ У, = ' '", 1=1, 2, ..., и. о! Таким образом, У, имеет нулевое среднее и единичную дисперсию. Теперь пусть уо~~г У, =и',®=['~ — '"„)1, в! (2. 1. 200) !'и 'рг у,(уо) = Е(е'"')= Е ехр где У означает одну из Уь которые одинаково распределены.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
