Прокис Дж. Цифровая связь (2000) (1151856), страница 7
Текст из файла (страница 7)
Мы коснемся лишь ограниченной части теории вероятностей и теории случайных процессов. Приведем ряд определений и основных понятий из теории вероятностей и теории случайных процессов, и несколько результатов, которые являются особенно важными при проектировании эффективных систем цифровой связи и оценке их характеристик.
Мы ожидаем, что большинство наших читателей имеют некоторое априорное представление о теории вероятностей и теории случайных процессов, так что наше изложение они воспримут, прежде всего, как обзор. Эти читатели извлекут с выгодой для себя дополнительную информацию из чтения интересного материала по этим вопросам, имеющего инженерную направленность и содерх<ащегося в учебниках Давенпорта и Рута (1958 г.), Давенпорта (1970 г.), Папулиса (1984 г.), Хелстрома (1991 г.), и Леона — Гарсиа (1994 г.).
2.1.ВЕРОЯТНОСТЬ Рассмотрим, например, такой эксперимент, как бросание игральной кости с рядом возмох<ных исходов. Выборочное пространство В эксперимента состоит из набора всех возможных его исходов. В случае игральной кости В=11, 2, 3,4, 5, 6~, (2.1.1) где целые числа 1...6 представляют числа, указанные на шести сторонах игральной кости.
Эти шесть возмо>кных исходов — выборочные (характерные) точки эксперимента. Событием является некоторая часть от В, которая может состоять из любого числа характерных точек. Например, событие А, определенное как А =) 2,4~, (2.1.2) состоит из результатов 2 и 4. Дополнение к событию А, обозначаемое А, состоит из всех характерных точек в В, которых нет в А, следовательно, А= ~1, .3,5, 6~. (2.1.3) Два события считают взаимоисключающими (несовместными), если они не имеют никаких общих характерных точек — т.е. если появление одного результата исключает появление другого.
Например, если А определено как в (2.1.2), а событие В определим как В=11, 3, 6~, (2.1.4) тогда А и  — несовместные события. Точно так >ке А и А — несовместны. Объединение (сумма) двух событий — это событие, которое состоит из всех характерных точек двух событий. Например, если В определено, как в (2.1А), а событие С— как С=11, 2, 3~, (2.1.5) тогда объединение событий В и С, обозначаемое В 0 С, является событием 23= ВОС= ~1,2, 3, 6~ (2,1.6) Точно так же А 0 А = Я, где  — все выборочное пространство, определяющее достоверное событие.
Пересечение двух событий — событие, которое состоит из характерных точек, общих для обоих событий. Таким образом, если Е = ВП С представляет пересечение событий В и С, определяемых (2.1.4) и (2.1.5) соответственно, то Е =11,3~. Если события несовместны, их пересечение — событие с нулевой вероятностью, обозначаемое как Ы.
Например, А(1В= 0 и А(1А = О. Определения для объединения и пересечения событий можно непосредственно расширить на более чем два события. Каждому событию А из пространства Я приписывается его вероятность Р(А). При назначении вероятностной меры для событий мы принимаем аксиоматическую точку зрения.
Это означает, что мы полагаем, что вероятность событий А удовлетворяет условию Р(А) > О. Мы также полагаем, что вероятность всего выборочного пространства 5 (достоверного собыгия) РЯ=1. Третья аксиома касается вероятности взаимоисключающих (несовместных) событий. Предположим, что Аь (=1,2.„,, являются рядом (возможно, бесконечным) несовместных событий в выборочном пространстве $ так что АДА,=Я, (~7'=1,2,... Тогда вероятность объединения (суммы) этих несовместных событий удовлетворяет условию (2.1.7) Например, в случае бросания игральной кости каждый возможный исход (событие) имеет вероятность 1/6.
Событие, определенное (2.1.2), состоит из двух несовместных подсобытий или исходов, следовательно, Р(А)=2/6=1/3. Аналогично вероятность события А0В, где А и  — несовместные события, определенные соответственно (2.1.2) и (2.1.4), равна Р(А)+Р(В)=П3+1Й2=576. 27 Совместные событии н совместные вероятности. Предположим, что мы имеем дело не с одним, а с двумя экспериментами и рассматриваем их исходы.
В качестве примера двух экспериментов можно рассматривать два отдельных бросания одной игральной кости или одно бросание двух игральных костей. В любом случае выборочное пространство Я состоит из 36 дублетов ((,7), где 1,7 = 1,2,...,6. Если бросание производится чисто, то каждой точке выборочного пространства назначаем вероятность 1/36. Мы теперь можем рассматривать„например, объединенные события вида (! — четное, 7'=3) и определять соответствующие вероятности таких событий, зная вероятности всех возможных характерных точек.
Вообще, если один эксперимент имеет возможные исходы Аь 1=1, 2,..., и, а второй эксперимент — В, 7'=1, 2,..., т, тогда объединенный эксперимент имеет возможные совместные исходы (А, В,), 1=1, 2,..., п,~'=1, 2,..., т. Каждому объединенному исходу (А, В,) присваивается вероятность Р(А, В ), которая удовлетворяет условиям 0 <Р(А„В )<1. В предполо>кении, что исходы В„1'=1, 2,..., и, являются несовместными, получаем „">'Р(А„В,)= Р(А,). (гА.В) >=! Точно так же, если исходы А„!'=1, 2,..., и, являются несовместными, то ~~ Р(А„В,)= Р(В,). 1=! Далее, если все результаты из двух экспериментов несовместны, то Х ХР(А'В ) 1' (2.1.
10) 1=! >=! Обобщение вышеупомянутого поло>кения на более чем два эксперимента очевидно. (2.1.9) Р(А В) Р(А, В) = Р(В) (2.1. 1 1) в предположении, что Р(в)>0. Подобным же образом вероятность события В при условии, что событие А имело место, определяется как Р(В)А)= ( (2.1.12) в предположении, что Р(А)>0. Формулы (2.1.11) и (2.1.12) могут быть переписаны в виде Р(А, В) = Р(А/В)Р(В) = Р(В~А)Р(А) .
(2.1. 13) Соотношения в (2.1.11) — (2.1.13) применимы также к единственному эксперименту, в котором А и В являются двумя собь>тиями, определенными на выборочном пространстве ,>, а Р(А,В) интерпретируется как вероятность АЯВ. Т.е. Р(А,В) определяет вероятность одновременного наступления (пересечения) событий А и В. Например, рассмотрим события В и С, определенные (2.1 4) и (2.1.5) соответственно, для единственного бросания кости. Совместное событие состоит из выборочных точек (1,3). Условная вероятность события С при условии, что В произошло, равна Р(С~В)=2' =-. В единственном эксперименте мы наблюдаем, что, когда два события А и В несовместны, АЙВ=Я и, следовательно, Р(А~В)=0 Так же, если А входит в В, тогда А()В=А и, следовательно, Р(А~В) = — .
С другой стороны, если В входит в А, мы имеем А()В= В и, следовательно, Р(АВ)= ( ) =1. Р(В) Чрезвычайно полезные соотношения для условных вероятностей выражаются теоремой Байеса, которая гласит, что если Аь >'=1,2,...,п, являются несовместными событиями, так что 28 Условные вероятности. Рассмотрим комбинированный эксперимент, в котором исход встречается с вероятностью Р(А, В). Предположим, что событие В произошло, и мы желаем определить вероятность того, что при этом произошло событие А.
Эта вероятность называется условной вероятностью события А при условии, что событие В имеет место, и определяется как 0А =В ~=1 и  — произвольное событие с отличной от нуля вероятностью, тогда Р(А„В) Р(В!А,)Р(А„) ;1„Р(В /Аз)Р(А, ) Мы используем эту формулу в гл. 5 для нахождения структуры оптимального приемника для системы цифровой связи, в которой события А„ /=1, 2,..., и, представляют в нашем случае возможные передаваемые сообщения на данном временном интервале, а Р(А) представляют их априорные вероятностгз,  — принятый сигнал, подверженный действию шума, который содержит передаваемое сообщение (одно из А,), а Р(А,)В) является апостериорногз вероятностью А; при условии, что наблюдается принятый сигнал В.
Статистическая независимость. Статистическая независимость двух или большего числа событий — другое на>хвое понятие теории вероятности. Она обычно возникает, когда мы рассматриваем два или больше экспериментов или результатов повторений одного эксперимента. Чтобы пояснить это понятие, мы рассматриваем события А и В и их условную вероятность Р(А~В), которая является вероятностью события А при условии, что событие В произошло. Предположим, что появление события А не зависит от появления события В. Это значит, что Р(А/В)= Р(А). (2.1.15) Подставив (2.1.15) в (2.1.13), получаем результат Р(А, В) = Р(А)Р(В). (2.
1, 16) Это означает, что совместная вероятность событий А и В определяется произведением элементарных или собственных вероятностей событий Р(А) и Р(В). Когда события А и В удовлетворяют соотношению (2.1.16), их называют ататггстически лезавгзсилзьзлш. Например, рассмотрим два последовательных эксперимента бросания кости, Пусть А представляет выборочные точки с четными номерами (2,4,6) в первом бросании, а В представляет четно нумерованную выборку (2,4,6) во втором бросании. В случае правильной кости мы считаем что вероятность Р(А)= 3/6=1/2 и Р(В)=3/6=1/2. Теперь вероятность совместного исхода — четно нумерованный результат при первом бросании и четно нумерованный результат при втором бросании — является вероятностью результата для девяти возможных пар (/,/), 1= 2,4,6, /= 2,4,6, которая равна 9/36 = 1/4.
Но мы имеем также Р(А,В) =!(А)Р(В) = 1/4. Таким образом, результаты А и В статистически независимы. Точно так же мы можем говорить, что исходы двух экспериментов статистически независимы. Понятие статистической независимости может быть расширено на три и большее число событий. Три статистически независимых события Аз, Аг и Аз должны удовлетворять следующим условиям: Р(А„А,) = Р(А,)Р(А,); Р(А„А,) = Р(А,)Р(А,) Р(Аг Аз) = ~ (Аг)Р(Аз) Р(А1 Аг Аз) = Р(Аз)Р(Аг)/ (Аз) В общем случае события А„ /=1, 2,..., л, являются статистически независимыми при условии, что вероятности совместного наступления 2, 3, и событий в любой комбинации определяются произведением вероятностей индивидуальных событий. 29 2.1.1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
