Финк М. Теория передачи дискретных сообщений (1970) (1151862), страница 9
Текст из файла (страница 9)
В яекоторых случаях ее полагают равной единице. даже если апрнорць|е вероятности неодинаковы или если оцц ценз. вестны. Полученный таким образом критерий называется крцтсрием макецмального правдоподобия. Для иллюстрации критерия идеального наблюдателя рассмотрим простейший пример. Пусть алфавит источника содержит лиц!ь две буквы А и Б, а принимаемый сигнал г' г х '( ) характеризуется единственным скалярным параметром (например, током в лиицц), который будем обозначать также г'. Йа рис. 1.4 изображены графи ' ( ~ ) и р(Б)ш(г']Б), представляющие условные ю плотности вероятности г' при передаче соответственно , умноженные на априорную вероятность соответствующей бУквы. ПРи г')г'е отношение пРавдопоше р(А Б.
относительно А больше, а при г'<г' мен— ) (р( ). Согласно критерию идеального наблюч! дателя вся область значений г' разбивается на два подмножества Х'и (в которое входит все г'>г'о)иХ',(в которое нходят все г'>г'о). Точку г'=г'„можно отнести к любому из подмножеств.
Полная вероятность оьчибоч- г,'.' Рис 1.4. Графическое опрепеяеиие иероятиостей ошибок. ного приема буквы равна заштрихованной на рисунке площади. Действительно, эта площадь равна як сс ~ р(Б)а(г'~Б) с(г'+ ~ р(А) ш(г)А) ~(г'. (1.25) — со а Первый интеграл представляет вероятность того, что передавалась буква Б и сигнал г' оказался в области Х'.„т. е. вероятность ошибочного приема А вместо Б, второй интеграл — вероятность ошибочного приема Б вместо А.
Если разбить область значений г' на подмно. жества Х'и и Х;., иначе, например, вместо «порога» г'о выбрать г'><г'с, то вероятность ошибочного приема А вместо Б уменьшится, а вероятность ошибочного приема Б вместо Л увеличится. Однако полная вероятность ошибочного приема возрастает иа величину площади зачерненного треугольника.
Применение критерия идеального набл>одателя прелставляется весьма естественным, поскольку основанная на нем оптимальная решаю>цая схема обеспечивает нанменыпую полную вероятность ошибочного элемента со. общения, а следовательно, и наибольшую вероятность безошибочного приема последовательности элементов.
представляющих сообщение. Ннжс будут приведены и некоторые другие доводы в пользу этого критерия. Однако возможны случаи, когда результат применения кри- 4Я сального набт>юдателя противоре >ит здравому смыслу. Пусть, например, алфавит источника содержит два элементарных сообщения А и Б, выбираемые независимо друг от друга с вероятностями р(А) =0,999 и р(Б) =- =- 0,0001. Рассмотрим )два„" варианта решающей, схемы.
При первом варианте множество принимаемых сигналов Х' разбито на подмножества Х'а и Х', так, что р(А(Х'д)= — р(Б(Х'л)= =0,999 и р(к1(Х' )=-.Г>ЯХ'к)=0,001. При этом все сообщения принимаются с вероятностью ошибки 0,001. Г!ри втором иирпантслсхемь> сисе множество принимаемых сигналов Х' прпи>4»>астся за «Х'„,~'тогда ~как множество Хел является пустым. В этом случае все сигналы будут прияиматься как сообщение А. Таким образом, А будет во всех случаях приниматься правильно, а Б — всегда ошибочно.
Очевидно, при такой «решающей схеме» р(Х'„(Л).=.= >э(Х'„)Б)= 1 и р(Х'„)А)= р(Х в (Б)=0 и всроятис>сть ошибки равна т>= т>(Л) р(Х' )А)+р~Б)',р(Х'д(Б) =0,0001. С точки зрения критерия идеального наблюдателя вторая схема ближе к оптимальной, поскольку она обеспечивает меньшую полную вероятность ошибки, чем первая. Но, с другой стороны, совершенно ясно, что применение второго варианта решающей схемы бесел>ыслснно, так как он не дает никакого представления о переданном сообщении, в то время как первый вариант, хотя и с небольшой достоверностью, позволяет судить о том, какое сообщение было выбрано источником.
Такое противоречие между критерием идеального наолюдателя и здравым смыслом возникло вследствие того, что при столь различных априорных вероятностях Л н Б нельзя считать стоимость любой ошибки одинаковой. В самом деле, информация, содержащаяся в Б. в соответствии с (1.6) значительно болшпе информации, содержащейся в А. Следовательно, оьчибочиый прием буквы А вместо Б в большей степени разрушает передаваемую информацию, чем прием Б вместо Л. 43 Не следует думать„что приведенный парадокс является привилегией критерия идеального наблюдателя. Для многих других статистических критериев можно подобрать более или менее искусственные ситуации, при которых они противоречат здравому смыслу.
Поэтому выбор критерия следует производить с учетом особенностей решаемой задачи. Для обычных систем связи наиболее удобным является критерий максимального правдоподобия, согласно которому решающая схема относит принятый сигнал г'(г) к подмножеству г'и если для всех г~)г е(г)хх) е !г)х,) (1.26) а(г'(х ) =- ~ ю(г'!хг, 1)га(1) Л, (1.27) где ш($) — плотность вероятности параметра $, а интегрирование производится по всей области его определенна. Иногда, однако, о параметре й ничего не известно.
Тогда для построения решающеи схемы пользуются обобщенным критерием мансимпльного прпвдоподобия, при котором условные вероятности га(г']хг) вычисляются прн наиболее правдоподобном (при гипотезе хд значении параметра я, т. е. при том С, которое максимп- 44 Преимуществом этого критерия является то, что он не требует знания априорных вероятностей сообщений. Если же априорные вероятности сообщений известны н одинаковы, то критерий максимального правдоподобия совпадает г критерием идеального наблюдателя. В дальнейшем везде, где не оговорено противное, мы будем пользоваться критерием максимального правдоподобии.
В некоторых случаях принимаемый сигнал зависит не только от передаваемого сообщения и помехи, но и от одного или нескольких неизвестных параметров, Так, например, в выражении (1.17) величины )л или т могут быть неизвестными. Если такой параметр ~ представляет собой случайную величину с известным распределением вероятностей, то можно вычислить условную вероятность га(г']х,), входящую в отношение правдоподобия, по формуле полной вероятности Др) гиии словами решаю сигнал к подмножеству г',, ,прует величину ш(г']х„ц шая <лема относит принятып ~гчп при всех гФ/г сех иг (т']х, пах ы (г')х,, $ $) с) (1.
28) Примеры построения репгающей схемы при неизвестном параметре будут приведены в пятой главе. 1.?. Количество переданной информации Пусть источник сообщения, находящийся в состоянии 5, выбрал некоторое сообщение хм имевшее априорную вероятность р,(хл). Приемное устройство принимает при этом некоторый сигнал г'(1), на основании которого может быть определена апостериорная вероятность р,(хх]г').
Предположим сначала для упрощения, что существует только дискретное множество принимаемых сигналов, которые обозначим г;, г'х 1 1 а га, ° ° ° Если принят сигнал г'„то вероятность переданного сообщения равна р,(хл]г' ). Эта вероятность была бы равна единице, если бы шумы в канале отсутствовали и принятый сигнал был бы полностью определен. Наличие шумов приводит к тому, что вероятность рд(хи]г ~) меньше единицы. Это можно трактовать как неполную передачу информации гг(рч(хл)] по каналу связи. Определим, какое количество информации нужно было бы передать дополнительно после приема сигнала г'„, чтобы переданное сообщение хт стало известно совершенно определенно. Поскольку после приема сигнала г'„вероятность передачи хх равна р(хл!г'„), то необходимая дополнительная информация может быть определена как гг(рч(хл]г'„)].
Но согласно (1.8) Такиз ким образом, количество информации, переданное по каналу связи при передаче сообщения хл и приеме сигнала г', х ла г',, мо>кно определить как разность между количеством информации, заключенной в сообщении хм и 45 т ]рч(хл]г )! = — )ой'р (хх]г'„) = — !оя, . (1,29) рз 1- х)-'-) тем количеством информации, которое осталось непере- дапным после приема сигнала з'„: >„(хм з'„) = г',[и (х„)[ — г [р«(хк[а'„)[ = = — 1ойр«(хь)+!пар«(хк[г' )=!од " " ". (1.30) Среднее количество информации, приходящееся иа одно элементарное сообщение, переданное по каналу с шумами, можно определить как математическое ожидание !(хь[з'„), г.
е. результат усреднения >(х,[г'„) по всем сообщениям хл, состояниям исто >ника 5 и принятым сигналам !(х, г') =~~)~~ ~~~ ~~~ Р >> (хм г' )!ой'дч! "!' "1, (!.31) где Є— по-прежнему вероятность состояния источника 5„; р«(ха, в'„) — совместная вероятность передачи знака ха и приема сигнала з'„,. Выражение (!.31) можно рассматривать как количество информации о сообщении х, содержащееся в принятом сигнале з', или в более общем смысле, как количество информации, содержащсеся в последовательности г' относительно последовательности х. Это количество информации можно представить и в другой форме: 7(х, г') =~, ~ ~ Р !>«(х>ь г' ) 1оп'>>«(хк[з'„)— д ь « Х~ ХР р (х,, а'„)1ой',и (х )== У Т' — Р«>э«(хк) 1ой' р (хз) + « +~„, ~ ~.
Р р (хк, г'„)1о~р (х„[г'„)=Н(х) — П(х~з'), (1.32) где Н(х[з ) — Х,)'.> Р ( * ) Р д «Ф вЂ” ~ ')" ')' р«,~«(з'„) 7>«(х„[г' ) 1ой р«(хэ[г'„) (1.33) а « пазываюг усчовнон энтрописи сообщения х при пчиеме сигнала а' (или, в более общем виде, условной энтро- пией последовательности х при известной последова- ельности г'). Ге называют также «ненадежностью>, тельност так как опа характеризует потерю информации при е- л- редаче.
В выра>кении (1.33) ,ю Р«!х«з'«) лч (к !«'») есть вероятность принятого сигнала г'в в состоянии 5 . Легко убедиться, что в канале без помех Н(х[г') =-О, так как р,(хк[г'„) может принимать только значения 0 и 1, в результате чего все слагаемые в (!.33) обраща- ются в нули. Поэтому, как и следовало ожидать, в та- ком канале переданное количество информации равно энтропии источника, Можно доказать [3), что всегда Н(х[г'))О и, следовательно, 7 (х, г') ~ Н (х), (1,34) причем равенство имеет место, например, при отсутст- вии помех в канале.
В частности, если положить г'= — х, то 7(х, х) =Н(х). (1.33) Количсс>ио псреданной и~и~>ормации можно выра- зить иначе, воспользовавшись тождеством Р«(хк 3 п) >>«(хь) Р«(з «[хь) — Р«(2 ) Р«(хь[з в) Помножив числитель и знаменатель под знаком ло- гарифма в (1.31) иа рч(з' ), найдем Полученное выражение симметрично относительно х и г', вследствие чего можно закл>очить, что (1.37) 47 7(х, г') =7(г', х). > (х, з')= ~~~ ~~)~~ Ч Р г> (хм г'„) 1о~ л«1~"',") .
(1.36) рч !х«) рч'(г'„) Поэтому из (!.34) следует, что 1(х, г ) (И(г ). (1.38) Если определить совместную энтропьмо х и г' следующим образом: Н(х, г') =' — '~, ~ ~~ Р,р (х>п г'„) 1ой'рт(ха, г'„), (1.39) предположим, что х является иепрерыаным так же, как и х', и, произаедя и (1.ЗБ) предельный переход, найдем вч(х, а') 1(х, а') = — ~~ ' ~ ) Рчвч(х, з')1ояв, г>хцх', 11.42) ч хг где вч(х) и вч(х, х') — плотность аероятности соотаетстиеано для х н для совместного процесса (х, х'1 при состоянии источника Бч. В частности, если источник имеет одно едиистаенное состояние, то то можно показать, что 1(х, г') =1(г', х)=Н(х) — Н(х(г') =— =И(г') — Н(г'(х) =Н(х)+Н(г') — И(х, г').
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
