Финк М. Теория передачи дискретных сообщений (1970) (1151862), страница 6
Текст из файла (страница 6)
Для характеристики алфавита источника сообщения представляет интерес сравнение энтропии Н, определяемой выражением (1.10), с максимально возможной при данном алфавите энтропией Низа,=!Оп1. С этой целью вводят понятие об избыточности алфавита в данном источнике сообщения (или, как часто говорят, избыточности сообщения) «,=-! — = !— Н(х! Н(х! и,.„, — 1оп! ' Из сказанного выше ясно, что причинами избыточности могуг являться неодинаковые вероятности элементов сообщения и наличие вероятностных связей между близко расположенными элементамн. Приведем простой пример.
Пусть алфавит источника состоит из двух элементарных сообщеяий, которые обозначим А и Б. Тогда максимальная энтропия такого источииха, достигаемая при независимом выборе Л и Б с равными вероятностями, выраженная в двоичных свининах, Нмггг=-1ояг2='1. Если элементы выбираются источником независимо, но с неодинаковыми вероятностями р(А) = =03 и р(Б) =07, то энтропия на элемент равна Нг= — 03 !ояг03— — 07 !ояг 07=052+036=088 дв. ед.
В таком источнике избыточность алфавита равна О,!2. Пусть теперь вероятности выбора зависят от одного прелшествующего элемента, а именно: р(А(А)=р(Б)Б)=08 и р(А!Б)= =р(Б!Л)=02. Здесь р!А!Б) обозначает вероятность выбора элемента Л при условии, что предыдущим был элемент Б и т. д. Легко убедиться, что безусловные вероятности обоях элементов в таком источнике одинаковы и равны 0,5. Этот источник имеет два состоюшя, определяемые последним выбранным элементом, причем оба состояния имеют вероятности, равные 0,5. Тогда из (1.!0) полУчим Н = — 0 5. 0 8 !ояг 0 8 — О 5 ° О 2 1спг О 2 — О 5 ° 08 1ояг О 8 — О 5 Х Х0,2 1ояг0,2=0,722 дв.
ед.; избыточносгь алфавита, вызванная вероятностиыяи связями в таком источнике, « =0278. Рассмотрим теперь глучай, когда имеются вероятностныс связи, а безусзовные вероятности элементов не одинаковы. Пусть р(А(А)=03, р(Б)А)=07, р(А!Б)=0! и р(Б)Б) 00. Нетрудно подсчитать безусловные вероятности т, которые ока.
зываются равными р(А) =-0,(25 н Р(Б) =0,875. Таковы лге, очевидно, вероятности двух возможных состояний источника. Из (!.(О) получим и= — 0,(25(08 (оп, 03+07 )опт 07! — 0875(0,! !оят О,!+ +09 (окт09)=052 дв, ед н избыточность алфавита г„=038. Для многих практических задач интерес представляют источштки, выдающие сообщения в виде текста, написанного па каком-либо языке.
В частности, для русского языка, считая число бука в алфавите"" равным 32, имеем Нмзкс=!одз32=3 дв. ед. Если учесть неравные вероятности появления букв в тексте и зависимость этих вероятностей от ранее предшествовавших букв, то по данным различных авторов энтропия, приходящаяся на одну букву, находится в пределах от 1 до 2,3 дв. ед. Такой значительный разброс результатов вызван трудностью учета всех вероятностных связей, простирающихся на значительное число последовательных букв. К тому же величина энтропии в некоторой степени зависит от характера текста.
Исходя из этих данных, избыточность русского алфавита лежит в пределах от О,б до 0,8. По-видимому, вторая цифра ближе к действительности вэ*. Близкис к этим данные получены и для алфавитов л!ногих других языков. Определенная выше энтропия источника на элемент сообщения зависит от того, каким образом сообщения расчленяются на элементы, т. е. от выбора алфавита.
Однако энтропия обладает важным свойством аддитивности. Пусть источник сообщения с объемом алфавита 1, имеет энтропию на элемент сообщения (с учетом всех вероятностных характеристик), равную Н!. Произведем е Лля этого хзо>кно использовать формулу полной вероятности Р(Л) = Р(А) Р(А (Л) +(! — Р(А)!Р(А (Б) и реп(ить полученное уравнение относительно Р(А). ** П число букв алфавита нужно вклк1 шть пробел между словами. Прн этом (=--82, если твердый и мягкий знаки считать за одну букиу. т*~ Следует помнить, что эти результаты относятся к источникам.
выдавшим текст в аиде осмысленных русских фраз, связанных определенным содержанием. Если русские б>кяы используются в качестве условных обозначений каких-.тибо событий, сведения о кото. рых сообшает источник. то энтропия на букву должна аз|числиться исходя из вероятностных характеристик источника и может прини. мать любое значение„вплоть до Навяз=5 дв. ед. 28 Нх=лН, Определим избыточность вторичного алфавита г„,.
Максил!алызая энтропия для алфавита объемом 1,= — 1" равна Н,„„„е =1031,= и !оп1„ откуда, учитывая (1,!3), Н, емзтс пН, Н, =!в = гхт л (о8 (з (Нивке (!.14) Из выражения (1.4) следует, что избыточность при укрупнении алфавита не изменяется. Отметим, что при укрупнении алфавита ослабляются взаимные вероятностные связи между элементами сообщения. Если выбрать величину л значительно превосходящей протяженность действия вероятностных связей между элементами первичного алфавита, то вероятностными связями между укрупненными элементами можно пренебречь. Поскольку избыточность в процессе укрупнения не изменяется, то она должна практически полностью определяться неравномерностью распределения ве- 29 ;крупнение алфавита, считая каждую последовательность из любых и букв первичного алфавита одним элементом нового, вторичного, алфавита.
Очевидно, что объем вторичного алфавита 1,=1". Покажем, что энтропия на один элемент вторичного алфанита Нх равна пНь Из определения количества информации оп!дует, что в некотором конкретном элементе вторичного алфавита содержится ровно столько же информации, сколько ее содержится в и элементах первичного алфавита, входящих в его состав, Количество информации в одном конкретном элементе первичного алфавита !р является случайной величиной, принимающей различные значения для различных элементов. Количество информации в элементе вторичного алфавита Ф является суммой а случайных величин чь ..., гР . Математическое олсиДаиие величины Ф, равное по определеншо Нь как известно ()!), равно сумме математических ожиданий слагаемых тра(м=), ..., и), а так как каждое из последних равно Н!, то (!.13) роятностей элементов вторичного алфавита.
Таким образом, операция укрупнения алфавита может служить для «декорреляции» элементов сообщения, т. е. для устранения взаимных вероятностных связей между ними. Для источников с фиксированной скоростью важной характеристикой является производительность, т. с. среднее количество информации, выдаваемое в единицу времени. Есчн в среднем каждое элементарное сообщение занимает время Т, то производительность источ.шка Г(Х)=- Т Н (х) (1.15) Если в системе связи передаются сообщения от источника с управляемой скоростью, то среднее время Т.
затрачиваемое на передачу элементарного сообщения, определяется передающим устройством. В этом случае величину И'(х), определяемую выражением (1.15), следует называть производительностью передающего устройства. Различие между этими двумя случаями заключается в том, что производительность источника с фиксированной скоростью не может быть изменена при проектировании системы связи, тогда как при источнике с управляемой скоростью производительность передающего устройства выбирается проектировщиком в соот. ветствии с различными техническими и экономическими требованиями, предъявляемыми к системе.
Легко убедиться, что производительность источника пе изменяется при операции укрупнения алфавита. т.». Помехи и искажения а канапе В каналах сигналы передаются в виде некоторых процессов конечной длительности. Последовательность элементов сообщения х преобразуется в последовательность кодовых символов у.
Каждому кодовому символу уа соответствует определенный элемент сигнала, т. е. некоторая определенная на конечном отрезке времени функция г(1) (или некоторое множество таких функций). Если бы сигнал на выходе канала представлял такую ж функцию л(1), какая была подана па вход, то можно было бы с полной достоверностью восстановить на выходе переданную последовательность кодовых символов, зо а затем и декодировать ее, т.
е. восстановить переданное сообщение. То же самое было бы справедливо, если бы и канале существовали только регулярные обратимые искажения, т. е. если бы сигнал на выходе канала г'(1) представлял функцию сигнала на входе г(1) =1(х(1)), причем существовала бы обратная функция 1 — '(ьл(()1=- е а(~), которая позволила бы в точности восстановить переданный сигнал. В реальных каналах наряду с такими регулярнымь искажениями имеют место нерегулярные искажения, в результате которых нарушается взаимно однозначное соответствие между сигналами на входе и выходе кана,ла. Совокупность всех причин, вызывающих неопределенность принимаемого сигнала, обычно называют шумами или полеехами. Термин «помеха» применяется также в более узком смысле как совокупность напряжений, поступающих на вход приемного устройства помимо сигнала.
Такие помехи линейно складываются с сигналом и поэтому часто называются аддитивными. Помимо аддитивных помех в реальных каналах имеют место неаддитивные. Они представляют собой случайные искажения сигнала, вызываемые тем, что параметры, характеризующие носитель сигнала, в процессе передачи сообщения флюктупруют, т. е. вид функции г'(1) =([а(1)) нерегулярным образом изменяется во времени. На основании наблюдений за различными реальными каналами связи (в частности, различными радиоканалами) зависимость между принимаемым сигналом ' з'(1) и передаваемым а(1) можно представить в более общем виде так: к д'(1).=~~ 1ьвз(1 — тв)+и(1).
Смысл этого выражения заключается в следующем. Сигнал г(1) приходит по К различным путям, причем на каждом нз этих путей сигнал по-разному затухает, что хаРактеРизУетсЯ коэффициентами пеРедачи 1сл, ' Пгпиимаемым сигналом мы будеьс длв сокращения называть сумму сагаала, подвергнутого ыскажеиывм в канале, и аддитивиых помех. 32 " Попитие о ширине спектра сигиааа буд . р ет ассмотреио ниже. а также запаздывает на различное вр и емя г .
На входе ва наблюдается сумма сигналов,пришедших по р о разным путям, и аддитнвных помех, выржаемых членом и (г). Величины ра и гж вообще говоря, изменяютс~ во времени. В многих случаях имеет место только один путь расо многих с о (1.16) можно написать п остранения сигнала и вместо ( . >) пр с г'(Г) =1>з(! — г) ->гв(!). (1.17) б ет показано ниже„к этому же выражению Как улет и пбли>кенно свести и случай приход а сигнала по можно при л б с качений та очень мал по многим путям, если разброс зна~ н " сравнению с длительностью элемента сигнала и с „—., где Л! †эффективн ширина спектра сигнала"". Те случаи, когда мо будем называть «однолучевым распр тр (1.16), б ем называть «многолучевым и т в большей части реальных канат асп остранением».
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
