Горяинов В.Т., Журавлев А.Г., Тихонов В.И. Статистическая радиотехника - примеры и задачи. Под ред. В.И.Тихонова (2-е издание, 1980) (1092036), страница 76
Текст из файла (страница 76)
Найти: !) условную собств иную информацию 1(х,!Уз); 2) взаимную информацию 1(х,; у,); 3) средние количества информации 1(Х; у,), 1 (Х), 1 (Х) )г), 1 (Х; )'). Рещение. По условию р (хд) .= 3/4, Р (хз) = 1/4 Р (Уд1хд) = = Р (Уз) хз) = 7/8, Р (Уд) хв) = Р (Уз) хд) — 1/8. Вычислим вероятности р (уг), р (хг, дг) и Р (хг) уг): 3 7 ! 1 22 р(у,) =-Р(х,) р(д,(х,)+р(х,) р(у, ! х,) = — — + — — = —; 1 7 3 1 1О 4 8 4 8 32 3 7 21 Р (х„У,) = Р (хд) Р (У, ! х,) = Р ( Уд) Р (хд ! У,) = — — = —; 3 1 3 4 8 зз 1 1 1 Р(х„у,)=Р(х,) р(у,) х.) =- — — = —; 1 7 7 Р (дз Ув) = Р (хг) Р (Уе ~ хг) = р(хд)р(уд!хд) 3 7 22 21 р!у,) 4 8 32 22 ' 3 1 1О 3 ! ! 22 1 Р (хд) У,) = — .
— = —; Р (х, 1У) = — . —: — = —; 1 7 10 7 Р(ха)ув) = — ° —: — = — ° !. На основании (17.3) имеем 1 (х,(У,) = — 1оя Р (хз)дз) = — 1оц (7/10) см 0,515 да. ед. 503 2, Используя формулу (17.4), получаем ! (х,;у,) =!ОЯ р !х,) у,) 7/Ю =!он ! 485 дв ед р (х~) 1/4 3. Согласно (17.6) находим !(Х у,)= ~~у р(х, )!/4)1ой =Р(хг!у~)!Ой +,0 (Хг ! уа)!ОЯ = — !ОЯ вЂ” — + — !ОЯ Р!х, )у ) 3 3ДО 7 7ПО р (х,) 10 3/4 !0 1/4 0,644 дв. ед. Применив формулу (17.!7), получим 2 У(Х) = — ~~Ь~ р(х!)1Ояр(х ).= — !Р(хг)!одр(х)+Р(х)!Ояр(ха))= ! 1 /3 3 1 1! = — ~ — !Оя — + — !Ои — ) 0,811 дв. ед. ~4 4 4 4) Для вычисления информации ! (Х! У) воспользуемся формулой (17.19): 7(Х! У)= — "~ ~ р(х! у/) 1ояр(х, ! у/) = 4=3/=1 = — (,п (х„у,) 108 Р(х, ! у!)+у (х„д„) !ой Р (х, ! д,) + +р(хьух)!Ояр(х,)уз)+р(х,,у,)!Ояр(х,)у,))= /21 21 ! 1 3 3 7 7! = — ( — !оя — + — !оя — + — 1оя — + — ! Оя — ) (, 32 22 32 22 32 10 32 10 ) 0,459 дв.
ед. Согласно формуле (17.7) находим 7(ХК) = ~ 'э' р(х!, д/) )оя р(' ' 'у/) =Р(х„у) 1оя р!х')у) -1- р (х!) р (хг) + р(х„у,)!ой х ' +р(х„у)1ой р! '!у') + р !х,) р !х,) + р (х„у,)! Оя = — !ой + — !оц + р (х~ ! ув) 21 21/22 1 1/22 р !х ) 32 3/4 32 !/4 ! — !Оп -1- — 1оя ж0,352 дв. ед. 3 3/1О 7 7/1О 32 3/4 32 1/4 17.3. Источник сообщений генерирует множество кодовых комбинаций, одна из которых имеет априорную вероятность р (х) = 1/8, а апостериорпые вероятности, соответствующие последовательному приему символов д = 1, г = 0 и и = 1, равны: р (х! д) = Р (х! 1) = = !/6, Р (х)У, г) = Р (х(10) = 1/2, Р (х)У, г, и) = Р (х(101) = 1. 604 Определить увеличение информации о сообщении х в процессе приема символов у, г и и.
Решение. После приема первого символа у = 1 информация ! (х; у) =!(х; 1) =!Оя " =1оя — 0,415дв.ед. р (х)! 3 Второй принятый символ г =- 0 на основании (17.8) доставит дополнительную информацию ! (х; г)у) =! (х; 0)1)= !Оа р !х) 10) = 1оя — 1,585 дв. ед. р (х! 1) 1/б Аналогично третий символ и = 1 доставит о сообщении х информацию !(х; п)у, г)=! (х; 1)10)=1оя =1оя2=1дв.ед. р!х!!01) р (х)10) Полная информация ! (х; у, г, и) о сообщении х после приема всех трех символов ! (х; у, г, и) =- ! (х; у) + ! (х; г!у) + ! (х; и ! у, г) = ! (х; 1) + + ! (х; 0)1) + ! (х; 1(10) =- 0,415 )- 1,585 -'; 1 == 3 дв, ед.
17.4. Источник вырабатывает ансамбль символов Х = (х;), 1 — — 1, 2, 3, 4, с вероятностями р (х,) =- 0,2, Р (х,) = 0,3, р (хз) = 0,4 и р (х,) = 0,1. Корреляционные связи между символами отсутст- вуют. Вычислить энтропию источника. Решеншь Применив формулу (17.17), получим Н (Х) = — ~ Р (х;) !од Р (х,) = — ),о (х,) 1оц Р (х,) -1- р (Х2) Х (=! Х 1ОЯ р (х2) -р /7 (хх) 108 Р (ха) + Р (хх) 108/7 (хх)! = = — 0,2 )с !оя 0,2 — 0,3 1оя 0,3 — 0,4 1оя 0,4 — 0,1 1оя 0,1 = = 0,4644 + 0,5211 + 0,5288 -'- 0,3322 1,847 дв. ед.
17.5. Определить энтропию случайной величины Х„ распре- деленной по биномиальному закону: 1) в общем случае; 2) при р=-1/2 и п=5. Решение. По условию случайная величина Х.распределена по биномиальпому закону. Следовательно, Р (Х=./г) =С~руд" — ь д=! -р 1.
Н (Х) = — '„Р, С„"р' д" — х! Оя Сх рх д" —" = а-о — — т' С» рх д" — ь 1ой С~ — ~~~ С„рх д" — х !ои Р"— х-а х-а х — ~ С»рхд" "1ояд" у=о где то Так как при /г — 0 и /г = и 1ои С„=- О, ориг/ » 1, ~~ /гС;р» — »=пр, »=о »=о Энтропия двухбуквенного текста Н (Х„Х») =- Н (Х,) + Н (Х, ! Х,) =- 1,75 + Н (Х, ! Х,), и — 1 Н (Х) =- — п (р 1од р + 4/ !оп г/) — чз С» р» г/ — » ! Оц С» »= ! 2.
При р = г/ = 1/2 и и = 5 имеем Н(Х)= — 5( — !оа — + — 1ОЯ вЂ” ) — '~Р Со»( — ) ( — ) 106С» »=1 = 5 — — т С 4 1од Со = 5— 1 с.~ »» 51оя 5 1- 101оя 1О 32 2 198 дв. ед . \ » ! 17,6. Алфавит состоит из четырех букв х,, х„х», х,, вероятности появления которых равны: р (х,) = 0,5, р (х,) =.- 0,25; р (х») = =- р (х,) = 0,125. Условные вероятности р (х/)х;) появления /-й буквы при условии, что ей пре/ппествовала гся буква, заданы таб- лицей х. «! » 1«/14,1 «, х, 0 0,2 0,25 0,2 0,2 0,2 0 0,4 0,4 0,3 0,5 0 0,4 0,3 0,25 0,4 х! Х» х» «4 Найти избыточность К! источника сообщений при статистической независимости букв и избьггочность Я» с учетом зависимости между буквами.
Решен!ге. На основании (!7.24) имеем Н! = 1 — Н,/Н,. Так как Н,= !од/4/= 1од4= 2 дв. ед., 4 Н, =- — 2, р (х!) 1ои р (х;) = — (0,5!оп 0,5+ 0,25!Од 0,25+ г=! + 2 0,125 )од 0,125) = 1,75 дв. ед., то /7! = 1 — 1,75/2 = 0,125. При учете статистической зависимости между буквами Я» = = 1 — Н»/Н,, где Н, — энтропия на букву при учете двухбуквсн ных сочетаний. Н (Х, ! Х,) = — "» р (х;) ~л р (х/)х;) !од р (х;!«г) =- !=1 / ! = — 0,5(0,2 108 0,2 -1- 2 ° 0,4 1од 0,4) — 0,125 (2 ° 0,2 108 0,2 + + 2 ° 0,3 )од О,З) — 0,125 (2 ° 0,25 (ои 0,25 -,,'— 0,5 !оп 0,5)— — 0,125 (0,2 1оп 0,2 + 2 0,4 1ой 0,4) 1,62 дв. ед. — условная энтропия второй буквы, определяемая формулой (17.18).
Средняя энтропия па одну букву Н, = Н (Х„Х,)/2 = (1,75 -'.- 1,62)/2 = 1,685 дв. ед, Следовательно, /, = 1 — 1,685/2 0,16. 17.7. Закодировать двоичным кодом Шеннона — Фано ансамбль сообщений Х = (х;), ! = 1, 2, ..., 7, 8, если все копируемые сообщения равновероятны. Показать оптимальный характер полученного кода. Решение. При кодировании по методу Шеннона †Фа все сообщения записываются в порядке убывания их вероятностей и разбиваются на две группы так, чтобы суммы вероятностей сообщений в каждой из групп были по возможности близкими к 1/2. Всем сообщениям, входящим в верхнюю группу, приписывается цифра «0» в качестве первой цифры двоичного кода, а сообгцениям, входящим в нижнюю группу,.— цифра «1».
Затем кахгдая 'из групп аналогично разбивается на подгруппы по возможности с одинаковымп суммарными вероятностями, причем верхним подгруппам в обеих группах опять приписывается цифра <О» (вторая цифра кода), а нижнил! — цифра <1».
Деление повторяется до тех пор, пока в каждой подгруппе не останется по одному сообщению. Процесс кодирования приведен в табл. 17.5. Среднее число двоичных знаков, приходящихся„на одно сообщение, <и> = ~ и. (х)=з.— +З. — +... + З. — = 1 ! 1 ..'и ' ' ' 8 8 8 г= ! 1 =8 3 — =-Здв.ед. 8 Энтропия ансамбля кодируемых сообщений Н(Х) =!пай/= !Од8=3 дв. сд. Так как средняя длина кодового слова (и) равна эпгропии Н (Х), то код оптимален. 507 Соабмення к,.
Р (к ) Раабнення 178 000 Хв 0 1 178 001 0 С = Р Мах [Н (У) — Н ()к ! Х) ]. Р !"7) 178 010 В нашем случае 178 011 100 178 101 178 Так как 110 178 хв 178 хв УГУ~ ! хк)-7-Уе Уехр У'хе Уе Рис. 17кв двои )иый симметричный канал связи У7 Р)У![77)=7-77е 509 Т абл ил а 17.5 Кодирование ио методу Шеииоиа — Фаио 17.8. Показать, что энтропия Н (Х) алфавита (х;) с конечным множеством символов х„! — 1, 2, ..., а, достигает максимума Н (Х) =- Н (Х) = 1ои и, когда все символы равновероятны. Решение. Обозначив р (х;) = р), иа)есм л л Н= — — ~' р;!оор;, ~ р)= — 1.
)=! ! — — ! Пользуясь методов! неопределенных л)ножителей Лагранжа, найдем экстремум функции -л л а) Х Р' [ов Р7+Л Х Ро 7= ! 7 Дифференцируя это выражение по р,, ..., Рл и приравнивая производные нулю, получаем систему уравнений: !оя р; + 1од е -)- Л = О, ! =- 1, 2, . „, а нли !оя р; = — — Л вЂ” 1оя е = сопз1, ! = 1, 2,, и. 1 Так как ~9' р, = 1, то р, = р, = ... == р л 7 ! Следовательно, Н (Х) = Н (Х) = [од и. Иное решение задачи дано в [1, 110!.
!7.9. Вычислить пропускную способность С двоичного симметричного канала (рис. 17.4) при условии, что все символы сооб!цения и соответствующие им элементарные сигналы ут имеют одинаковую длительность т, где Р = 1)т — частота посылки символов. Построить график зависимости С(С = 7 (Р,), где С вЂ” максимальная пропускная способность (при отсутствии помех), а Р,— вероятность ошибочного приема. Ре!пенне.
Согласно (17.30) имеем Н(У)= — ~ р(у) [оир(у!), 7= ! 2 2 Н ()к ! Х) = — ~ р (х!) ~ч', р (у, ! к!) [оа р (у; ! х!). р (у,) =- р (х,) р (у,]х,) + р (х,) р (ув]хв) = р (! — Р,) [- (!в — р) Р, = р + Р, — 2РР„ р (у,) = р (хв) р (уа]х,) + р (х,) р (у,]х,) = = (! — Р) (1 — Р,) + РР, — -- 1 — р — Р, + 2РР„ то Н (! ) = [(Р ', Ре 2РРе) 1(М (Р + Ре 2РРе) + (1 Ре Ре + 2рре) !ой (1 — р — Ре + 2РР )], Н (г']Х) = — р (х,) [р (ут[х!) !оя р (у)[х,) + р (ув]х,) Х уС !оя р (у,[х,)] — Р (х,) [р (у,!х,) !ой р (у)]хв) + р (уа!хз) Х Х !ой р (уз[хв)] = [(1 Ре) 1ооо (1 — Ре) + Ре 1ооо Ре] Из выражения для Н ()71Х) видно, что ввиду симметрии канала связи условная энтропия Н ()к]Х) не зависит от вероятности пере- дачи р, Поэтому максимальное значение 7 (Х; )') достигается про- сто максимизацией Н ()').
Рис 17.5. Зависимость пропускной способности двоичного симметричного канала от вероятности ошибочиога приема и Вв Вг Р, Максимум Н (К) достигается тогда, когда сигналы у, и у, независимы и равновероятны (см. пример 17.8), что в свою очередь имеет место при равной вероятности передаваемых символов. Следовательноо, С = Р (1 + (1 — Р,) !ой (1 — Р,) + Р, !од Р,!.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
