Прокис Дж. - Цифровая связь (1266501), страница 30
Текст из файла (страница 30)
Покажите, что 1(Х,у) >О, причем равенство имеет место тогда, и только тогда. когда Х и У статистически независимы (Подсказка: используйте неравенство !пиь и-1 для 0 < и <1, чтобы доказать, что — 1(Х у) я0.1 3.5. Выход ДИБП состоит из возможных символов хпхз,....х„,которые появляются с вероятностями Рпр,,...р„соответственно, Докажите, что энтропия гт(Х) источника не превышает 1ояп 3.6. Определите дифференциальную энтропию л(Х) равномерно распределенной случайной величины Х )а ~ (0<х< а), (О (вне этого интервала) : для следующих трех случаев: а) а-1; Ь) а" 4; с) а=! /4.
125 Обратите внимание, чта из расчйтов следует, что й(Х) является не абсолютной, а только относительной мерой неопределенности. 3.7. ДИБП имеет алфавит из восьми символов х„1= 1, 2,...,8, с вероятностями 0;25; 0,2; 0,15; О,!2; 0,10; 0,08; 0,05 и0,05. а) Используйте процедуру кодирования Хаффмена, чтобы определить двоичный код для выхода источника. Ь) Определите среднее число Я двоичных символов на символ источника.
с) Определите энтропию источника и сравните с Л . 3.8. ДИБП источника имеет алфавит из пяти символов у, 1= 1,2,...,5, каждый из которых появчяется с вероятностью 115. Вычислите эффективность равномерного двоичного кода, если: а) Каждый символ кодируется отдельно в двоичную последовательность. Ь) Два символа вместе кодируются в двоичную последовательность.
с! Три символа вместе кодируются в двоичную последовательность. 3.9. Напомним (3.2.6) 1(х,;у )=1(х,)-1(х,~у ). Докажите, что а) 1(х„.у )=1(у,) — 1(у !х,); Ь) 1(тьу ) — 1(х) + 1(у )- 1(х„у,), где 1(х,;у ) = — !ой Р(х,у ) 3.10, Пусть Х вЂ” геометрически распределенная случайная величина„т.е. Р(Х = lс) — Р(! — Р) к=1,2,3... а) Найдите энтропию Х. Ь] Известно, что Х>К, где К вЂ” заданное целое положительное число.
Чему равна энтропия Х? 3.11. Пусть Х и У обозначают две совмес~но распределенные дискретные случайные величины. а) Г!окажите„что Н(Х) = -~ Р(х, у) !ой Р(х), Н(У) = - ) Р(х,у) !ойР(у). Х,У Ь) Используйте полученный выше результат, чтобы показать, что Н(Х, У) ь Н(Х]+ Н(у) . Когда наступает равенство? с) Покажите, что Н(Х!У) ~ Н(Х) и что равенство имеет место тогда„и только тогда, когда Х и У независимы.
3.12.Две двоичные случайные величины Х и у распределены согласно совместным вероятностям Р(Х .= У вЂ” ". 0) = Р(Х = 0 1'-" 1) = Р(Л = У = 1) = 113. Вычислите Н(Х) „НЯ. Н(Л~!), Н(1!Х) и Н(Х У) . 3.13. Ддн марковский процесс с одношаговой памятью, т.е. такой процесс, что ( х„~х„нхи з,хи з,...)=Р(х„!х„!) длЯ всех п. Покажите, что длЯ стационаРного маРковского пРоцесса энтропийная скорость определяется через Н(Х„!Х„!) .
ЗЛ4. Пусть У = 8(Х), где 8 обозначает детерминированную функцию. Покажите, что в общем Н(у) < Н(Х) . Когда наступает равенство? 3.15. Покажите, что 1(Х; У) = 1(Х) + 1(У) — 1(ХУ) . 3.!б. Покажите. что лля статистически независимых событий Н(Хн Хы ", Х„) = ! Н(Х,) . 3.17. Покажите, что в канале'без шумов Н(Х)У) = О. 338. Покажите, что 1(Хз,Хз~Х) = Н(Хз(Х)-Н(Хз~ХХз) и что Н(Хз~Х,) й Н(Х,~Х,Х,). !2б 3.19. Пусть Х является случайной величиной с ФПВ р,(х) н пусть:у = аХ+Ь: —. линейное преобразование Х, где а и Ь вЂ” две константы. Определите дифференциальную энтропию Ь(У) через:Ь(Х)).
3.20. Выходы х,,х, их, от ДИБП с вероятностями р,=045. Р,=0,35 н р,='02 прдобразуются линейным преобразованием у= аХ+Ь, где а и Ь - константы. Определите энтропию Н(у):м',поясните влияние преобразования на энтропию сигнала. 3.21. Оптимальный четырбхуровневый неравномерный квантователь для сигнала с гауссовским' распределением амплитуд вылабт четыре уровня а,, аз, аз и а4 с вероятностями 4ь =щ =0,3365 и ' рз = р4 = О,! 635. а) Определите код Хаффмена, который кодирует отдельные уровни, и определите среднюю битовую скорость.
Ь) Определите код Хаффмена, который кодирует два выходных уровня вместе, и определите среднюю битовую скорость. с) Какую минимальную битовую скорость можно получить, кодируя 7 выходных уровней, когда ,У вЂ” ь ю. 3.22. Марковский источник первого порядка характеризуется вероятностями состояния р1х,), 1 = 1, 2, ...,4., и переходными вероятностями Р(х41х4), Ь = 1, 2, ...,А и 4 .-44. Энтропия марковского ь источника Н1Х) = ) Р(хь)Л(Х~хх), где Н(Х~хз) — энтропия источника при условии, что он находится в 4-1 состоянии хь .
Определите энтропию двоичного источника первого порядка, показанного на рис. 3.22, который имеет переходные вероятности Р(хз)х) = 02 и Р(х)хз) = 03 1замстим, что условные энтропии Н(Х1Х) и Н(Х~Хз) определяются двоичными энтропийными функциями Н[Р(хз)х,)~ и Н(Р(х,~хз)~ соответственно). Как соотносится энтропия марковского источника с энтропией двоичного ДИБИ с теми же вероятностями выходных символов Р(х,) и Р(хз)? Р(х,й,) Рис. Р.3.22 3.23.
Источник без памяти имеет алфавит А = (-5, -3, — 1, О, 1, 3, 5) с соответствуюшими вероятностями (0,05; 0,1; 0,1; 0,1 5; 0,05; 0,25; О,З) . а) Найдите энтропию источника. Ь) Предположив, что источник квантуется согласно правилу квантования 4?(-5) = 47(- 3) = 4, о(- 1) = о(О) = 4(1) = О, 4?(3) = 47(5) = 4, :, . найдите энтропию квантованного источника. 324. Постройте троичный код Хаффмена, используюший выходные символы О, 1 и 2 при кодировании источника с вероятностяыи выходных символов алфавита (0,05; 0,1; 0,15; 0,17„0,1а; 0,22; 0,13) .
Каков» .,'::.:::результируюшая средняя длина кодового слова? Сравните среднюю длину кодового слова с энтропией ;!'::.источника. 1С каким основанием будете вычислять логарифмы в выражении для энтропии для полностью осмысленного сравнения?) 127 3.25. Найдите код Лемпела-Зива при кодировании двоичной последовательности источника оооюо1оооооо1100001оооооо01оооооою1оаооюооооо11о1ооооооо1 юо. Восстановите исходную последовательность по коду Лемпела-Зива. 1Подсказка: Вам потребуются два прохода двоичной последовательности, чтобы принять решение о размере словаря.) 3.2б.
Найдите дифференциальную энтропию непрерывной случайной величины Х в следующих случаях: а) Х вЂ” случайная величина с экспоненциальным распределением с параметром Х > О, т.е. ~Х е "~ (х>О), «',()-1 10 (для других х). Ь) Х-случайная величина с распределением Лапласа с параметром Х > О, т.е.
«х(х) =++~. 2х с) Х-случайная величина с треугольным законом распределения с параметром Л > О, т.е. (. +Х)/Х' (-Л<хяо), Ях)= ( — х+Х)/2.' (0<х<Х), 0 (лля других х). 3.27. Можно показатгч что для источника с рапределением Лапласа «'г(х)=(2?.) е и функция скорость-искажение с абсолютной величиной меры ошибки искажений г/(х,х) - 1х — х~ определяется как (1о8(7./О) (О< /7<Х), '(о (о>2.
). /См. Бергер, 1971) а) Сколько требуется бит/стенает для представления выходов источника со средним искажением, не превышающим 2/2? Ь) Постройте график /ц0) для трвх различных значений к в обсудите влияние изменения Х на этих кривых. 3.28. Можно показать, что если Х- непрерывная случайная величина с нулевым средним и дисперсией. а, то еб функция скорость-искажение при среднеквадратичной мере искажений удовлетворяет нижней и верхней границам, определяемым неравенствами .
/~Х)-зь1о82яе/7 < /1(о) < Уой~-а где и/А/ означает дифференциальную энтропию случайной величины Х(см. Ковер и Томас, 1991) а) Покажите, что для гауссовской случайной величины верхней и нижней границ совпадают. Ь) Постройте график для нижней и верхней границ для источника с лапласовским распределением прн а =1.
с) Постройте график лля нижней и верхней границ лля источника с треугольным распределением при э а -!. 3.29. Стационарный случайный процесс имеет автокорреляционную функцию Яг(т/ = ф А е К соз2л«вт и известно, что случайный процесс никогда не превышает по амплитуде величину б. Сколько требуется уровней квантования амплитуды, чтобы гарантировать отношение сигнал/шум квантования не хуже 60 дБ? 3.30. Канал с аддитивным белым гауссовским шумом имеет выход У Х .ь/, где Х вЂ” вход канала, а // шум с ФПВ: »/2яа„ Для случая, когдаХ вЂ” гауссовский белый шум с параметрами Е(Х) = О и Е(Х )- аозт, определите: а) условную дифференциальную энтропию ЬЯФ); Ь) среднюю взаимную информацию /(Х;У), 3.31.
ДИБП имеет алфавит из восьми символов х„ /=1,2...,8 с вероятностями из задачи 3.7. Используйте процедуру кодирования Хвффмена для нахождения троичного кода (с символами 0,1 н 21 для кодиРованиЯ выхода источника. 1Подсказка: пРибавьте символ хз с веРоЯтностью /зз=о и гРУппиРУйте по тРн символа на каждом шаге.1 3.32. Определите, существует ли двоичный код с кодовыми словами длиной (пи п„, из, и„) = (1, 2, 2, 3), удовлетворяющий условию префнксносги. 128 З.ЗЗ. Рассмотрите двоичный блоковый код с 2" кодовыми словами олииакоаой длины л. Покажите. по неравенство Крафта выполняется для такого кода. 3.34. Покажите, что энтропия л-мерного гауссовского вектора Х-(л~ .т ....т„) с нулевым средним н мазрицей ковариаций М равна Н(Х) — -')об,(2ле)ч ~ М !.
3.34. Рассмотрите Дибп с равновероятными лвоичиыми выходными символаяш (0,1). Уь гаиояшс меру искажении как В=Р,, где Рч — вероятность ошибки при передаче двоичных символов пильзене~ел!о чсрс~ знои шый сиечмстричный камал (ДСК). Тогда функция скорость-искажение рама (!!сргср, !971) Л(0) = 1+ В!ой В+(1- О) 1ойз(1- О), О < 0 =!',, < з.. Постройте график Л(0) лля 0<0<! /2. 3.36. Вычислите фуикцшо скорость-искажение для 44чгчного симметричного канала 1 — 0 л(0) =!ойз 34+ 01ойз О+(1 — В)1ойз— М вЂ” 1 .шя 4 8 2, 4, 8 и 1б. В=.Ри - вероятность ошибки. 3.37. 1'ассмотрите пользу от взвешенной СКО как меры искажений, опредслбииой как г~„г(Х,Х) =(Х вЂ” Х)' тт(Х вЂ” Х), где ьт' — симметричная, положительно-определенная азвешиваюшая матрица.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
