Прокис Дж. Цифровая связь (2000) (1151856), страница 30
Текст из файла (страница 30)
с) Трн символа вместе кодируются в двоичную последовательность. 338 Напомним 13.2.б) 1(х,;у ) = 1(х,)-1(х,~у ). Докажите, что а) 1(х„у ) = 1(у ) — 1(у !х,); Ь) 1(х„у) =1(х)+ 1(у) — 1(х„у ), где 1(х„у,) =-!ой Р(х„у ) 3.10. Пусть Х вЂ” геометрически распределенная случайная величина, т.е. р(Х = А) = р(! — р) ! — ! я=1,2,3...
а) Найдите энтропию Х. Ь) Известно, что Х>К, где К вЂ” заданное целое положительное число. Чему равна энтропия Х? 3.11. Пусть Х н У обозначают две совместно распределенные дискретные случайные величины. а) Покажите, что Н(Х) = — Э р(х,у)!о8 Р(х), Н(Г) = — ~~! р(х,у) !ой Р(у). х,у Ь) Используйте полученный выше результат, чтобы показать, что Н(Х, У) ь Н(Х)+ Н(У) . Когда наступает равенство? с) Покажите, что Н(Х!у)<Н(Х) и что равенство имеет место тогда, и только тогда, когда Х и У независимы. 3,12.
Две двоичные случайные величины Х н У распределены согласно совместным вероятностям Р(Х = У=О) = Р(Х = О,У= 1) = Р(Х= У= !) = !/3. Вычислите Н(Х), Н(!'),Н(Х)'), Н(У)Х) и Н(Х,!'). 3.13. Дан марковский процесс с одношаговой памятью, т.е. такой процесс, что р(х„!х„!,х„'з,х„з,...)=р(х„(х„!) для всех и. Покажите, что для стационарного марковского процесса энтропийная скорость определяется через Н(Х„(Х„!) . 3.14. Пусть У = 8(Х), где д обозначает детерминированную функцию. Покажите, что в общем Н(у) < Н(Х) .
Когда наступает равенство? 3.15. Покажите, что 1(Х; У) = 1(Х) +1(У) — 1(ХУ) . ° 3.1б. Покажите, что для статистически независимых событий О ( '- .)=Х() ~ы 3.17. Покажите, что в канале'без шумов Н(Х!У) = О. 3.18. Покажите, что 1(Хз,' Хз!Х!) = Н(Хз!Х!) — Н(Хз!Х!Х!) н что Н(Х!Х)'- ( з!ХХ) 12б 3.19. ПустьХявляется случайной величиной с бэПВ р„(х) и пусть У=аХ+Ь вЂ” линейное преобразование Х, где а и Ь вЂ” две константы.
Определите дифференциальную энтропию ЦУ) через ЯХ) . 3.20. Выходы хн хз и хз от ДИБП с вероятностями р, =045, рз =035 и рз — — 02 преобразуются линейным преобразованием У = аХ+Ь, где а и Ь вЂ” константы. Определите энтропию Н(у) и поясните влияние преобразования на энтропию сигнала. 3.21.
Оптимальный четырбхуровневый неравномерный квантователь для сигнала с гауссовским распределением амплитуд выдабт четыре уровня а,, аз, аз и а„с вероятностями р, =рз =0,3365 и рз = р4 = 0,1635 . а) Определите код Хаффмена, который кодирует отдельные уровни, и определите среднюю битовую скорость, Ь) Определите код Хаффмена, который кодирует два выходных уровня вместе, и определите среднюю битовую скорость. с) Какую минимальную битовую скорость можно получить, кодируя / выходных уровней, когда ,/-+ сс.
3.22.Марковский источник первого порядка характеризуется вероятностями состояния р(х,),1=1, 2, ...,Е, и перехолными вероятностями Р(х~~х), Е =1,2, ...,Е и /с~?. Энтропия марковского источника Н(Х) = ~',Р(хх)Н~Х~х„), где Н(Х~х„) — энтропия источника при условии, что он находится в гы состоянии хь. Определите энтропию двоичного источника первого порядка, показанного на рис. 3.22, который имеет переходные вероятности Р(хз(х,) = 02 и Р(х,~хз) = 0,3 [заметим, что условные энтропии Н(Х)Х,) и Н(Х~Хз) " определяются двоичными энтропийными функциями Н(Р(хз(х,)) и Н(Р(хДх,)~ соответственно]. Как соотносится энтропия марковского источника с энтропией двоичного ДИБП с теми же вероятностями выходных символов Р(х,) и Р(хз)? Р(х2п,) Р(х,(х2) Рис.
Р.З.22 3.23. Источник без памяти имеет алфавит А = (-5, — 3, — 1, О, 1, 3, 5) с соответствующими вероятностями (0,05; 0,1; О,1; 0,1 5; 0,05; 0,25; 0,3) . а) Найдите энтропию источника. Ь) Предположив, что источник квантуется согласно правилу квантования д(-5) = д(-3) = 4, а(- 1) = а(О) = а(1) = О, 4(З) = а(5) =4, найдите энтропию квантованного источника. 3.24.
Постройте троичный код Хаффмена„использующий выходные символы О, 1 и 2 при кодировании источника с вероятностями выходных символов алфавита (005; 0,1; 015; 017; 0,18; 022; 0,13) . Какова результирующая средняя длина кодового слова? Сравните среднюю длину кодового слова с энтропией источника. (С 'каким основанием будете вычислять логарифмы в выражении для энтропии для полностью осмысленного сравнения?). !27 3.25. Найдите код Лемпела-Зива при кодировании двоичной последовательности источника 000100100000911000010000000100000010100001000000110100000001100.
Восстан9вите исходную последовательность по коду Лемпела-Зива. !Подсказка: Вам потребуются два прохода двоичной последовательности, чтобы принять решение о размере словаря.) 3.26. Найдите дифференциальную энтропию непрерывной случайной величины Хв следующих случаях: а) Х-случайная величина с экспоненциальным распределением с параметром З.
> О, т.е. /х(х) = Х 'е ы (х>0), ы 0 (для других х). Ь) Х-случайная величина с распределением Лапласа с параметром 7. > О, т.е. 7. („) ! -!-ф" с) Х-случайная величина с треугольным законом распределения с параметром З. > О, т.е. (х+ Х)/Х ( — Х < х < 0), Ях) = (- х+ Х)/З.' (О < х < Х), 0 (для других х). 3.27. Можно показать, что для источника с рапределением Лапласа /х(х) =(27.) е " функция скорость-искажение с абсолютной величиной меры ошибки искажений с/(х,х) =!х — х~ определяется как ) Ьэй(7 / /Э) (О < /7 < Х), '(О (П > 7.
). !См. Бергер, 1971) а) Сколько требуется бит/отбчбт для представления выходов источника со средним искажением, нс превышающим З/2? Ь) Постройте график Я!0) для трех различных значений ?. и обсудите влияние изменения 1, на этих кривых. 3.28. Можно показать, что если Х вЂ” непрерывная случайная величина с нулевым средним и дисперсией з и, то ее функция скорость-искажение при среднеквадратичной мере искажений удовлетворяет нижней и верхней границам, определяемым неравенствами и(Х) --~!о82яе/Э < /с(/Э) < — '!ой э о, где й(А/ означает дифференциальную энтропию случайной величины Х !см.
Ковер и Томас, 1991) а) Покажите, что для гауссовской случайной величины верхней и нижней границ совпадают. Ь) Постройте график для нижней и верхней границ для источника с лапласовским распределением при о =1. с) Постройте график для нижней н верхней границ для источника с треугольным распределением прн а =1. 3.29. Стационарный случайный процесс имеет автакорреляционную функцию Ях(т) =, А е 'ф соз2я/ т и известно, что случайный процесс никогда не превышает по амплитуде величину 6. Сколько требуешься уровней квантования амплитуды, чтобы гарантировать отношение сигнал/шум квантования не хуже 60 дБ? 3.30.
Канал с аддитивным белым гауссовским шумом имеет выход У=Х+Ф, где Х вЂ” вход канала, а Ф— шум с ФПВ: ря(и) = е 1 -п')2а' /2яо„ Для случая, когдаХ-гауссовский белый шум с параметрами Е(Х) = 0 и Е(Х ) = а г, определите: а) условную дифференциальную энтропию и!Х)Щ Ь) среднюю взаимную информацию /(Х У'/ 3.31. ДИБП имеет алфавит из восьми символов х„ /=1,2,...,8 с вероятностями из задачи 3.7. Используйте процедуру кодирования Хаффмена для нахождения трончного кода !с символами 0,1 и 2) лля кодирования выхода источника. !Подсказка; прибавьте символ хв с вероятностью р; — 0 и группируйте по три символа на каждом шаге.) 3.32.
Определите, сущебтвует ли двоичный код с кодовыми словами длиной (лп и„пз, п4) = (1, 2, 2, 3), удовлетворяющий условию префиксности. Н(Х) = —,' 1оцз(2ке)а ! М1. 3.35, Рассмотрите ДИБП с равновероятными двоичными выходными символами (0,1). Устшиншсс морс иска>кешгй как О=Ра где Рс — вероятность ошибки при передаче двоичных символов пользователю через иьоичный симметричный канал (ДСК). Тогда функция скоростьпскаясессссе равна (Барс ср.
1971) Рс(0) =1-ь01оцз О+(1 — 0)1оцз(1 — О), 0< 0= Усс ь —,' . Постройте график Я(0) для 0<Оь1/2. З.Зб. Вычислите функцию скорость-искажение для М-ичного симметричного канала 1 — 0 Рс(0) = )оцз Лс'+ 0 1оцз О+(1 — О) )оцз— 44 — 1 лля лГ=2, 4, 8 и 16. О=Ри — вероятность ошибки. 3.37.
1'ассмотрите пользу от взвешенной СКО как меры ссскажепссй, оирсделссиюй как г(л (Х,Х) =(Х-Х)' Ч (Х-Х), где уу — симметричная, положительно-определенная взвЕшсшаюшая матрссца. Путвм факторизации уу как %=РгР покажите, что агк(Х,Х) эквивалентно невзвецьеь!ссай СКО как лсеры искажений ь(э(Х',Хз), содержащей преобразованные векторы Х и Х т т 3.38, Рассмотрите стационарную случайную сигнальную последовазельносзь,(Х(п)) с нулевым срс,вин| и автокорреляционной функцией 11 (п=О), Ф(сс) =(Ф (л=-'1), (О ' (для других и). а) Определссте коэффициенты предсказания для предсказателя первого порядка с лс~шплссьзацисй СКО для (Л(сс)), заданной посредством соотношения х(п) = а,х(сс — 1), и соответствующее значение минимальной СКО кс . Ь) Повторите (а) для предсказателя второго порядка х(п) = а,х(п — 1) + аз.т(п — 2), .с А ,'ь .,ь ! л 3.39.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
