Прокис Дж. - Цифровая связь (1266501), страница 19
Текст из файла (страница 19)
(3.2.13) л !л"! !ь Поскольку совместную вероятность Р(Х!, Х2, ..., Хг) можно выразить в виде Р(»«," «„) = Р(«)Р(х, ~х!)Р(», ~»!х,)".Р(х„~«х," «4,), (3.2.14) то следует Н(Х,ХзХ, ...Х,) — Н(Х,)+ Н(Х2 ~ Х,)+ Н(Х, ~ Х,Х,)+ + "+ Н(Х„! Х, ... Х,, ) = ~ Н(Х, ~ Х, Х, ... Х,, ). С учетом результата Н(Х) > Н 1Х~У), где Х=Хс и 1г=Х!Х2...Х !, из (3.2.15) следует Н(Х,Хз...Х„) Ч;Н(Х„,), (3.2.16) ьь 1 причем равенство имеет место тогда, и только тогда, когда случайные величины Хь Х2, ..., Хя статистически независимы. (32.15) 3.2,2. Измерение информации для иеирерьгвных случайных величии Определение взаимной информации, данное выше для дискретных случайных величин, можно непосредственно использовать для непрерывных случайных величин. В частности, '"-", Н( г!Х) называют энтропией шума в канале (прп) 80 если Хи У вЂ” случайные величины с.СПВ р(ху) н,собственными ФПВ р(х) и р(у), то средняя взаимная информация между Х и У определяется как 1(Х;У) = ~ ~ р(х)р(у1х)1од с(хф.
«3.2,17) р(х)р(у) Несмотря на то, что выражение для средней взаимной информации легко обобщается ва непрерывные случайные величины, сделать это для собственной информации непрерывной случайной величины невозможно. Проблема в том, что непрерывные случайные величины требуют неограниченного числа двоичных цифр для их точного представления. Следовательно, энтропия непрерывной случайной величины также " 'неограниченна. Всй же введйм характеристику, которую назовем дифференциальной энтропией непрерывной случайной величины Х: Ь(Х) =-~ р(х)1ояр(х)Их.
(3.2.1 8) Подчеркнем, что эта характеристика не имеет физического смысла собственной ;:,:.:, 'информации, хотя может показаться, что она является естественным обобщением определения энтропии для дискретной случайной величины (см. задачу 3.6). Определим . среднюю условную дифференциальную энтропию Х при заданном 'г' как Ь(Х ~ Г) = — ~ ~ р(х,у) 1ойр(х ~ у)ахоу. (3.2.19) Тогда среднюю взаимную информацию можно выразить как 1(Х; У) = Ь(Х) — Ь(Х,' К) вли альтернативно как Г(Х;У) = Ь(т)-Ь(К~ Х). В некоторых случаях, представляющих практический интерес, случайная величина Х йвляется дискретной, а У вЂ” непрерывной. Для конкретности предположим', что Х имеет возможные исходы х„1=1, 2,, и, а 1' определяется собственной ФПВ р(у).
Если Х и г' 'статистически взаимосвязаны, мы можем выразить р(у) так. и р(у) = ~~) р(у1х)р(х,). ~! Взаимная информация относительно события Х=х, при наблюдении события 1'=у определяется как (3.2.21) х(ху>"— —,'1 [р(у(А)ьд +р~у1-А)3~~ ' ~ну. (3223) р(у! А) р(у1 — А) ~ . р(у) р(у) 6-56 1(х,;у)=1оя ' ' ' =1оя (3.2.20) р(у)Р(х,) р(у) Тогда средняя взаимная информация между Х и 1' 1(Х;г')= ~> ~ р(у1х,)Р(х,)1оя~ У * аУ. р(у) Пример 3.2.5.
Предположим, что Х является дискретной случайной величиной с двумя ";: равиовероятными выходами Х~ = А и Хг =А, Предположим, что условная ФПВ р(у1х,), ;:. И, 2, является гауссовской со средним Х и дисперсией и, т.е. р(И А) = е " "' " ~/2ткг (3.2.22) р(у1-А) = е """' '"' . /2ла . 3 Средняя взаимная информация согласно (3.2.21) равна Р(У) =Й (У1А)+Р(И-А)1. (3.2.24) В гл. 7 мы покажем, что средняя взаимная информация Е(ХУ), определяемая (3.2.23), представляет пропускную способность канала с двоичным входом и аддитивным гауссовским шумом. 3.3, КОДИРОВАНИЕ ДЛЯ ДИСКРЕТНЫХ ИСТОЧНИКОВ В разд. 3.2 мы ввели меру для информационного содержания дискретной случайной величины Х.
Когда Х является выходом дискретного источника, энтропия Н(Х) источника определяет среднее количество информации на символ, выдаваемой источником, В этом разделе мы рассмотрим процесс кодирования выхода источника, т.е. процесс представления выхода источника последовательностью двоичных цифр. Эффективность способа кодирования источника можно измерить путем сравнения среднего количества двоичных символов кодера на один символ источника и энтропии источника Н(Х). На первый взгляд может показаться, что кодирование дискретного источника с конечным объемом алфавита является простой проблемой.
Однако это нерио, только если источник без памяти, т.е. когда последовательные символы источника статистически независимы и каждый символ кодируется отдельно. Дискретный источник без памяти (ДИБП) является простсйшей моделью, которую можно предложить для физического источника. Эта идеализированная математическая модель подходит для немногих физических источников. Например, можно легко убедиться н том, что последовательно выдаваемые буквы устройством, печатающим осмысленный текст, статистически взаимосвязаны. С другой стороны, если печатается компьютерная программа на языке Фортран, то можно ожидать, что зависимость в последовательности выходных символов проявится значительно меньше.
Во всяком случае, мы локан!ем, что всегда более эффективно кодировать блок символов источника вместо того, чтобы кодировать каждый символ отдельно. Если размер блока достаточно большой, то среднее количество символов кодера на один выходной символ источника можно сделать сколь угодно близким к энтропии источника. 3.3.1. Кодирование для дискретных источников без памяти (3.3.3) Предположим, что ДИБП вьщаег буквы или символы каждые т, секунд. Каждый символ выбирается из конечного алфавита хь г=1, 2, ..., Е, с вероятностью Р(х,), !'=1, 2, ..., Е. Энтропия ДИБП в битах на символ !. Н(Х) = -~~> Р(х,) 1ояз Р(х,) < 1ой, Е, (3.3.1) г=! причем равенство имеет место, если все символы равновероятны.
Н(Х) определяет ",' среднее число бит на символ источника, а производительность источника в битах/с ',' определяется как Н(Х)/т, . ",! я Кодовые слова фиксированной длины. Сначала рассмотрим схему блокового ':.:"!' 4;, кодирования, которая сопостанляет уникальный ряд из Я двоичных символов с каждым:;:::.' .".; символом источника. Поскольку имеется Е возможных символов источника, то число .'",.
-',- двоичных символов кодера на один символ источника при уникальном кодировании Я =1оя, Е., (3.3.2) когда Е равно целой степени основания 2, и Я=~1ой Е1+1, когда Е не равно целой степени основания 2. Здесь (х означает наиболыпее целое, меньшее, чем х. д будем называть скоростью кодирования . Она определяет число символов кодера на 1 один символ источника.
Поскольку Н(Х)< 1ояз Е, то Я > Н(Х). Эффективность кодирования для ДИБП определяется отношением Н(Х)1К Видим, что если Е равно степени числа 2 и символы источника равновероягны, то Я вЂ” Н(Х). : ' Следовательно, код фиксированной длины с Я двоичными символами на символ источника в данном случае обеспечивает стопроцентную эффективность. Однако, если Е не равно степени 2, но символы источника всй еще равновероятны, Ут отличается от Н(Х) самое большее на один бит на символ. Если 1ой Е»1, эффективность такой схемы кодирования высока.
С другой стороны, если Е мало, эффективность кода с фиксированной длиной можно увеличить путем кодирования последовательности из .У символов источника за время Ут,. Чтобы выполнить такое кодирование, мы должны выбрать ЕА уникальных кодовых слов. Используя кодовую последовательность из М двоичных символов, мы можем образовать 2 возможных кодовых слов. Число М должно быть выбрано так, чтобы г М>.У1ой, Е.
Следовательно, требуется минимальное целое значение для М, равное М =~,У!ой Е1+1, (З-З.4) Теперь среднее число символов кода на символ источника Я=МЕУ, и, таким образом, .:,,:. неэффективность кодирования сокращается примерно в ,У раз цо сравнению с яосимвольиым кодированием, описанным выше. Взяв .У достаточно большим, можно ,",'-;:;!: сделать эффективность процедуры кодирования, измеренную отношением УН(Х)/М, как угодно близкой к единице.
Методы кодирования, описанные выше, нс приводят к искажениям, так как кодирование символов источника или блоков таких символов в декодирования каждый раз, когда источник выдаст такой маловероятный блок, Пусть Р, означает вероятность такой ошибки. Отталкиваясь от этой процедуры кодирования, П)синоп (1948) доказал следующую теорему кодирования источника Теорема кодирования источника 1. Пусть Х вЂ” это ансамбль символов ДИБП с '-::-'.:.:конечной энтропией Н(Х). Блоки из У символов источника кодируются в двоичные кодовые ':::;.::слова длиной М.
Для любого е>О вероятность Р,, ошибки декодирования можно сделать сколь угодно малой, если М Я = — > Н(Х)+с ,у (3 3.5) и,У достаточно велико. Наоборот, если 1 Этот параметр не следует пугать со скоростью передачи информации от двоичного источника используемой, в частности, в гл. 4. По своему смыслу используемый здесь параметр Я можно было бы назвать кзатратм (иа кодирование)» (прп).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
