Кловский Д.Д. и др. Теория электрической связи (1999) (1151853), страница 57
Текст из файла (страница 57)
!о!о Условная энтропия обладает следующими свойствами: 1. Н(Х~У)>0. (Доказывается по определению Н(Х~У)). 2. Если вход и выход канала связаны взаимно однозначно, т.е. ( ) 1 у=у(х)ех О, у~у(х), у(х!)~у(х,), прих!~х„ то Н(Х/У) = 0 (Это свойство очевидно.) З. Н(Х® < (Х). (6.22) (Требует специального доказательства (см. [161).) 4. Н(Х~Х) = Н(Х) (6.23) тогда, и только тогда, когда Р(х~у) = Р(х) при всех х аХ", у еЪ™, т.е. когда х и у взаимно независимы.
(Проверяется непосредственно.) Приведенные выше свойства позволяют наглядно пояснить смысл понятия условной энтропии Н(Х~У). Это средняя информация, теряемая с каждым символом в канале связи из-за помех. Действительно, так как Н(Х~Х)>О, то информация из-за помех всегда теряется, но никогда не приобретается. Если ошибки в канале отсутствуют, т.е. каждая входная последовательносп переходит в одну, и только в одну выходную последовательность, то Н(Х~Х) = О, то потери информации отсутствуют. (Не исключена ситуация, когда входная последова- О Здесь и далее Х" и Ъ'" означает пространство (множество) всех векторов входа и выхода канала длины и, элементы которых берутся из алфавитов Х и х' соответственно..
228 тельность переходит с некоторыми вероятностями в разные выходные, но все же по выходной последовательности можно однозначно определить входную. Тогда по-прежнему Н(Х~Х) = 0 и потери информации будут отсутствовать.) Наконец, если выход канала не зависит от входа, а именно зто и означает совпадение условных и безусловных вероятностей, то по каналу связи не будет передаваться никакой информации, а поскольку на вход канала поступает ин- формация Н(Х), то вся она оказывается потерянной из-за помех, т.е. Н(Х~Х) = Н(Х). Определим количество информации, передаваемой по каналу связи Х(Х,Х), или взаимную информацию между выходом Ъ' и входом Х как разность между количеством информации, поступающей на вход (которое, как мы знаем, рав- но энтропии входа Н(Х)), и количеством информации, потерянным в канале связи (которое, как мы только что выяснили, равно условной энтропии Н(Х~Х)).
Поэтому 1(Х,Х) = Н(Х) — Н(Х~Х). (6.24) Эта величина обладает следующими свойствами: 1. 1(Х,Х) = 1(Х,Х) = Н(Х) — Н(Х~Х), где энтропия выхода Н(Х) и условная энтропия выхода при известном входе Н(Х~Х) определяются совершенно аналогично (6.10) и (6.20), с той лишь разницей, что имеющиеся там распределения Р(а~"') = Р(х~"') и Р(х~"'~у~."') должны быть заменены на Р(у~"') и Р(у~"'~с~."') соответственно. Это свойство требует доказательства (см4161). 2.
1(Х,Х) > 0 (Следует непосредственно из свойства 3 условной энтропии.) 3. Х(Х,Х) = О, тогда и только тогда, когда вход и выход канала статистически независимы, т.е. Р(у~х) = р(у) при всех х еХ", у ~У". (Следует негосредственно из свойства 4 условной энтропии.) 4. 1(Х,Х) < (Х) (Следует из определения 1(Х,Х) и свойства 1 условной энтропии.) 5. Если в канале связи отсутствуют помехи, то 1(Х,Х) = Н(Х) (Следует из свойства 2 условной энтропии.) 6. 1(Х,Х) < Н(Х).
(Следует из свойства 1 для количества переданной по каналу информации и свойства 1 для условной энтропии.) 7. 1(Х,Х) = Н(Х). (Получается формально непосредственно из определения, если положить х = у, Х = Ъ'.) 8. Любые детерминированные или случайные преобразования выходных последовательностей канала, в том числе и группировка наблюдений, т.е. объединение нескольких последовательностей, принадлежащих определенному подмножеству в один символ, не могут увеличить количество информации. В случае, если зти преобразования взаимно однозначные — количество информации не меняется.
Отмеченное свойство следует из того, что, пройдя по каналу (преобразователю) информация или теряется (при наличии неод- 229 Рис.6.2. Иллюстрации передачи информации по канаду с помехами Если для канала связи задана скорость передачи ч„~симпу'с], то аналогично определению производительности источника можно определить скорость передачи информации по каналу связи У(Х,х'): У(Х,т') = пк У(Х,1У) (бит/с). (6.27) Определим пропускную способность С дискретного канала связи с помехами как максимум количества информации У(Х,Х) по всевозможным распределениям р(х) входа канала, т.е. С= шахУ(Х„Т). (6.28) Из определения видно, что пропускная способность канала связи зависит только от свойств самого канала, т.е.
входного и выходного алфавитов Х у и заданного на них условного распределения вероятностей р(у~х), х еХ", у еТ", и не зависит от того источника, который подключен ко входу канала. Пропускная способность канала имеет следующие свойства; 1. С = шах(Н(Ъ') — Н(Т~Х)~ . (Следует из свойства 1 количества инФормации.) 2. С > О.
(Следует из свойства 2 количества информации.) 3. С=О тогда и только тогда, когда вход и выход канала статистически независимы, т.е. имеет место "обрыв канала". (Следует из свойства 3 количества информации.) 4. С< 1оят. (Следует из свойства 4 количества информации и свойства 3 для энтропии, в данном случае К= т.) 5. С = 1оят при отсутствии помех в канале связи. (Следует из свойства 5 количества информации и свойства 3 для энтропии.) 6. С < шах(Н(Т)) < шах(Н(1У)). (Следует из свойства 6 для количества информации.) Представляет значительный интерес вычисление пропускной способности для различных каналов связи с помехами. В общем случае это достаточно сложная, а иногда и просто необозримая задача.
Однако для некоторых рассмотренных 'ранее моделей каналов это оказывается вполне возможным. 1. тСК без памяти. Воспользуемся для расчета пропускной способности такого канала формулой, определяемой свойством 1: С = шах1Н(Ъ') — Н(Ъ'~Х)) . (6.29) 231 (6.31) (6.34) 232 Покажем, что условны энтропия Н(У)Х) в тСК не зависит от входного распределения Р(х). Действительно, по ее определению для канала без памяти получаем из преобразованного для Н(У)Х) (6.21) Н(Ъ)Х)=-~~Р(у)*,)Р(~)1ооу(у)о)= = -~ Р(*,)~ Р (у )о ) 1оо Р(у )*,) = (6.30) --Ь(*,)(Р1О 1,о(1-Р)1 О(1-Р))= ! 0 =-(Р1*О Р о(1-Р)1О(1-Р)) Поэтому (6.29) можно переписать следующим образом: С = шах(Н(Т))+ р1оя — + (1 — р) 1ой(1 — р) . По свойству 3 энтропии Н(Ъ') < 1оят, но если выбрать равномерное распре- деление на входе, т.е.
р(х) = 1/т, 1 = О, 1,..., т — 1, то получим (,)=х () (,)*,)=-'х (,)*,)=-' (6.32) и, следовательно, шах(Н(Ъ')) = 1оа т, (6.33) причем максимум достигается на равномерном входном распределении. Под- ставляя (6.33) в (6.31), окончательно получаем С =1о8т+р1о8 +(1-р)1оц(1-р). р 2. 2СК без памяти.
Это частный случай тСК при т = 2. Подставляя т = 2 в (6.34), находим (для основания логарифмов 2) С вЂ” 1+ р 1ор,р+(1- р) 1ой,(1- р) (бит/символ). (6.35) 3. Двоичный по входу стирающий канал С = 1 — р, (бит/символ). (6.36) (Получение этого выражения требует доказательства, хотя оно и является достаточно простым (см., например 1161,) 4.
Двоичный канал с памятью и аддитивным шумом. Из свойства 1 для количества информации и свойства 5 условной энтропии получаем С = шах1Н(хУ)) — Н(Е) . (6.37) Р(У) Аналогично тому, как это было доказано в (6.32), получаем, что при выбо- ре взаимно независимых и равновероятных символов х; символы у; на выходе также оказываются взаимно независимыми и равновероятными. Поэтому вы- полняется (6.33), подставляя которое в (6.37) находим С = 1 — Н(Е) (бит/символ). (6.38) Отметим, что энтропия источника помехи Е в виде последовательности двоичных символов с вероятностями'р и 1 — р удовлетворяет неравенству Н(Е) < — р1оа~р — (1 — р)1оя2(1 — р) (бит/символ), Заметим, что эта ситуация отличается от "обратной работы", описанной в гл.
5 и являющейся следствием квазикогерентного приема ФМ сигналов. Дело в том, что скачки фазы там возникают в случайные моменты времени, приводя к участкам то правильной, то "обратной работы". Мы не знаем моментов скачков и поэтому не можем скорректировать их обратным декодированием.
Модель такого канала отнюдь не эквивалентна 2СК, имеющему вероятность ошибки р = 1. Подчеркнем, что формула для пропускной способности 2СК имеет наиболее простой вид при выборе двоичного основания логарифма, когда пропускная способность канала связи измеряется в дв. ед./символ или, что то же самое, — в бит/символ. Можно определить пропускную способность канала С'в единицу времени как С'= нкС, где ук — скорость передачи символов по каналу связи (число символов в 1 с).
Если при определении использован двоичный логарифм, то С' будет измеряться в бит/с. Аналогично условной энтропии можно ввести понятие средней условной взаимной информации. Ограничиваясь' для простоты случаем канала без памяти, получаем с1р) 1 0,8 О,б 0,4 02 О,2 О,4 О,б О,8 Рнс.б.З. Зависимость пропускной способности 2СК без памяти от вероятности ошибки символа 233 причем равенство наступает лишь для источника помех без памяти.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
