Вернер М. Основы кодирования (2004) (1151882), страница 12
Текст из файла (страница 12)
7.5. Диаграмма информационных потоков.H{X/Y) - определяет среднюю меру неопределенности посланного символа источника X в том случае, когда символы приемника источника У известны, т. е. оставшуюся неопределенность приемника.Величину H(X/Y) часто называют также «утечкой» информации,так как энтропию Н(Х) можно интерпретировать как собственнуюинформацию источника X, Н(Х) = 1(Х;Х). В бесшумном каналеH(X/Y) = 0 информация передается от источника X к источникуY и обратно без потерь (без «утечки»). Если канал полностью зашумлен, то H(X/Y) = Н(Х) и никакой передачи информации непроисходит («утекает» вся информация).H(Y/X) - определяет среднюю неопределенность принятого символа при известных посланных символах, поэтому ее называют «посторонней» шумовой информацией.Передачу информации по зашумленному каналу можно рассматривать как серию случайных экспериментов, которые способствуютснижению неопределенности.
С точки зрения теории информации,канал является источником шумов.Глава 7. Дискретные каналы без памятиПример: Передача информации по двоичному симметричномуканалу (ДСК).Поясним физический смысл величины 1(х; у) на примере ДСК(рис. 7.2). Для двоичного симметичного канала имеем(7.17)Как видим, I(X; Y) зависит только от двух параметров - вероятности ошибки в канале и вероятности появления символа х\ навыходе канала p(xi).
При этом выполняются следующие выражения= р И р(х2) = 1 - рр{у\)e\p{yi/x2)p{y2/x2)J\ e 1-е= (1 - е)р + е(1 - р) и р(у2) = 1 - р(у\)(7.18)Р(ХиУг)0.4 р -Рис. 7.6. Передача информации по двоичному симметричному каналу с вероятностью ошибки е для различных значений вероятности символа на входеканала р.Результаты вычислений для I(X;Y) при различных р и £ представлены на рис. 7.6 в виде семейства кривых I(X; Y) = f(p) при£ — {0.05,0.1,0.2,0.4,0.5}. В канале без шума е = 0 передача информации происходит без искажений и информация I(X; Y), в этомслучае, равна энтропии Н(х) на входе канала.
С увеличением уровняшума, вероятность ошибки е повышается, а количество переданной7.3. Передача информацииинформации снижается, причем, относительно малый уровень шума е =«0,05 приводит к заметному снижению I(X;Y). В.полностьюзашумленном канале £ = 0,5 передача информации невозможна.Интересно отметить, что при фиксированных значениях е, информация I(X;Y) существенно зависит от вероятности р на входеканала. При р = 1/2 через канал передается максимальное количество информации.
В разделе 7.5, в котором будет введено новое понятие - пропускная способность канала, это свойство I(X; Y) будетрассмотрено подробно.Пример: Связанные источники.Мы хотим дополнительно пояснить смысл энтропии на числовомпримере. Для этого мы предлагаем такую конструкцию связанныхисточников, в которой все интересующие нас величины могут бытьдостаточно просто подсчитаны.В таблице 7.1 задан дискретный источник без памяти Z с символами из алфавита {0,1,2,3} и соответствующими вероятностямисимволов. Каждый символ z\ кодируется двоичным кодом с первымбитом Xi и вторым битом 2/i- Мы будем интерпретировать "эти битыкак символы двух связанных источников X nY.Таблица 7.1.
Источник Z и его двоичное кодирование.iz.Pz(Zi)XУ101/200211/401321/810431/811Выполните следующие задания:1. Опишите источники XuY;2. Установите связь между источниками X и Y в форме модели канала, в которой источник X является входом канала, аисточник Y - его выходом;3. Приведите для задания 2 диаграмму информационных потокови найдите для этой диаграммы числовые значения энтропии;4. Найдите энтропию источника Z;L94Глава 7.
Дискретные каналы без памяти5. Выполните задания 2 и 3, считая источник У входом канала.Решение.1. Начнем с описания источников X и Y. Оба источника являются дискретными источниками без памяти. Используя таблицу 7.1,найдем распределение вероятностей символов 0 и 1 для каждого изних^H(7.19)(7.20)Согласно (2.34), энтропии источников равныта = -2.о б ! (5)Л 1 о е 2 (^„, 8 Ш ,(7ЛЦ2. Модель канала представляет собой двоичный канал с символами х\ и Х2 на входе и символами у\ и 2/2 н а выходе. Канал можетбыть задан матрицей переходных вероятностей (7.1), содержащей вероятности p{jjj/xi).
Из (7.19), (7.20) и таблицы 7.1 следует, что•rv,y(O,O)Pz{0)1/2ЗДМ>)S(2)V8PZZ)231/4Px(O)1/8В результате получим матрицу переходных вероятностей канала/2/3[1/3 \J(7-24)7.3. Передача информации 95 ;Замечание. Как и следовало ожидать, матрица является стохастической, так как сумма вероятностей в каждой ее строке равнаединице.ИсточникХОOsr-..»Источник Кг?О ОРис. 7.7. Двоичный канал.Диаграмма канала с вероятностями переходов приведена на рис.7.7.
Можно заметить ее сходство с диаграммой (рис. 7.2). Однако, внашем примере, уже нельзя говорить об ошибках в канале.3. Для построения диаграммы информационных потоков необходимо знание величин H(Y/X), H(X/Y) и I(X;Y). По известнымпереходным вероятностям можно вычислить H(Y/X)--(7.25)(2)log2pY/x(Q/l)-pz(3)log2PY/x(l/l).PzПодставляя числовые значения, находимбит2Ojl\ZJ4 °*\3J8o/V2/i 0,9387.Неличины I(X;Y) и H(X/Y) можно найти из (7.11).Диаграмма информационных потоков представлена на рис.
7.8.Утечка информацииЩХ/У) = 0,7956 битЭнтропияНЙШИЕШ———,Н(Х)=0,8113 битI ИХ;Y) = 0,0157 бит \I ^ ^ ^ ^ ^ ^ ^ЭнтропияH(Y) =0,9544 битПосторонняя информация ЩУ/Х) = 0,9387 битРис. 7.8. Диаграмма информационных потоков связанныхисточников.^96Глава 7. Дискретные каналы без памяти4. Энтропия источника Z равнаПолученным результатам можно дать следующую интерпретацию.Энтропия источника Z равна совместной энтропии двоичнь!х источников X и У. Энтропия источника Н(Х) равна 0,8113, остальные0,9387 бит вносит условная энтропия H(Y/X) согласно (7.7).5. По аналогии с заданием 2, находимPz(0)1/24_=_ = Рг(1)1/42~ з78 - з1/8'р=15(7 28)-1/8 _ 13/8-3и получаем матрицу канала(7(7 2Диаграмма канала и диаграмма информационных потоков ноказанына рис.
7.9 и рис. 7.10.РИСТОЧНИК X0л/сИСТОЧНИК У2/31/50Рис. 7.9. Двоичный канал.Утечка информацииH(Y/X) = 0,9387 битЭнтропия навыходе каналаН(Х) =0,8113 битПосторонняя информацияЯДО9 =0,7956 битРис. 7.10. Диаграмма информационных потоков.7.4- Выводы7.4. ВыводыВсе определения и величины, рассмотренные в предыдущих разделах, обобщены в таблицах 7.2 и 7.3. Следует обратить особое внимание на переходы от теории вероятностей к теории информации.При этих переходах выходные символы дискретных источниковбез памяти рассматриваются как исходы случайных экспериментов.В соответствии с вероятностями этих исходов, каждому символу приписывается некоторая информационная мера, равная логарифму вероятности его появления.
Заметим, что вероятности символов можнорассматривать как стохастические переменные.При переходе от вероятностей символов к их информационномусодержанию, вводится новая величина, не имеющая аналога в теориивероятностей - взаимная информация, которая возникает при анализе пар совместных событий (ж, у). Взаимная информация определяется как логарифм отношения апостериорной вероятности символа ур(у/х) к его априорной вероятности р(у) и служит информационноймерой связности двух событий.Для описания источников используются средние значения информации символов, генерируемых источником. Таким образом, вводится понятие энтропии как математического ожидания количестваинформации отдельных событий (символов) или пар событий.
Приэтом, особую роль играет взаимная информация. Ее математическоеожидание I(X;Y) является мерой передаваемой информации и характеризует связь между двумя источниками X и Y, т.е. описываетсреднее количество информации, которой обмениваются между собой источники по каналу связи. Основополагающее значение величины I(X; Y) будет подробно раскрыто в следующих разделах.98Глава 7. Дискретные каналы без памятиТаблица 7.2. Дискретные источники без памяти X и У с символами х £ X — {ж1,Ж2, • • • ,хм} и у 6 Y ={уьУ2, ••-,!/w}Теория вероятностейТеория информацииВероятность отдельного символа(априорная вероятность)Информация отдельного символа/(x) = -!og 2 p(z)6HTр(х)Совместнаясимволоввероятностьдвухр{х,у)Р{У)р(у/х) = У(х,у)Информация пары символов(7.31)Условная вероятность (апостериорная вероятность)р(х/у) =(7.30)Условная информация(7.33)1(у/х) = - log2 p(y/x) бит(7.32)Взаимная информация/ ( * ; » ) = •апостериорная инф.бит =априорная информ.(7.34)р(х)р(х)Обозначенияр(х) = Рх (х.) для х, 6 Xр(х/у) = Px/r(xi/yj)битНекоторые важные соотношения, используемые для расчетов]Гр(х) = 1;для Xi € X53 Р(УЖ.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
