Прокис Дж. - Цифровая связь (1266501), страница 18
Текст из файла (страница 18)
Предположим, что Х(1) — стационарный случайный процесс с автокорреляционной функцией ф„,(т) и спектральной плотностью мощности Ф„и. Если Х(1) — частотно-ограниченный случайный процесс, т.е. Ф„и = О для Ц > й~, можно -::,, " ' использовать теорему отсчетов для представления Х(г) в виде Х=х,. Подходящая мера информации, которая удовлетворяет указанным логарифм отношения условной вероятности Р(Х = х, ~ 1' = у,) = Р(х, ~ у,.) к вероятности условиям, — зто 1 4 1 Это значит, что количество информации, полученное при появлении события У=ун относительно события Х=х,. определяется как Р(х, ~ у,,) 1(х,.;у,.) = 1оя (3.2.1) Р(х,) 1(х,;у,) названа взаимной информацией между х, ну. Единица измерения 1(х,.;у,) определяется основанием логарифма, в качестве которого обычно выбирается или 2, или е.
Когда основание логарифма равно 2, единицей измерения 1(х,;у,) является бшн, а когда основание равно е, единицей измерения 1(х,;у,) является нат (натуральная единица). (Стандартная аббревиатура для 1оя. — это 1п.) Так как 1па= 1п2.1ояз а=0,69315 1оя,а, то количество информации, измеренное в натах„равно количеству информации, измеренной в битах, умноженному на 1п 2. Когда случайные величины Х и У статистически независимы, то Р(х,~у,) = Р(х), и, следовательно, 1(х„.у,) =О. С другой стороны, когда выбор события У=у полностью определен выбором события Х=хь условная вероятность в числителе (3.21) равна единице и, следовательно, 1 1(х,;у,.) = 1оя — = — 1ояР(х,) =1(х,;х,).
(3.2.2) Р(х,) Но (3.22) как раз определяет информацию о Х=х,. Исходя из этих соображений, ее называют собственной информацией события А=х„. Она обозначается так: 1 1(х,) = 1ой — = — 1оя Р(х,) . (3.2.3) Р(х,.) Заметим, что событие, которое выбирается с высокой вероятностью, сообщает меньше информации, чем маловероятное событие. Действительно, если имеется единственное событие х с вероятностью Р(х)=1, тогда 1(х)=0. Чтобы далее показать, что логарифмическая мера количества информации является единственно приемлемой для цифровой связи, рассмотрим несколько примеров. Пример 3.2.1, Предположим, что имеется дискретный источник, который выдает двоичную цифру 0 или 1 с равной вероятностью каждые т, секунд.
Количество информации при каждом появлении новой цифры . 1(х,)= — 1оя, Р(х,.)=-1оя,Зз =1(бит), х, О, 1. Теперь предположим, что последовательные цифры на выходе источника статистически независимы, т.е. источник не имеет памяти. Рассмотрим блок символов источника из й двоичных цифр, который существует на интервале 1сг,. Имеется М =2" таких возможных 1г-битовых блоков, каждый с равной вероятностью 11' М = 2 ' .,-"' С. Собственная информация й -битового блока равна 76 1(х,')=-1ойз2 "=х бит, н она вьцьзбтся на временном интервале Кт,. Таким образом, логарифмическая мера количества информации обладает желаемыми свойствами аддитивности, когда определйнное число единичных выходов источника рассматривается как один блок, Теперь вернемся к определению взаимной информации, определяемой (3,2.1), н умножим числитель н знаменатель отношения вероятностей на р(у,): Р(х, ! у,) Р(х, ! у,)Р(у,) Р(х,,у,) Р(у, ! х,) Р(х,) Р(х,,)Р(у,) Р(х,.)Р(у ) Р(у ) Отсюда делаем вывод 1(х,;у~) =1(у,.;х,).
(3.2.4) Таким образом, информация, содержащаяся в выборе события Р=-у относительно события Х=х„ идентична информации, содержащейся в выборе события Х=х, относительно события У=». Пример 3.2.2. Предположим, что Х и 1' — двоичные (0,1) случайные величины, представляющие вход и выход канала с двоичным входом н двоичным выходом.
Входные символы равновероятны, а условные вероятности выходных символов при заданном входе определяются так: Р(! =О!Х=О) =1-р„ Р(У=1!Х=О)=р„ Р(1=1!Х=1)=1-р„ Р(У=О!Х=!)=р,, Определим, сколько информации об Х = О и Х = 1 содержится в событии Г = О. Из заданных вероятностей получим Р(У = 0) = Р(У =- 0 ! Х = 0) Р(Х = О) + Р(У = 0 ! Х = 1)Р(Х = 1) = - (1 — р, + р ); Р(У = 1) = Р(У = 1! Х = 0)Р(Х = О) + Р(У =1 ! Х = 1)Р(Х = 1) = —,(1- й + Ра). Тогда взаимная информация о символе Х = О при условии, что наблюдается У = О, равна 1(,.у) 1(0.0) 1, Р(К=О!Х=о),! 2(1-РО) Р("т'= 0) 1-. ра + р, Аналогично взаимная информация о символе Х =1 прн условии, что наблюдается У = О, равна 1(х,;у,) =1(1;0) = 1оя, 2р, 1 р+р Рассмотрим несколько частных случаев.
В первом, когда ра = р, = О, канал называют -: каналом без шумов и 1(О;О) = !ода 2 = 1 бит. Следовательно„когда выход точно определяет вход, нет потери информации. С другой стороны, если р = р, = 1/2, канал становится непригоднмлз ', так как 1(0.„0) =!ой,'! = 0. Если р, = р, = 1/4, то 1(0;0) = 1ой, ', = 0,587 бнт; 1(0; 1) =!ой„з. = -1 бит. ' Этот случай называют «обрыв канала» (прн) 77 Помимо определения взаимной информации я собственной информации полезно определить услоеную собстеенну~о информаз)ию как 1 1(х, ~у,)=1ой =--1о»Р(х, ~у,).
(3.2.5) Р(х, ~ у,.) Тогда, комбинируя (3.2.1)„(3.23) и (3.2.5), получаем соотношение 1(х,;уу)=Х(х,) — 1(х,. ~у,). (3.2.6) Мы интерпретируем 1(х, ~у,Х как собственную информацию о событии Х=х, после наблюдения события У=у; Из условия 1(х,)>0 и 1(х, )у,)>0 следует, что 1(х„у,)<0, когда 1(х,. ~ у,) > 1(х,.), и 1(х„у,) > О, когда 1(х,. ~ у,) < 1(х,). Следовательно, взаимная информация между парой событий может быть или положительной, или отрицательной, или равной нулю.
3,2.1. Средняя взаимная информации н энтропия Зная взаимную информацию, связанную с парой событий (х;,у;), которые являются возможной реализацией двух случайных величин Х и У, мы можем получить среднее значение взаимной информации простым взвешиванием Х(х;,у;) с вероятностью появления этой пары и суммированием по всем возможным событиям. Таким образом, получим 1(Х;У)= ) ) Р(х„у )1(х„у,)= ) ) Р(х„у )1оа ' ' =1(У;Х) (3.2.7) ";1, Р(х,') Р(у, ) как среднюю взаимную информацию между Хи У. Видно, что 11Х,У)=0, когда Хи Устатистически независимы и Р(х„у,)= Р(х)Р(у,). Важным свойством средней взаимной информации является то, что 1(Х,У)г.0 (см.
задачу 3.4). Аналогично определим среднюю собственную информацию, обозначенную Н(Х): Н В Н(Х)= ) Р(х)1(х)=-") Р(х,)1о»Р(х,). (3.28) ю! ! Если К представляет собой алфавит возможных символов источника, Н(Х) представляет среднюю собственную информацию на символ источника, и ее называют энтропией источника. В частном случае, когда символы источника равновероятны, Р(х,)= 1/н для всех 1„' и, следовательно, Н(Х) =-КЦойА =1ояп.
(3.2.9) В общем случае Н(Х)<1ойн. (см. задачу3.5) при любых заданных вероятностях символов источника. Другими словами, энтропия источникамаксимальна, когда еыходные симеоны равновероятны. Пример З.Л.З. Рассмотрим двоичный источник, который выдает последовательность --";!" независимых символов, причйм выходной кодовый символ «О» с вероятностью гХ, а символ «1» с вероятностью 1- 7. Энтропия такого источника ' Термин «энтропияя взят из механики (термолинамики), где функция, появляя иа (3.2.8), названа .:,,".,* (термодинамической) энтропией. 78 т Н(Х) — Н(ч) — — е1 108 е1 -(1 — е1) 1ой(! - ь1) .
(3.2.10) Функцию Н(е1) иллюстрирует рис. 3.2.1. Видно, что максимальное значение функции энтропии имеет место при д = ф, причем Н(-,') =1 бит. Среднее значение условной собственной информации называется условной энтропией и определяется как 3 и 1 Н(Х ~ У) = ) Х Р(х у,) 1оБ (3.2.11) Р(х, !у,) Мы интерпретируем Н(Х!У) как неопределйнность Х (дополнительную информацию, содержащуюся в Х) после наблюдения У' Комбинация (3.2.7), (3.2,8) и (3.2.11) дает соотношение 1(Х; У) = Н(Х) — Н(Х ! У) = Н(У) — Н(У ~ Х) . (3,2,12) Из условия 1(Х, У) > 0 следует, что Н(Х) > Н(Х!У) и Н(У) > Н(У1Х), причйм равенство имеет место тогда, и только тогда, когда Х и У статистически незави-симы Если мы интерпретируем Н(Х!У) как среднее значение неопределйнности (условной собственной информации) Х после наблюдения У и Н(Х) как среднее значение априорной неопределйнности (собственной информации)„т.е.
имевшейся до наблюдения, тогда 1(Х,У) определяет взаимную информацию (уменыпение среднего значения неопределенности, имеющейся относительно Х после наблюдения У). Так как :.,::;:: . Н(Х)1Н(Х~У), то ясно, что прн условии наблюдения У энтропия Н(Х) не увеличится. 0,9 о.в о,г О и и и л й о,б оя ол о ,.в я о ододозолодоьодовод ~ Вероятиоеть я Рис. 3.23.
Энтропия двоичного источиню а Пример 3.2.4. Определим Н(Х!У) и 1(Х,У) для канала с двоичным входом и выходом, рассмотренного выше в примере 3,2.2, для случая, когда р = р, = р. Пусть вероятность входных символов равна Р(Х =0)еед и Р(Х =1)=1 — д .Тогда Н(Х) Н(д) = -ч1 18е1-(! — д)18(!-д), где Н(д) — функция энтропии, а условная энтропия Н(Х~У) определяется (3.2.11). Зависимость Н(Х!У) в бит/символ как функция от д и параметра р показана на рис. 3.2.2. График средней взаимной информации 1(Х, У) в бит/символ дан на рис. 3.2.3. р О й 0,8 Я О,б $ 0,4 0,2 0 0,2 0,4 0,6 0,8 ! 4- исоосп!ость сом!сыя Г 0 0 0,2 0,4 0,6 0,8 ! г-осрвпностьсомвояс« 0 Рис.3.2.3. Средняя взаимная информация для двоичного симметричного канала Рис.3.2.2.
Условная энтропия для двоичного симметричного канала Когда условную энтропию Н(Х~Г) рассматривают применительно к каналу с входом Х и выходом г', то Н(Х~У) называют ненадежностью.канала на символ и ее интерпретируют:3:: ' как величину средней неопределенности, оставшейся в Х после наблюдения зг . ! Результаты, приведенные выше, легко обобщаются на случай произвольного числа случайных величин. В частности, предположим, что мы имеем блок из 1г случайных величин Х!Х2Хз...Х4 с совместной вероятностью Р(Х!,Х2,...,Х4)сяР(Х! хь Х2=«2,...,Хг='-хя). Тогда энтропия определяется как со Н(Х,Х ...Х„)=-,у ~ч!' "~~г Р(х,х, ...х, )1ойР(хьхл,...х ).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
