Прокис Дж. Цифровая связь (2000) (1151856), страница 18
Текст из файла (страница 18)
Единица измерения 1(х„у,) определяется основанием логарифма, в качестве которо$ Та добыт~ обычно выбирается или 2, или е. Когда основание логарифма равно 2, единицей измерен б ~х,;у,) является бит, а когда основание равно е, единицей измерения 1(х,;у,) являета' лат (натуральная единица). (Стандартная аббревиатура для 1оя, — это 1п.) Так как $ редст 1п а = 1п 2 1оя, а = 0,69315 1оя, а, то количество информации, измеренное в натах, равно количеству информац пред< измеренной в битах, умноженному на 1п2.
Когда случайные величины Х и У статистически независимы, то Р(х,~у,) = Р(х,), 1 следовательно, 1(х,;у )=О. С другой стороны, когда выбор события У=у полность1 определен выбором события Х=х„условная вероятность в числителе (3.21) равна едини~( Оп и, следовательно, нож ьаданн 1(х,; у ) = 1оя — = — 1оя Р(х,) = 1(х,; х, ) . (3.2.2) Р(х,.) Но (3.22) как раз определяет информацию о Х=х,. Исходя из этих соображений, а называют собственной информацией события Х=хь Она обозначается так: 1(х, ) = 1оя — = — 1оя Р(х, ) .
1 (3.2.3) Р(х,) Заметим, что событие„которое выбирается с высокой вероятностью, сообщает меньщ' информации, чем маловероятное событие. Действительно, если имеется единственна Ан событие х с вероятностью Р(х)=1, тогда 1(х)=0. ~анна Чтобы далее показать, что логарифмическая мера количества информации являетй единственно приемлемой для цифровой связи, рассмотрим несколько примеров.
Пример 3.2.1. Предположим, что имеется дискретный источник, который выла) ра, двоичную цифру 0 илн 1 с равной вероятностью каждые т, секунд. Количества информации при каждом появлении новой цифры Сл 1(х) = - 1оя Р(х ) = — 1ой, ф = 1(бит), х, = О, 1. )тороп Теперь предположим„что последовательные цифры на выходе источник Е статистически независимы, т.е. источник не имеет памяти. Рассмотрим блок символа источника из )г двоичных цифр, который существует на интервале 1сг,. Имеется М =3 таких возможных lс-битовых блоков, каждый с равной вероятностью 11'М = 2 '~ Собственная информация 1с -битового блока равна ' Это Е(х,') =-1о8,2 ' =Ес бит, и она выдается на временном интервале Кт, Таким образом, логарифмическая мера 'полнчества информации обладает желаемыми свойствами аддитивности, когда 'определенное число единичных выходов источника рассматривается как один блок.
Теперь вернемся к определению взаимной информации, определяемой (3.2.1), и ~множим числитель и знаменатель отношения вероятностей на р(у,): Р(х,. ~ у,.) Р(х, ~ у,)Р(у,) Р(х„у,) Р(у, ! х,.) Р(х,) Р(х,)Р(у,) Р(х,.)Р(у,) Р(уе) Отсюда делаем вывод Е(х,; у,) = Е(у,; х,) . (3.2.4) Таким образом, информация, содержащаяся в выборе события У=у, относительно „обытия Х=х„идентична информации, содержащейся в выборе события Х=х, относительно ,"обьпия У=у; Пример 3.2.2. Предположим, что Х и У вЂ” двоичные (О, Ц случайные величины, представляющие вход и выход канала с двоичным входом и двоичным выходом.
Входные ;амвоны равновероятны, а условные вероятности выходных символов при заданном входе )пределяются так: Р(У=О!Х=О) =1-р„, Р(У=1~Х =О) = р„ Р(У=1~Х=1)=1 р„ Р(У =О!Х =1) =Рг Определим, сколько информации об Х = 0 и Х = 1 содержится в событии У = О. Из аданных вероятностей получим Р(1' = 0) = Р(У = 0 / Х = 0)Р(Х = 0) + Р(У = 0 ~ Х = 1)Р(Х = 1) = —,(1 — р, + р, ); Р(У=1)=Р(У=1~Х=ОЕР(Х=О)+Р(У=1~Х=ЦР(Х=Ц=ф(1 — р, +р ).
Тогда взаимная информация о символе Х= 0 при условии, что наблюдается У = О, равна Е(х„у,) = Е(0;0) =!о8, Р(1 О~ Х = 0) 1 2(1 Ро Р(У 0) 1 р +р Аналогично взаимная информация о символе Х =1 при условии, что наблюдается У = О, вна Е(х„'у,) =Е(1;0) =1оя, 2р, Ра+Р~ Рассмотрим несколько частных случаев. В первом, когда р, = р, = О, канал называют ~налом без шумов и Е(0; 0) = 1о8, 2 =1 бит. Следовательно, когда выход точно определяет вход, нет потери информации.
С другой проны, если р, = р, = 1/2, канал становится непригодныл~ ', так как Е(0 0) = 1о8, 1 = 0. Если р, = р, =1Е4, то Е(0; 0) = 1о8, ф = 0,587 бит; Е(0; Ц = 1о8, —,' = -1 бит. ' Этот случай называют «обрыв канала» (прп) 77 Пом!1мо определения взаимной информации и собственной информации полез!8 определить условную собственную информацию как « 1 Ф) 1(к! ) у ) = 1оя = — 1оя Р(х, ( у, ) . Р(к,.
~ у.) (3.2.5) ~! энтрог Тогда, комбинируя (3,2.1), (3.2.3) и (3,2.5), получаем соотношение Ср 1(х,.;у,) =1(х,)-1(х, ~у,). Мы интерпретируем 1(к!!у ) как собственную информацию о событии Х=х, пос4. ! / наблюдения события 1'=у!. Из условия 1(х,.)>0 и 1(х,. ~у,)>0 следует, что 1(х„у,)<$ когда 1(х, ! у!) > 1(х,.), и 1(х,, у,) > О, когда1(к, ( у,.) < 1(х!).
Следовательно, взаимн~ содеря информация между парой событий может быть илн положительной, или отрицательна~ нли равной нулю. 3.2.1. Средняя взаимная информация и энтропия ~! Из у Зная взаимную информацию, связанную с парой событий (х;,у;), которые являюто , равенс возможной реализацией двух случайных величин Х и У, мы можем получить среди~ когда значение взаимной информации простым взвешиванием 1(х;,у;) с вероягносты!Если появления этой пары и суммированием по всем возможным событиям.
Таким образо!( получим «и и я Р(х„у, ) 1(Х;у)=,');) Р(х„у,)1(х„у,)=,'!',ГР(к„у,)1ой " ' =1р;Х) (3.2.7)~!набл -! «=! -! з-! Р(к,)~ (у,), априо1 как среднюю взаимную информацию между Хи К !! инфор Видно, что 1(Х,У)=0, когда Хн 1'статистически независимы н Р(х!,у,) = Р(к )Р(у» девиа, Важным свойством средней взаимной информации является то, что 1(Х,У)>0 (с!~ ннф р задачу 3.4). ! ния ня Аналогично определим среднюю собственную информацию, обозначенную Н(Х): :, тельно « я ', Н(Х):. Н(Х)=") Р(х,,)1(х,)=-~~) Р(х,)1ояР(х,,).
(3.2.8) ! ! ! ! Если Х представляет собой алфавит возможных символов источника, Н(Х) представляя "нтск. среднюю собственную информацию на символ источника, и ей называют энтропие1 источника. В частном. случае, когда символы источника равновероятны, Р(х,)= 1/и дд Пр всех 1, н, следовательно, ' рассмс Я Н(Х) = — ,'Г-,!, 1оя —,', = 1ояп. (3 2 9) , !входна ! В общем случае Н(Х)<1ойп (см. задачу 3.5) при любых заданных вероятностя символов источника. Другими словами, энтропия источника л«аксимальна, когда выходнььгде Н символы равновероятны. , Зависн Пример 3.2.3. Рассмотрим двоичный источник, который выдает последовательност, независимых символов, причйм выходной кодовый символ «0» с вероятностью а, а симв!8 ~Р фи' «1» с вероятностью 1 — д.
Энтропия такого источника ' Термин «энтропия» взят из механики (термодинамики), где функция, похожая на (3.2.8), назва1 (тсрмодинамичеокой) энтропией. 78 а Н(Х) = Н(г/) = — 41 1ой !1 — (1 -41) 1о8(1 — !1) . (3.2.10) Функцию Н(г/) иллюстрирует рис. 3.2,1. Видно, что максимальное значение функции энтропии имеет место при д = 2, причем Н(22) = 1 бит. Среднее значение условной собственной информации называется условной энтропией и определяется как 1(Х;У) = Н(Х)-Н(Х ) У) = Н(У)-Н(У ! Х). (3.2.12) Из условия 1(Х, У) > 0 следует, что Н(Х)> Н(Х~У) и Н(У)> Н(У)Х), причем равенство имеет место тогда, и только тогда, когда Х и У статистически незави-симы. Если мы интерпретируем Н(Х~У) как среднее значение неопределенности (условной собственной информации) Х после наблюдения Уи Н(Х) как среднее значение априорной неопределенности (собственной информации), т.е. имевшейся до наблюдения, тогда 1(Х, У) определяет взаимную информацию (уменьшение среднего значения неопределенности, имеющейся относительно Х после наблюдения У).
Так как 11(Х)> Н(Х!У), то ясно, что при условии наблюдения У энтропия Н(Х) не увеличится. н(9! О,9 о,к 0,7 а Й о,б 0,5 « О,4 о.з О,2 о,! о .--!» о 0 О,! ОД 0,3 0,4 0,5 О,б 0,7 О,В 0,9 ! Всроятностыу Рнс. 3.2.!. Энтропия двоичного источника Пример 3.2.4. Определим Н(Х~У) и 1(Х, У) для канала с двоичным входом и выходом, рассмотренного выше в примере 3.2.2, для случая, когда р, = р, = р. Пусть вероятность входных символов равна Р(Х=О)=!1 и Р(Х=1)=1 — д .Тогда Н(Х) = Н(1) = -1 181-(1-д)18(1-,1), где Н(!1) — функции энтропии, а условная энтропия Н(Х~У) определяется (3.2.11).
3ависнмость Н(Х~У) в бит/символ как функция от д и параметра р показана на рис. 3.2.2. График средней взаимной информации 1(Х, У) в бит/символ дан на рис. 3.2.3. 79 «« 1 Н(Х(!У) = ~ т4~ Р(Х„у )1О8 (3.2.1 1) ! Р(х, /!у ) Мы интерпретируем Н(Х~У) как неопределенность Х (дополнительную информацию, содержащуюся в Х) после наблюдения У Комбинация (3.2.7), (3.2.8) н (3.2.11) дабт соотношение т!х,!3 о в 0,8 и й ьт 0,6 $ 0,4 нгхв!т) ф ели Хт заимна у=О у = 0,5 0,8 в М О,б о 0,4 Нес! а неп епрерь учайн едста огран тропн 0,2 0,2 о О .Ф Под 0 0,2 0,4 0,6 0,8 ! 0 0,2 0,4 О,б 0.8 ! 0 - вероятность символаХ = 0 8- всроятаость символа Х = 0 предел Рис.
3.2.2. Условная энтропия для двоичного Рис.3.2.3. Средняя взаимная информация для симметричного канала двоичного симметричного канала Когда условную энтропию Н(Хф рассматривают применительно к каналу с входом~. Т г и выходом У, то Н(Х г') называют ненадежностью канала на символ и ее интерпретирук( как величину средней неопределенности, оставшейся в Х после наблюдения тг . Результаты, приведенные выше, легко обобщаются на случай произвольного чнс!1.
случайных величин. В частности, предположим, что мы имеем блок из /с случайн ' В нт величин Х!Хзхз...Х4 с совместной вероятностью Р(Хьх2,...,ХОР(Х5=х!, Х2=х2, „Хя=х Тогда энтропия определяется как зможт я~ я св атиств Н(Х,Х2...Х,) = — ~ ~" ~У Р(х, х, ...х )1ояР(х,х, ...х, ). А !д=! А=! Поскольку совместную вероятность Р(Х!, Х2, ..., Х!) можно выразить в виде Р(х,хз " х„) = Р(х,)Р(хз ! х!)Р(хз ! х!хз) "Р(хв ! х!хз " х„,), (3.2.14) предел. (3.2.13) то следует Н(Х Х,Х, ...
Х„) = Н(Х ) + Н(Х, ! Х ) + Н(Х, ) Х Х,) + " +н(х,~х,...х„,) =)"н(х, ~х,х,...х,,). ! С Учетом РезУльтата Н(Х) > Н(х~г"), где Х=Хв и г'=Х!Х2...Хя,.!, из (3.2.15) с Н(Х,Х - Х,)-ХН(Хм), и=! причем равенство имеет место тогда, и только тогда, когда случайны Х!, Х2, ..., Хт статистически независимы. Тог ледует 1 нове При е величин 3,2.2. Измерение информации дли непрерывных случайных величин Определение взаимной информации, данное выше для дискретных случайных величн8 можно непосредственно использовать для непрерывных случайных величин. В частност!~ Сред 6-5б Н(21Х) называют энтропией шума в канале (прп) 80 аа альтернативно как 1(Х; 1') = Ь(У) — Ь(1' ! Х) .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
