evtiheeva_n_n__izmerenie_yelektricheskih _i_neyelektricheskih (1024281), страница 56
Текст из файла (страница 56)
(5.22) Практически интересна не эта величина, а среднее количество ннформап;ии, приходящееся на одно сообщение, т. е. и и 1 Х рг 7, = Х р11оя — = — Е рг 1ойрг (5.23) 1=1 1=1 Р1 1= 1 Здесь усреднение выполнено с учетом вероятности появления каждого из сообщений: количество информации в Рм сообщении умножено на весовой коэффициент р . Выражение в правой части (5.23) характеризует в усредненном виде неопределенность состояния данного объекта. Эта величина называется эигроиией обьекга.
Ее принято обозначать буквой Н: и Н = — Е р.1ояр.. 1=1 (5.24) Для рассмотренного случая передачи сообщении получилось,что 7 = = Н. По зто равенство справедливо лишь в том случае, когда после получения сообщения неопределенность сведений об объекте исчезает полностью, т. е. когда каждое сообщение абсолютно достоверно. Применительно к передаче информации зто означает, что сообщения не искажаипся помехами и всегда воспринимаются получателем в таком 276 виде, в каком они были переданы. При атом для получателя априорная вероягносп того, что объект находится в Рм состоянии, равная р, а апосгериорная вероятность зтого же события после получения сооб. шенин равна 1. В общем случае нужно учитывать, что любое сообщение может быль искажено помехами и позтому ацостериорная вероятность пребывания обьекта в Рм состоянии после получения сообщения меньше единицы. По-видимому, получаемое при зтом количество информации меныпе, чем в отсутствие помех.
Обозначим передаваемые сообщения хы хз, ..., хя х„, а принимаеиые у,, ум ..., ур ..., у (в общем случае может быть т Ф л). Пусть бьшо передано сообщение хг, а принято сообщение у. Полученное при зтом частное (индивидуальное) количество информации определим как ;у(х. у) = 1оя (р (х 1у )~р (х.)), (5.25) р(х, у ) = р (х.1у )р (у.) = р (у 1х ) р (х.). С учетом зтого получим другое выражение, зквивалентное (5.25): (5.2б) ,'т(х, у) = 1од[р(у.1хг)Яр(у)1 При отсутствии помех (искажений) перецаче х,. всегда соответствуег приему,, а т = и. При зтом р (х ) = р (у1) = рп р (х ! у ) = р (у 1х ) = = 1.
Тогда ,7(х . уг) = 1ой(1/р.). Следовательно, формула (5.22) является частным случаем (5.25) и (5.26). Среднее количество информации относительно передаваемых сообщений х, содержащееся в принимаемых сообщениях у, найдем, усредиив .У(хьУ) по всем возможным значениЯм1иУ; (5.27) ;У(х, у) = Е Ж р(х., у.) Х(х., у.). 1=1 ю=1 277 где р(хг) — вероятность того, что было передано сообщение х,.; р(х11уу) — условная вероятность того, что при получении сообщения у1 исходной его причиной была передача сообщения х, По теореме Байеса, вероятность совместного наступления событий х и у Здесь весовым коэффициентом при усреднении служит вероятность совместного наступления событий хт уь т. е. р(х.
у1). Проведем не- 1 которые преобразования: ,У(х, у) = Е Х р(х, у.)1ой Р 1х11У1) 1х 1) = Х Х р (х., у ) 1ой р (х.1у ) — Е Х р (х., у ) 1ойр (х ) 11 1 = Х р(у) Е р(х.1у1)1ойр(х 1у) — Ер(х)1ойр(х) Хр(у4х). 1 1 1 Сумма условных вероятностей р().1х1) отвечает условию нормирования, т. е. Х р(у 1хэ) = 1. 1 Поэтому ;1(х„у) = Е р(у.) Ер(х,.1у.)1ойр(х,.1у.)— У 1 — Х р (х.) 1ой р (хе) . Введем обозначение Н(хЬ ) = — 2' р(х11у;)1 йр(х11у;).
(5.Ж) (5 29) Н(х1у) = 2'р(у )Н(х1у ). 1 Величина Н(х) = — Х р (х .') 1оц р (х.) 1 (5.3)) представляет собой безусловную (априорную) энтропию передаваемых сообщений 278 Зта величина представляет собой условную (апостериорную) энтропию передаваемых сообщений при приеме сообщения у.. Усреднение ее по всем возможным значениям у дает среднюю условную (апостериорную) энтропию С учетом (5-28) — (5.30) получим ;У(х, у) = Н(х) — Н(х!у). (5.31) Это означает, по в общем случае среднее количество информации относительно обьекта, содержащееся в принятом сообщении, равно уменьшешно средней неопределенности состояния объекта, т.
е. разности безусловной н условной энтропий. Нетрудно убедиться, что в отсутствие помех (искажений) Н(х!у) = = О. В этом случае, как показано ранее, условные вероятности равны 1. Учитывая, что !о81 = О, придем к тому„что правые части формул (5.28) и (5.29) обращаются в нуль. Таща среднее количество информации равно энтропии передаваемого сообщения.
В общем случае Н(х 1у) есть величина дезинформации, вносимой шумами. Аналогичные преобразования можно провести, приняв за основу выражение (5.26). При этом получим соотношение, симметричное (5.31): .у(х. у) = Н(у) — Н(у!х). Доказано, что всегда справедливо неравенство ,Х(х, у) > О, (5.33) т. е, среднее количество информадии не может быть отрицательной величиной. Этого нельзя сказать о частном количестве информации, получаемой в результате однократной передачи. Значение "У(х,, у/) может оказаться и отрицательным: дезинформация, внесенная помехами, может превысить ннформаишю, которую несет переданное сообщение.
Эта бывает„когда передано х., принято у. и при этом условная веро/ ятнасть р (х,.! у ) меньше веро~тност~ р (х;) . Покажем, что применение двоичных логарифмов удобно при подсчете количества информации. Пусть объект имеет два возможных состояния. Тогда для передачи сообщений о состоянии объекта можно применить элементарный двухпозиционный сигнал, Если вероятности обоих состояний объекта равны меяду собой, т. е.
р,. = 1/2, то при пользовании двоичными логарифмами энтропия источника Н = 1. Этой же величине равно количество информации 7, если в канале нет помех. В данном случае один элементарный сигнал несет одну двоичную единицу информации. С помощью й элементарных двоичных сигналов можно передать я сообщения об объекте, имеющем 2 возможных состоянии. Если все эти состояния равновероятны, то каждое сообщение из й символов несет количество информации, равное й двоичным единицам. Этим объясняется удобство применения двоичных логарифмов.
279 двоичная единица инфоргчаиии называется битаме. Количество инфорьюцни в непрерывныхсаобщениях. Рассмотрим информационные характеристики непрерывных сообщений, Если х непрерывна, она имеет бесконечное множество возможных значений. Введем для нее понятие энтропии с помощью пределыюго перехода. Заменим бесконечное множества значений х некоторым числом Нападений, взятых через равные интервалы: Ьх — (х о — хн )/Ф. где х„и х„„— начальное и конечное значения х. нач Для й-го значения измеряемой величины получим выражение хя = = ЙЬх.
Вераятнбсть появления й-го значения находим из плотности распределения Ях) по формуле р (ха) ее Яха) Ьх. Это выражение тем точнее, чем меньше еьх. Знтропия квантованной величины х е Н(х *) = — КР(х )1ойР(х,) н: — Х ЬхДха)1ой Ях~,) Ьх] е = — Ьх Х~(х,,) 1ааДх,) — 1ад Ьх Х Ахах~,). я ь По условию нормирования Егьа(х ) = 1. й С учетом этого Н(х*) н: — Ьх ХУ'(ха) 1адЯха) — 1ойЬх.
Прн Ьх - 0 первое слагаемое обращается в — 1у"(х)1ойу(х)сГх, на х второе стремится к бесконечности. Таким образом, предельньй переход пока не позволил нам ввести понятие энтропии непрерывного сообщения. Однако при определении количества информации для случая, когда сигнал искажен шумами (помехами), нужна из безусловной энтропии Н(х) вычесть среднюю условную Н(х1у). В этом случае при квангованиих ну получается,что знтропиисоответствующих квантоввнных величин Н(х *) и Н(х *1у *) имеют одинаковые составляющие — 1ойЬх, которые при вычитании взаимно компенсируются. Предельный переход при Ьх -+0 даст е ВЬеяу 81вв — двончнаа единица, ВЦ вЂ” соедеиенне начала первого слава н конца второго.
280 .у(х, у) = —, /(х)1ой/(х)сйс + + / /(у)[ /) (х!у) 1оа)(х]у) а!х ] асу. у к Н „ф(х) = — / Х(х)1ой)'(х)сйс к (5.34) назьсвакл анриорной /безусловной) диЯ> еренциальнай энтронией непрерывной величины х, а величину Н „(х!у) = — 3' ) (у) [ 1' )'(х!у)1ой)'(х]у) сЬс] су 7 (5.55) — аностериорной /условной) дий5й5еренциальной энтрониеи. Соответственно количество информации есть разность априорной и апостериорной дифференциальных энтропий ;/(х, у) = Н „(х) — Нд„(х!у).
Аналогично можно получить выражение 7(х у) = Нднф(у) — НднфИх). (5.36) (5.ЗЛ 7(х., у.) = 1оа [р (х. ! у.) р (у )/р (х,.) р (у.)] = 1оя [р (хг, у.)/р (хг) р (у.)]. Подставим полученное выражение в (5.27): й(х, у) = Х Хр(х,, у)1оя [р (х., у/)/р (хс)р (у)]. / Заметим, что дифференциальная энтропия зависит от того, в каких единицах выражена переменная. разность энтропий не зависит от этого, если только единицы слсинаковы. Выведем еще одно выражение для количества информации, отражающее симметричность этого критерия„т.
е. то, что в величине у содержится столько же информации о величине х, сколько в величине х о величине у. Как и в предыдущем случае, возьмем за основу соотношения, полученные для объектов с дискретными состояниями. Преобразуем формулу (525), выражыощую количество информации в одиночном сообщении при наличии помех. Умножим на р(у-) числитель и знаменатель дроби под знаком логарифма: ,7(х, у) 1 !" (х, у)1о8 [1'(х, у)/~(х)г(у)] охи. (5.38) Во многих случаях принимаемую (воспроизводимую) величину у можно представить как сумму передаваемой (измеряемой) величиных инекоторой помехи а: (5.39) у =х+ а, причем помеха часто не зависит от х, В этом случаС условная дифференциальная энтропия Н„„Ф (у!х) равна безусловной энтропии помехи Н яф(а).
Покажем это. По аналогии с (5.35) Н „,1,(У!х) = — ( Ях) (] У(У]х)1о8~(У!х)НУ] Нх. у (5 АО) Рассмотрим выражение в квацратных скобках под интегралом в правой части (5.40). Заменим переменную у в соответствии с (5.39). При этом с~у = ~Ь. Будем иметь в виду, что данный интеграл вычисляется для фиксированного значения х: ( Г(у!х)1о8~(у!х) ду = (Дх + а]х)1о8У(х + а!х) ся У Ю Если значение х фиксировано, то условная вероятность обращается в безусловную,т. е.г(х+ а]х) =г(а).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
