Тема 2 (из Кловского) (Материалы лекций)

4.2. Количество информации в дискретных сообщениях. Энтропия источника дискретных сообщений Для сравнения различных систем связи необходимо ввести некоторую количественную меру, позволяющую оценивать объем информации, содержащейся в сообщении, и объем передаваемой информации. Рассмотрим сначала основные положения теории информации для дискретных систем связи.

Обозначим возможные различные символы на входе некоторого блока СПИ через а~, ! = 1, ..., т, а выходные символы через у; /=1, ..., и. Под символами а~ можно подразумевать символы источника, информационные последовательности, сигналы на входе линии связи, а под символами у~ — символы закодированных сообщений, кодовые последовательности, сигналы на выходе линии связи.

Рассмотрим простейший случай, когда символы а;, ~'= 1, ..., гп, взаимно независимые. При этом источник А полностью описывается априорными вероятностями р(а,), (= 1, ..., т, которые и характеризуют первоначальное незнание (первоначальную неопределенность) о появлении конкретного символа а~ на входе блока. При наличии помех между символами а~ и у, нет однозначного соответствия, т. е. символ а; может перейти в любой символ у~ с некоторой условной вероятностью р(у)а~), которую можно вычислить, если известен механизм такого перехода. Зная вероятности р(а~) и р(у(а,), (=1, ..., т, /=1, ..., л, нетрудно найти вероятности р(а(у), l = 1, ..., пг, появления на входе блока символов ак ( = 1, ..., т, при условии, что на выходе блока наблюдался символ у„Эти вероятности, называемые апостериорныии, характеризуют оставшееся незнание (оставшуюся неопределенность) о появлении на входе символов а;, /= 1, ..., гп, при наблюдении символа у на выходе блока.

Таким образом, полученная информация о символе а; при наблюдении символа у приводит к изменению вероятности появления символа а; от ее априорного значения р(а) к ее апостериорному значению р(а(у~). При этом представляется обоснованным взять за количество информации о символе ак содержащейся в символе ух некоторую функцию только вероятностей р(а) и р(а(у): l(а;; у;) = г(р(а;), р(а; ) у;)) .

Такое определение количества информации, не связанное с физической природой сообщения, позволяет строить довольно общую теорию, в частности, сравнивать различные системы связи по эффективности. В качестве функции г удобно использовать логарифм отношения апостериорной вероятности р(а;) у;) к априорной р(аг), т. е. определить !(а;;у>) как (4.3) т. е. информация, доставляемая событием у~ о событии а;, равна информации, доставляемой событием а~ о событии у; . По етой причине l(ай у) называется взаимной цнформацоей двух случай- ных событий относительно друг друга.

)(а,;у ) =)од (4.1) При таком задании, в частности, количество информации обладает свойством аддитивности: количество информации о символе а~ (в дальнейшем для общности рассуждения — событии а,), доставляемой двумя независимыми символами (событиями) у и х,: l(а;; у,х„) =!(а,;у;)+ )(а,, г„).

Это свойство хорошо согласуется с «интуитивным» понятием информации. Основание логарифма может быть любым. От него зависит единица измерения количества информации. В технических приложениях обычно используют основание 2. При этом количество информации! измеряется в двоичных единицах, или битах.

При проведении математических выкладок зачастую удобно пользоваться натуральными логарифмами. Соответственно информация измеряется в натуральных единицах, или натах. Введенная величина )(а;; у~) обладает важным свойством симметрии по отношению к а~ и уу !(а;;у,)=!од ' ' =)од р(а; ) у~)р(у;) р(алу;) р(а;) р(у;) р(а, ) р(у;) =)од ' ' =)(у,;а,) р(у; ) а;) р(у;) Из (4.3) следует, что если события а~ и уг статистически независимы, то 1(а>,' у) = О, т.е. независимые события не несут друг о друге никакой информации. Взаимная информация при фиксированной вероятности р(а;) принимает максимальное значение, когда апостериорная вероятность р(а)у~)=1, т. е.

когда наблюдаемое событие у~ однозначно определяет событие а~ При етом !(а;;у~) = г(а;) = - 1од р(а;). (4.4) Величина l(а) называется собственной информациеи события ан Ее можно интерпретировать как количество информации, которое доставляет событие аг или любое другое, однозначно связанное с ним.

Собственная информация всегда является неотрицательной величиной, причем, чем менее вероятно событие, тем она больше. Взаимная информация может быть как положительной, так и отрицательной величиной. Пусть а,, у и ~~ — три статистически зависимых события. Предположим, что событие д известно. Количество информации о событии а„ доставляемое событием у при условии, что з известно, называется условной взаимной информацией. Она определяется так же, как и взаимная инфюрмация (4.1), однако априорная и апостериорная вероятности должны быть взяты при условии д„т. е.

!(а;;у; ) г„) = 1од Р(а~! У14) (4.5) р(а, ) г„) Из (4.5) следует, что условная взаимная информация при фиксированной вероятности р(а,)г,) принимает максимальное значение, когда р(а)уд)=1. При атом )(а йу; ) г„) = - 1оо р(а; ) г„) = У(а; ) г„) .

(4.6) Величина 1(аЩ называется условнои собственной информацией. Ее можно интерпретировать как количество информации, доставляемое событием а; при известном событии г или как количество информации, которое должно доставляться некоторым другим событием для однозначного определения события а; при известном ~„. Покажем, что взаимная информация удовлетворяет свойству аддитивности. Пусть а,, у~ и з, — три статистически зависимых события. Тогда количество информации о событии а~, которое доставляют события у~ и ~~ 3 — 2524 65 р(а, ( у/х») р(а; ( у/х»)р(а! ) у;) !(а,;у г») =1од =/од р(а,) р(а;)р(а, ) у/) (4.7) р(а; ) у)) р(а, ) у/х ) =/од ' +1од = )(а;;у/)+ )(а,;х» ) у/).

р(а,) р(а, ) у) ) Таким образом, количество информации о событии а» которое доставляют события у) и х», равно сумме информации, доставляемой у» и информации, доставляемой х» при известном событии у» Если события у/ и г» статистически независимы, то (4.7) переходит в (4.2). Аналогично можно показать, что /(а,;у/х») = l(а!;г»)+)(а,-;у! ) х»). Используя соотношения (4.1), (4.3), (4.4) и (4.6), можно взаимную информацию записать в одной из следующих форм: !(а;; у/) = l(а!) -)(а; ) у/), !(а,;у,-) = !(у/)-/(у) ~ а;), )(а;; у/) = )(а;) +!(у;) — !(а!у) ), (4.10) где /(а,у ) = — 1одр(ану ) — собственная информация сложного события а!у/. Соотношение (4.8) можно интерпретировать ледующим образом.

Взаимная информация )(а;;у/) равна разности между ко- личествами информации, требуемой для определения а, до и по- сле того, как становится известным у» Нетрудно пояснить и соот- ношения (4.9) и '(4.10). На практике наибольший интерес пред- ставляет не взаимная информация (4.1), а количество информации о множестве А передаваемых символов, которое в среднем содержится в множестве У принимаемых символов и и и» р(а,1у.) )(А;У) = Х,'» Р(анУ/)/(а,;У/) =„'~,'~" Р(анУ,)/од ' ' . (4.11) /=!)=1 1=!/=1 р(а;) Величина ) (А; У) называется средней взаимной информа- цией.

Нетрудно показать, что !(А; У) = /( У; А) > О, )(А;УЛ) =)(А;У)+ /(АЕ! У) = /(А Е)+!(А;У(Д. На практике также вызывает интерес не собственная ин- формация (4.4), а средняя собственная информация 66 и и 1(А) = ~: р(а;)!(а;) = -2; р(а>) 1од р(а;) = Н(А). (4.12) /=1 1=1 Она характеризует количество информации, которое в среднем необходимо для определения любого символа из множества А возможных передаваемых символов. Выражение (4.12) идентично выражению для энтропии системы в статистической механике. Поэтому величину !(А) называют энтропией дискретного источника А и обозначают через Н(А). Чем больше Н(А), тем более несаределенным является ожидаемый символ. Поэтому энтропию можно рассматривать как меру неопределенности символа до того, как он был принят.

Из (4.12) следует, что Н(А) > О, т. е. энтропия является неотрицательной величиной. Она обращается в нуль, когда одна из вероятностей р(а;) равна единице, а остальные нулнх Этот результат хорошо согласуется с физическим смыслом. Действительно, такая ситуация возникает, например, когда передается только один символ. Поскольку он заранее известен, то неопределенность источника равна нулю и с появлением символа мы не получаем никакой информации. Энтропия удовлетворяет неравенству Н(А) < )од пг, (4.13) причем знак равенства имеет место, когда р(а) =1уп, ! =1, ..., т, где т — число возможных событий а; (число различных символов, сообщений и т.

и.). Это свойство можно доказать, используя неравенство (п иг< и~ — 1 . (4.14) Рассмотрим разность и 1 Н(А) -1одт = „'~ р(а;)1од —',~ р(а;)1одт = ;=! ' р(а ),=, и 1 т 1 = ,'~ р(а;)1од = ,'~ р(а;)1и !оде. тр(а;); „' тр(а;) Учитывая (4.14), находим Н(А)-!одт< ~р(а;) -1 !оде= ~~ — -р(а;) 1оде=О. ' ~тр(а;) ~;=!~п! 67 Знак равенства имеет место, когда 50= =1, так как 1 тр(а,) только при 50= 1 неравенство (4.14) превращается в равенство. При этом энтропия принимает максимальное значение Н =!од т. Из (4.13) вытекает следующий важный вывод: при заданном алфавите символов количество информации, которое в среднем может содержаться в одном символе, достигает максимума, когда все символы используются с равной вероятностью. При этом величину Ц = )од т~азывают информационной емкостью алфавита.