Тема 2 (из Кловского) (Материалы лекций), страница 2

Для алфавита, состоящего из двух символов, Н(А) =- р(од р- (т-р))од(1-р), где р — вероятность появления одного из символов. При р = 1(2 (рис. 4.1) энтропия принимает максимальное значение Ц = 1 дв. ед. Таким образом, двоичная единица информации, или бит, — количество информации, которое содержится в одном двоичном символе, появляющемся с вероятностью р = 0,5. н(А) 0,75 0,5 0,25 0 0,25 0,5 0,75 ! Р Рис. 4.1. Зависимость энтропии дискретного источника от вероятности появления одного иэ символов Подобно тому, как было введено понятие средней собственной информации, можно ввести понятие средней условной собстввнной информацигл )(А ~ Л) = ~, ~х р(ан к„)) ((а; ! к„) = (4.15) Х~~' р(в кн) (од р(в) ( ги) = (Н(А ~ 7). к Величина ((АД характеризует количество информации, которое в среднем необходимо для определения любого символа из алфавита Я при известном множестве событий к, т. е.

характеризует неопределенность символа алфавита А до того, как он был принят, при условии, что множество событий 2 известно. Она называется условной энгпропией и обозначается через Н(АД. Используя неравенство (4.14), нетрудно показать, что Н(А(2) < Н(А), (4.16) причем знак равенства имеет место, когда события а~ и а, статистически независимы (р(а~)к4 = р(а) для всех индексов ( и )г) . Соотношение (4.16) играет важную роль в теории кодирования. На его основе можно сделать следующий вывод: для того чтобы каждый символ кодовой комбинации доставлял как можно больше информации, необходимо обеспечивать статистическую независимость каждого символа кодовой комбинации от предыдущих символов. Можно ввести понятие энтропии множества совместных событий А и 2': Н(АЛ) = ~~ ~~'р(аль)((антк) = -~~>„~~ р(алл„)!одр(ап.т„), (4.1?) ! к ! к Подставляя вместо вероятности р(алз„) под знаком логарифма произведение р(а;)р(х„)а,), выражение (4.17) можно привести к виду Н(АД = Н(А)+Н(ДА) .

(4.18) Если события а; и зк статистически независимы, то формулу (4.18) можно переписать в виде Н(А2) = Н(А)+Н(2) . (4.19) Соотношения (4.18) и (4.19) есть не что иное, как свойство аддитивности энтропии. Используя (4.11), (4.12), (4.16) и (4.17), среднюю взаимную информацию можно представить как (А; У) = Н(А) — Н(А) У), (4.20) ((А; У) = Н(У) — Н(У)А), (4.21) Г(А; У) = Н(А) +Н(У) — Н(АУ) . (4.22) Выражение (4.20) имеет простую физическую интерпретацию, когда а; — переданный символ, а ук — принятый.

При этом Н(А) можно рассматривать как среднее количество передаваемой 69 информации, Н(Я) У) — как среднее количество информации, теряемое в канале связи (величину Н(А) у) обычно называют ненадежностью), 1(А;У) — как среднее количество информации, получаемой с приходом каждого символа. Нетрудно дать соответствующие интерпретации соотношениям (4.21) и (4.22).

Энтропия Н(У)А) определяется только помехой в канале связи и называется шумовой. Пусть Т, — среднее время передачи одного символа. Тогда величина В = У(А;У) = (17Т,)((А;У) характеризует среднее количество информации, передаваемое в единицу времени. Ее называют скоростью передачи информации. Величина Н'(А) = (1/ Т,)Н(А) характеризует среднее количество информации, выдаваемое источником.

Ее называют производительностью источника. Найдем среднее количество информации, передаваемое по двоичному симметричному каналу (рис. 4.2). Пусть на вход канала поступают двоичные символы а, и оа с вероятностями р и (1- р) соответственно. На выходе канала появляются двоичные символы уг и уе Вероятность ошибки при передаче любого символа равна р, . Таким образом, р(уг)гкг) =1 — р р(уг)сгк) = р,; р(у4оз) =1- р; Яйгкг) = Р р(ад=р; а, р(авм1-р; а, У2 Рис. 4.2. Диаграмма переходных вероятностей в двоичном симметричном канале Воспользуемся формулой (4.21). Энтропия Н(У) = — р(у,)1оцр(у,) — р(уз)шцр(у,) .

С учетом рассматриваемой модели канала Р(У~) = Р(г"1)Р(У1! гг1)+ Р(оз)Р(У~ ) оз) = Р 2РР + Реш Р(уг)=1 Р(уг)=1 [Р 2ррош+Раш1 70 Нетрудно убедиться, что Н(У) принимает максимальное значение, равное 1, при р = 1/2. Условная энтропия г г Н(У) А) =-,'~ р(а;),'~ р(у/) а;)!одр(у/(а,) = (=1 /=! = -Рош(од Рош (!- Рош)(од(!- Рош). Заметим, что для рассматриваемого случая Н(У)А) не зависит от вероятности р. Подставляя выражения для Н(У) и Н(У)А) в (4.21), находим /(А;У). В частности, при р = Уг /(АУ)=1+р (одрЬ.+(1-р )(од(1-р,.).

(4.23) Таким образом, среднее количество информации, передаваемое каждым символом по двоичному симметричному каналу, при р = 1/2 зависит только от вероятности ошибочного приема символа (рис. 4.3). В отсутствии помех (рь = О) /(А/У)=1 дв. ед., при р =1/2 /(А;У)=0, т. е. никакой информации не передается; при р = 1 /(А;У)=1 дв, ед. В последнем случае, хотя все принятые символы ошибочные, однако передаваемые сообщения можно легко восстановить, поставив в соответствие сигналу у! символ аг, а сигналу уг символ а!. к/л;т/ О,75 О,5 0,25 0 0,25 0,5 0,75 Р Рис. 4.3. Зависимость передаваемой информации в двоичном симметричном канале от вероятности ошибки 4.3. Избыточность сообщений. Экономное кодирование Рассмотрим ансамбль А, состоящий из т различных символов а! аг, а Энтропия такого дискретного источника достигает максимального значения Н (А) = (одт, когда символы ста- 71 .