Васин В.И. Информационные технологии в радиотехнических системах. Под ред. И.Б.Федорова (2-е издание, 2004) (1092039), страница 129
Текст из файла (страница 129)
, тр(а,) т т 658 Ю Э Ка сюр и д ре * бм з 1 Он р а э о еравег тве имеет место, кОгда =1, так как шр(п,) только при ы = 1 неравенства (1О 14) превращается в равенство При этом энтропия принимает максимальное значение Н, = (ой щ Из нсравенсзза (10 13) вьнекает следующий ыекный вывод: прн заданном алфавите симвояов количество информации, которое в среднеи может содержаться в одном символе, достигает максимума, когда все символы используются с равной вероятносн,ю.
При 'этом величину Н =!ойм называют иггформпеггоггггои емкое пью атфаеыпа Для алфавита, состоящего из двух симвщюв, Н(А)= -р !ой р — (1-р)1ой (1 — р), гпер — вероятность появления одного из символов. При р 0,5 (рнс.10.1) энтропия принимает максимальное значение Н„„, = 1 дв ед Таким образом, двоичная елиница ннформмгии, или биз, представляет собой количество информации, которое содержится в одном деон ~нем символе, появляюгцсися с вероятностьюр = 0,5 Подобно тому, как бьшо введено понятие средней собсшеиной информации, можно ввести понятие среднеиутлоеиой собгжеглиой кифер.
и 1(А(2)=) ):у(анф))(а, !т,)= =-длр(а„я,))айр(п,(Н).—.Н(А(2) (10.15) Н(А 2) е Н(А), (10.16) при~ем знак равенства имеет место, когда события а, и ", статистически независимы ( р(а,(э ) = р(а ) Лля асах индексоа э и й) Соотношение (1О 16) имеет важную роль в зеории кодирования. Иа его основе можно сделать следующий вывод: для е с,эз е,зо с,тэ р Рис. !0.1. За ис ро ши дискретною исэочиика о веро ности появления одного иэ сим- валов 659 Величина !(А 2) характеризует количество информации, которое в среднем нсобхолиио лля определения любого символа из алфавита А при изисстнои множестве собьний 7, т е.
характеризует неопрелелепность символа алфавита А ло того, как он был принят, при условии, что множество событий 7 изеест о. Она нюываетс» услое оа щмролиеи и обозначается НО( , '2). Испщану» иераеенсэво (10 14), нетрулно покатая ь, что 10. Нкфар налип тык харамперисмики с и ен передачи инферналии того чтобы каждый символ кодовой комбинации доставлял как можно больше информации, необходимо обеспечивать статистическую независимость каждого символа кодовой «омбннации от предыдущих символов. Можно ввести понятие энтропии множества совместных собьпий А и 22 Н(АУ) = 2.2.р(акт,)1(цтг) = — 2„2р(а„з, )!ой р(ц„г,). (10.!7) Подставляя в выражение (1017) вместо вероятности р(цащ) под знаком логарифма произведение р(а,)р(з, ! и,), его можно привести к следующему виду: Н(А2) = Н(А] 4 Н(2Л). (10.
18) Если события ц, и з, статистически независимы, то формулу (10.18) можно переписать в другом виде: (! 0.19) Н(А2] = Н(А) т Н(Х~. Соотношения (1О.!8) и (10.19) есть не что иное, как свойство адлитивности энтропии. Используя выражения (!О.! !], (!0.12], (10.15) и (10.17), среднюю взаимную информацию можно представить как 1(А1 У) =Н(А! — Н(А~У); 1(А; У) = Н(У) — Н(У]А); 1(А; У] = Н(А) Н(У] — Н(АУ). (! О 20) (10.21) (10.22) Я = 1 (А; У) = (1 | Т )! (А; У) харакгеризует среднее количество информации, передаваелюе в единигб' нременн Ге называют гкорагмью передами информации. 660 Еыражение (уй 20) имеет простую физическую интерпретаггню, «осла а, — переданный символ, ау, — принятый. При этом Н(А) можно рассматривать как среднее количество передаваемой информации, Н(А~У) — как среднее количество информации, теряемое в канаяе связи (велнчину Н(А !У) обы~но называют лениг)еаеносгныа, 1(А;У! — как среднее количество информации, получаемой с приходом каждого символа.
Нетрудно дать соответствуюнлне интерпретации соотношениям (10 2!) и (10.22). Энтропия Н(У]А) определяется только помехой в канала связи н называется шумовой Пусть ҄— среднее время передачи одного символа. Тогда величина га) Кон Фор Ю вв нр и ю бм Г -Р Величина Р Р, у Н'(А) — (НУ,)Н(А) «арактсрнзует среднее количество инфор нации, выдаюемос источником Ее мазы ваню лроимодительноснюю источники Найдем среднее «оличест о инфор- Рис.
10.2. днагра ре«од нации, передаваемое по лнаичному сим- м вераятяостея дв ичнач метрич очу каналу (рис 102). Пусть на снммюр немка« ле вход каната поступают двоичные символы и, пг с вероятностями р и 1 -р стоя«а~отвеина, а на аыкоде канава появляются двоичные симеоны у, и у Вероятносп ошибки при передаче лнубаго симеона Равна Р„ Таким обРвзом, Р(У !а~) = 1 — Р,, Р(Уца,) = Р, .
р(Ю!П) = ! — Рмбр1Р !Пд =Р, Восполюусмся форнулад (10.21) Энтропия Н(У).=-р(у,))обр(у,). Р(уь)!адр(уг) С учетом рассматриваемой мелели «анапа Р(у ) = Р(а,)Р(у, ! и) ь Р(п )Р(у 1пт) = Р— 2РР г Р, р(у,)=1 — 1(у)=-1 — )р 2РР -Р„,!. Н(У ! А) = — Х р(от р(у,, и, ) )оЕ р(у,1п,) = ---Р.„!абр -(1- р.)(об(1-1 ). Заметим, что для рассматридвсмого случая Н(У ! А) нс зависит гю вероятности р 11одатавляя выражения ддя Н(У) и Н(У ! А1 в (10 21), находим 1(А; У). В частности, при р =-0,5 1(А; У) =1- ° Р !орр„(1 — Р„)1ор(1 Р„„). П0,25) '1'аким обратом, среднее коти ~сенна информации, передаваемое «ам- дым символом по двоичному симметричному канюгу, ари р= 0,5 зависьп 661 Пеурудна убелитьсн, чю Н(У) принимает максимал~нос тиачениа, равное единице, при р — 0,5 условная энтропия !О Иифар ациаииыекараитеристиии систем ереаачи информации 7(А, г) только от вероятности ошибочного приема символа (рис.
10.3). В отсутствие помех (Р = О) 1(А; У) = 1 дв, ед., прн Р, =0,5 Е(А, У) =О, т.е. никакой информации не передается; при Р = 1 1(А; У) = ! дв. ед, В последнем случае, хотя все принятые символы ошибочные, передаваемые сообщения можно легко восстановить, поставив в соответствие 0,75 0.50 0 0,25 0,50 0,75 Р Рис. 1О.з. Зависимость обаема пе- редаваемой информации в лвонч- нои симметричном канале от веро- ятности ошибки сигналу уг символ аь а сигналу уг символ пг. 10.3. Избыточность сообщений. Экономное кодирование Рассмотрим ансамбль А, состоящий из т различных символов пь аг ..., и„. Энтропия такого дискретного источника достигает максимального значения Н „(А) = !ойт, котла символы статистически независимы и появляются на его выходе с одинаковой вероятностью, равной ))т. На практике часто символы неравновероятны и зависимы.
Поэтому энтропия источника Н(А) < Н „(А). Соответственно количество информации, доставляемое такими символами, меньше возможного в Н„АА) 7 Н(А) раз. (!усть сообщение состоит из л символов. Очевидно, что количество информации в нем составляет 1 = лН(А). При использовании алфавита с максимальной энтропией для передачи такого же объема информации потребовалось бы число символов Н(А)н Н,„(А) тле р = Н(А)7Н „(А) — коэффициент, характеризующий допустимую сте- пень сжатия сообщений.
Величина т=! — Р=! — Н(А)7Н (А) называется юбытачиастью источника. Как указывалось в б 10.1, одной из задач кодирования сообщений и является устранение избыточности в сообщениях. Кодирование, при котором в закодированных сообщениях отсугсгвуег избыточность, называется - иаиомиым или статштическим. Возможность сжатия передаваемого сообщения при избьпочносги составляет содержание основной теоремы а кодировании лри оигсутстаии лобб2 103 Изб и ет сосем Я Э с с гд»роса«» лгех К.Шеннона Она >чверлщает минимальное среднее число кодовых символов, приходящихся на один сна!вол сообщения, можно сделать скаль уголно близким к )КА)))абб, где Н)А) — энтропия источника сообщений; ).
— число «оловых символов. Можно указать следующие общие правила колировани», при выполнении к>порых срелняя длина «оловых комбинаций оказывается достаточно близкой к границе, укаэанной в теореме' в каждом из разрядов кодовой комбинации различные символы алфавита должны использоваться с равнымн верах.гипстями, вероятности появления символов а кажлом разряде кодового слова не должны зависсп, ст лрсдылупгих символов. Идея метода экономного «одироваиия сообщений, символы влфавию которых неравновероятны и независимы, простая наибазее часто ветречаощимся символам сообщений нада ставить в с!ниве!отвис боаее корсткие кодовые «омбинации, а менее вероятным символам — более длинные Од н из методов кодировании, позволяющий получить экономный коа, предложили Р.М.
Фано и К Шеннон. Он юключ*сюя в следующем. Элементарные сообщения !символы) а„з — 1,, т, поллюкащие кодированию, записывеют в порядке убывеаия их верщпиастей рга,) Полученную послеломпельиосп, сообщении разбивают на две группы так, чтобы суммы вероятностей сообщений в «юкдой ~рупие были по возможности одинакопыми. Всем сообщениям первой группы приписывают символ О, а сообщениям второй группы — симвса 1 Эти двоичные символы используют в ка. настю первых символов кодовых комбинаций Зщем ю!ююгичным сбрюом «ажлую группу сообщений делят н» лве подгруппы Сообщениям первой нодгр)ппы каждой группы приписывают символ О, а «юбщениям второй подгруппы юждой группы — символ 1 Процесс продолжается до тех пор, пока в кюкдой !юлгруппе не остзнеты по одному сообщенщо.
Пример экономногс кадировюзия по е олу Шеинона — Фаио нрелставзен в табл 1О 1 1 бюяаго 1 Сообщение р)а,) а, 117 с, , 1)4 с, 118 с !716 !да 663 10 Омфармаяиаиеые характеристики систем лередаеи иифармаиии В рассмотренном примере энтропия Н(А) = 1,875, а среднее число двоичных символов, приходящихся на одно сообщение, нт = 1,875. Следовательно, полученный код является экономным. Существуют и лругие методы кодирования, устраняющие избыточность сообщений из-за нх неравновероятностн [137].
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
