Васин В.И. Информационные технологии в радиотехнических системах. Под ред. И.Б.Федорова (2-е издание, 2004) (1092039), страница 130
Текст из файла (страница 130)
Избыточность источника, обусловленная наличием статистических связей между элементарными сообщениями, усгранящся кодированием укрупненных сообщений. При перелаче письменного текста это означает, что необходимо кодировать ие отдельные буквы, а слова В результате такого кодирования остается избыточность, обусловленная наличием статистической связи между словами, которая значительно слабее статистической связи между буквами. 10.4.
Пропускнаи способность дискретных канадов с шумом В 8 !0.2 было показано, что среднее количество информации, передаваемое по дискретному каналу в расчете на один символ, определяется выражением 7(А; У) = Н(А) — Н(А [ У) = П()) — Н(У)А), где А и У вЂ” множества символов на входе и выходе канала. Энтропия Н(А) определяется только источником входных символов. Энтропии Н(А ' У), Н(У1 и Н( У( А) в общем случае зависят как от источника входных символов. так и от свойств канала. Поэтому скорость передачи информации зависит не только от канала, но и от источника сообщений. Максимальное количесзво переданной информации в единицу времени, взятое по всевозможныч ис- точникам входных символов (по всем многомерным распределениям веро- ятностей Р(А), характеризующим эти источники), С вЂ”.— шах)(А; У) ! (10.24) называется пропускной способностью кииила.
Пропускную способность можно определить и в расчете на сиь(вол: (10.25) С „, — шаху(А; У). е(е( Из определений (10.24) и (!0.25) следует, что скорость передачи информации не может бань больше С. В качестве примера определим пропускную способность т-ичного симметричного канала без памяти в расчете на один символ, для которого переходные вероятности )О) Взан а ф рн еле агрер«ым г ао)г ях Р„)(ж-1) при гл); р(у, ~и,)= ! — Р при г — )', гле Р, — асрояпюать оюнбачного приема аимвола; и, и ул г,) = 1...
ж,— сичвслы на входе и выходе каныа состав)отвеина. Воспою,зуемся формулой (10.21) Энтропия Н(У! А) = — ).р(п))„р(у, !и)!ойр(у, !о) = Р„„ Р = — 'кр(п,) 2 — ' — '" )ой — 'ч(1 — Р, )1ой(1 — Р, ) ,.т — 1 т — 1 .—.(1 — Р.)ЮВ(1 -Р )гр !ой Р.
ж — 1 (10.26) Из (10 26) следует, что знтропия Н(У ! А) не зависит от раапрелсления персдаваамых символов. Энтропия Н(У) принимает мвканмвльнае значение, равное 1ойт, «агда символы ул ) = 1, .... т, оказываются рввиовсраятиыми. Можно показать, что в слу~ае симметричных каналов зто имеет место при равновероятных вхолных символах. Податавляя выражения дли Н()) и Н(У(А) в (1021) н учитыеа» (10 25), находим С,„„,=)ойжь(1 — Р, ))ой(1 -Р„„')ьр !ойр.фл — !). При т = 2 С..„. =1ьб-Р,)1ой(1 — Р.)г Р )ойр (10.27) Из сравнения (10.27) а (!0.23) слелует, что ранее найленнаа величина )(А, У) — не по иное, как пролуакна» апааобнасзь лвоичного симчетричиого канала в расчете и» алин символ.
Необходима отметить, что пропускную алособнасть канала несложно яьгчислнт только лзя простейших каналов. 10.5. Взаимная информация в иепрерывнык сообщениях. Дифференциальная энтропия. Эпсялоя-энтрепня Распространим основнме понятия теории информации на непрерывные сообщения. Г!уать Х(г) и У()) — непрерывные сообшенив на входе и выходе канала асах аетственна; их значения в любой момент г представляют 665 10 Икфартаяиаккыс характсрист ки систеи передачи иафармаяигс 1(,у)=!об "('!У)-:!ой '( У) =)ой--гУ!х). (1020) н(х) н(х)эг(у) н(у) По аналогии с (! 0.1 1) средняя взаимная информация лля непрерывных сообщений 1(Х; У) =.- //эи (х, у)1(х, г)дхс(у.
гк (10.29) Подставляя выражение (10.28) в (10.29), можно представить 1(Х, У) в одной нз следующих форм: 1(Х; !') = 6(Х) — Ь(Х ! У),' (1030) 1(Х; !') = Ь(У) — Ь(У ! Х); (10.31) 1(Х; У) = д(Х) + Ь(У) — /г(ХУ), ( ! 0.32) где д (Х) .— — / н(х) 1ой н(х) с(х (10.33) — дифференцицэьная энтропил непрерывной случайной величины Х; Ь(Х ! !') = — / /и, (х, у) 1ой н(х ! У)с(хду (10.34) г х — условная дифференциальная энтропия непрерьгвной случайной величи- ны Х при известной непрерывной случайной величине У; Ь(ХУ) = — //н, (х, у) 1ой н, (х, у)дхду - — дифференциальная энтропия объединения случайных величин Хи У. ббб непрерывные случайные величины Х н Ус плотностями вероятностей н(х) н н(у), а статистические связи между Х и У харектеризуются плотностью вероятности иэ(х,у).
Разобьем диапюон возможных значений илу шйной величины Х на малые интервалы Лх. Введем дискретную случайную величину А, принимающую значения х„г = 1, ..., т, с вероятностями р(х,) н(х,)Лх, где х,— среднее значение йго интервала. Анавогично ввепем дискретную случайную величину У', принимающую значения у,, 1 = 1, ..., и, с вероятностями р(уэ) = н(уэ)ЛУ. Для случайных дискретных величин Х' и У'справедливы асе соотношения, приведенные в 9 ! 0.2.
Применяя к ним формулу (! 0.1) и затем переходя к прелелу при Лх — ь 0 и Ау ь О, находим количество информации о каком-либо значении х входного сообщения, которое содержит значение у выходного сообщения: 105.ла «фар Ш а нрр оспе« Аназогичгго (10.33) и (1О 34) определжотс» лифференпиальные энтропии й()) и Ь(У! Х) случайной величины У Средняя юаимная информ»пи» 7(Х» У), опрелщяемю формулой (10 29), характеризует «оличесгво информ«пни об отсчете сообщения Х(г), «о орс содерлгится в среднем в олпом отсчсш сообщения У(г). Так лгс, как и лля писк!мтнога случая, 1(х, У) л О.
знак равенства имеет места толька тогла, когда слу гайныс величины Хи У статистически независимы. Формулы (!030)--(10 32) дпя ДХ; У) можно рассматриваь ь как обобщение формулы (!011) иа непрерывные сообщения. Формулы (10.33) и (10.34) по своей структуре похожи на (10.12) и (10.15) д»я бюусловиой и условной энтропии дискретных сообщений, однако они не являнпся их обобщениями Если распространить определение энтропии (10.12) на непрерывные сообшени», то окьже ся, что энграпи» любою исто гник» непрерывныт сообщений равна бесконечности. Действительно, энтропия дискретной случайной величины Н(Х)=-2 м(х)бх)ой[и(х)дх] (10.35) (,)Г !ой ч(х,)-2,«(х,)лх(ойлх Энтропию непрерывной случайной величины Х можно получить, если перейти в формуде (1О 35) к пределу при Ат -ь 0: Н (Х) = 1пп Н! Х 1 = — ) и (х) 1ой п(х)лй — 1пв !ай дх = 6(Х) — йш!ой дх.
(10.36) Из(10 Зб) следует, что Н(Х'!†Этот рпзультат не является неожиданным, так «ак при дх -ь ю число ш элементарных интервалов увеличивается до бесконечности и, соответственно, стеоен, неопредевениости становип:я бескпнечно большой, В отдичие от энтропии дискретного источника диффереипиальиая энтроли» не»вл»шея мерой средней собственной информации непрерывных сообщений. Она нс облаласг многими свойствами, присущими обычной энтропии, н частности, может приниьгать отрипательиые значения. Все зто позволяю. сделать вывод, что днфференппшьня» энтропия, в отличие ог знтро л ре олби!спид, ие имшг самостоятельного значени».
Физический смысл имеет разноси лифферснциальных энтропий (отсюда название лиффереггпиальггш энтропия). В «ачсстве примера опрелевим дифференциальную энтропию гауссовской случайной величины Х с гзлпг «остью вероятности ббт 105 дю з фор алиев Лрнвмг ю биз ~т Ь(У) = )ой,! 2я,(оз .ь и'-.) (10.39) В сшнветствии с (10 34) условная диффсрснцишшная зиз ропив Ь(У(Х)=- — ) ) и)(з,у)(ойи(у(х)г(хг(у= — ) н(х) ) и(у(х)1ай (у!х)дуйт, (10 40) ще условная шютносгь вероятности (у — «)' 1! (у! з) = (и) ... ехр(— ч(2яп' ' 2п. (10.41) Г1одсшвляя формулу (! О 41) в (10 40) и обращая внимание, что у — х= и, нахал й(У(Х) =!об,г2 ° .'. (1О 42) Наконец, нодстащяя формулы (10.39) и (10 42) в (10.31), получаем Г(Х,У) = — )ой 1 ° — * !.
(10 43) бб9 Формула (10.43) при искаюрых ограничениях (см, 9 10.б) определяет максимальное кояичесгво информации об ото ~сте входного сообщения, которое всрелнсм о е содер ат одниотсчетвыходнагосообщения. Введем поняти» эпсилон-знз)миня и эпсилон-производительность источника непрерывных сообщений Как уже отмечалось, энтропия источника непрерывнык сообщений равна бесконечности, Это означает, что для передачи нецрерывного сообщения с абсолютной точностью необходимо передать бесконечно большое количество инфориации, что, естественна, нереально. Однако из-за ограниченности разрешающей способност» информационна-измсрищльных систем, реальной чувствительности приемных устройсзв и органов чувств человека на практике никогда не требуется точною знания переданного сообщения Дгютагочиым оказывагюя воспроизвести его с некоторой точностью, карактеризусмай малы параметрам а.
При этом количества передаваемой информации конечно н зависит от параметра с. Г!ара стр г., характеризующий требуемую точность, может быть вюбым Наиболее часто в качестве его используют средний квадрат рвзнощн между принятым сообщением Х(г) и переданным Х(г) 1й йвафармацааенме арактеристики систем ыредоча информации е'(г) а(Х(г) - Х(г)] . (10.44) При этом сообщения Х(г) и Х(г) называются эквивалентными, если е (г) я е Средняя взаимная информация между сообщениями Х(г) и Х(г) 7(Х;Х)с й(Х)-й(Х)Х) зависит не только от статистических свойств сообщения Х(г), определяющих дифференциальную энтропию й(Х), но и от критерия эквивалентности, от которого зависит условная плотность вероятности и(х1х) и, соответственно, условная днфференциааьная эгпропия й(Х)Х).
Величина Н,(Х)= пvп)(Х;Х)= й(Х)-пжхй(Х1Х), (1045) где минимум берется по всем условным распределениям и(х1х), для которых е (г) < Е„называется элсиеоа-эатролией. Другими словами, эпсилон- энтропия — содержащееся в сообщении Х(г) минимальное количество информации о сообщении Х(г), при котором они еще эквивалентны. Она определяет количество существенной информации в одном отсчете непрерывного сообщения или, что то же самое, среднее «оличсство информации в одном отсчете непрерывного сообщения, которое необходимо передать для воспроизведения этого сообщения с заданной точностью.
Поскольку Х(г) = Х(г) — е(г), то условная дифференциальная энтропия й(Х)Х) при известном Х(г) полностью определяется дифференциальной энтропией й(я) отсчета нсума еослроцзеедессия е(г). Поэтому гпах Ь(Х 1 Х) = пжх Ь(к). Дифференциальная энтропия й(е) принимает максимальное значение, когда случайная величина е является гауссовской с нулевым математическим ожиданием. С учетом (10.38) и обращая внимание на то, что мощность шума воспроизведения ие должна цревьппать значения е„находим 2 шаха(е) = 1ой„/2пеее.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
