Калмыков В.В. Радиотехнические системы передачи информации (1990) (1151851), страница 9
Текст из файла (страница 9)
(4.18) Если события а; и га статистичеокн независимы, то формулу (4.18) можно переписать |в виде Н(Л2) = Н(Л) +Н (2). (4.19) Соотношения (4.18) и (4:!9) есть не что иное, как свойство аддитивности энтропии. Используя (4.!'!), (4.12), (4.15) н (4.17), среднюю лзаимнуго информацию можно цредстэвить как Х(А; У) =Н(А) — Н(Л(У), Х(А; У) =Н(У) — Н(ЧА), Х(А; У)=Н(А)+Н(У) — Н(АУ). (4.20) (4.21) (4.22) йи етически независимы (р(а!)га) =р(а!) для всех индексов ! и е). Соотношение (4:16) играет .важную роль в теории кодцрования. На его основе можно сделать следующий вывод: для того чтобы каждый символ кодовой комбинации доставлял как .можно больше информации, ,необходимо обеспечивать статистическую независимость каждого символа кодовой комбинации от предыдущих еньаволов.
Можно ввести'понятие энтропии множества совместных событий А и 2: Пусть 7, — среднее время передачи одного символа. Тогда величина Й=Х'(А; У) = (1!!Тс)Х(А; «') характеризует среднее количество информации, передаваемое в единицу времени. Ее называют скоростью передачи информации. Величине Н'(Л) - (1/Тс)Н(А) характеризует среднее количество информации, выдаваемое источииком.
Ее называ!ог производительностью источника. Найдем среднее количество информации, передаваемое по двоичному симметричному, каналу (рис. 4.2). Пусть ва вход канала ,поступают двоичные символы а! и аа с вероятностями, р и (! — Р) соответетввиио. На выходе канала появляются двоичные символы у! и уг Вероятность ошибки при передаче любого символа равна Рсш, Таким образом, Р(у!(а!) = 1 — Рош, Р(у!(ах) =Рот, Р(уа (<хх) = 1 Рош! Х>(уа (а!) Рош Воспользуемся формулой (4.21). Энтропия Н(У) = Р(у!)«оКР(у!) Р(ух)«ойр(уэ). С учетом рассматриваемой модели каиала р(у!) =Р(а!)Р(у!!!а!)+Р(ах)р(у!!!аа) =р — 2рр +р Р(ух) = Х вЂ” Р(у!) = ! — !(Р— 2ррсш+Рсш1. Нетрудно убедиться, что Н(У) принимает максимальное значение, равное 1, при р=1/2.
Условная энтропия т 2 Н (У(А) =- — 2; р (а„) 2' .р (у;(сс,) !ой р (ут!а!) = — р !ой р, ь 1 ! ! — (1 — Р, ) !ой(1 — Р,„). Заметим, что для,раесматринаемого случая Н(У!А) не зависит от .вероятности р. Х(д!и) у(ид у! ит у! ФХта)иа Хих р! у,Б удоЖУхя Рнс, 4.2. Диаграмма переходных вероятностей в двоичном симметричном канале Рис. 4.3. Зависимость передаваемой ннформации и двоичном симметричном канале 'от вероятности они!бкн ор Выражение (4.20) имеет простую физическую интерпретацию, когда а! — переданный символ, а у! — принятый, При этом Н(Л) можно раеематрввать как среднее количест!ю передаваемой информации, Н(Л( У) — каис среднее количество ииформации, теряемое н канале связи (велнчину Н(Л( У) обычно .называют ненадеисностью), Х(Л; У) — как среднее количество информации, получаемой с приходом каждого символа.
Нетрудно дать соответствующие интерпретации соотношениям (4.21) и (4.22). Энтропия Н(У(А) определяется только помехой в канале связи н называется шумовой. 56 В рассмотренном примере энтропия Н(Л) =1,875, а среднее '.'::,.', число двоичных символов, приходящихся на одно сообщение, л= ='1,875. Следовательно, полученный код является экономным. Существуют в другие процедуры кодирования, устраняющие:::г избыточность сообщений из-за их неравновероятности 1141. Избыточность псточнина, обусловленная наличием статистгсче-:".( ских связей между элементарными сообщениями„устраняется кодированием укрупненных сообщений. При передаче письменного:,",',:;: текста ото означает, что необходимо кодировать ие отдельные,'!:, буквы, а слова.
В результате такого кодирования остается избы- '? точность, обусловленная наличием статистичеокой связи между словамн, которая значительно слабее статистической овяаи меж- .,'-:: ду буквами. 4.4. ПРОПУСКНАЯ СПОСОБНОСТЬ ДИСКРЕТНЫХ КАНАЛОВ С ШУМОМ В й 4.2 было показано, что среднее (количество,информации,,", передаваемое по дискретному каналу в .расчете на один символ, .::. определяется как й(Л; У) —— Н(А) — Н(А $ У) =Н(!') — Н(У)А). где Л и У вЂ” множества символов иа входе,ц выходе канала.
Эн- тропия Н(А) определяется только источником входных символов. Энтропии Н(Л) У), Н(У) и Н(У!А) в общем случае зависят как от (источника входных символов, так и от свойств канала. Поэто- му скорость передачи, информации зависит не только от .канала,::,': но и от источника сообц(ений. Максимальное количество переда~и-;;:: ной информации в единицу времени, взятое по всевозможным ис- ':.' точникам входных символов (по всем многомерным распределе- ниям вероятностей Р(Л), ха~рактеризуюп)гим эти,источники), С= — )пах 7(А; У) ! (4,24) Гв Р(А) г)1 называется пропускной способностью канала.
Пропускную способность можно определить и в,расчете гна символ: С„,=игах Х (А; У). (4.25) Р(А) Из опрсделевий (4.24) и (4.25) следует, что скорость переда« чи информации не может быть больше С. В качестве примера найдем пропускную способность т-,ичного симметричного канала без памяти в расчете н~а олин снмвол, для которого переходные вероятности Р (У,)!ссг) = (р, !(т — 1) при 1~1, (1 — р при г=!', где р, — вероятлость ошибочного пр~иема символа„а( и уя '1, ( ° =1, ..., т, — символы на входе н выходе канала соответственно. 62 Воспользуемся формулой (4.21). Энтропия Н (У!А) = — — 2; р (а,) ~', р (у,.(аг) 1ой р (уг(аг) = г г г=г — р(сс,) ~ ~, '— 'ш 1од — 'ш +(1 — р, ) !оп(1 — р ) г=г , ш — ! и — 1 у-„г )+ 1 Рою (4.26) Из (4.26) следует, что Н(У')Л) не зависит от распределения передаваемых символов. Энтропия Н(У) принимает максимальное значение, равное !опас, когда символы уь 1=1, ..., пг, оказываются равновероятными.
Можно показать, что в случае симметриггиых каналов ото имеет место„когда входные символы равновероятны. Подставляя выражения для Н(У) и Н(У!Л) в (4.2!), и учитывая (4.25), находим: Сеимв = !Ой "г+ (1 Рош) 1Ой (1 — Рош) +Рвш )ой Рши)(т !) При т=2 Свимв= 1+(1 — Рвш) )ой (1 — Р )+Рош !ой Р ш (4 27) Из сравнения (4.27) с (4.23) следует, что ранее найденная величине 7(А;У) — ~ие что иное, с(ак пропускная способность двоичного симметричного канала в расчете на олин символ. Заметим, что пропускную способность канала несложно вычислить только для простейших каналов. 4.5. ВЗАИМНАЯ ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СООБЩЕНИЯХ. ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ.
ЭПСИЛОН-ЭНТРОПИЯ Распространим основные понятия теории информации иа непрерывные сообщсг(ия. Пусть Х(!) в У(!) — непрерывные сообщения иа входе н выходе канала соответственно. Пусть их звачеиня в любой момент 1 представляют непрерывные случайные ве.личины Х и У с плотностями вероятности цг(х) и сс(у), а статистические связи между Х и У характеризуются плотностью,вероятности цгв(х, у). Разобьем диапазон возможных значений случайной величины Х иа малые интервалы Ах. Введем дискретную случайную величину Х', принимающую значения хь 1=1, ..., т, с .вероятлостями р(х() жп)(х()Лх, где х( — среднее значение г-го интервала. Атсалогично введем дискретную случайную величину У', принимающую значения ув 1=-1, ..., и, с .вероятностями р(у,) айаг(у()Ау. Для случайных дискретных величин Х' н У' справедливы все соотношения $4.2.
Применяя к ним формулу (4.1) и затем пере- 63 1(Х; У) ОΠ— 1оц 1+— 2 ах (4.431 чайных величин с,различными плотностями вероятности нанболь- шеи дифференциальной энтропией обладает гауссовская случай- .ная величина с нулевым математическим ожиданием. В качестве второго примера найдем среднее количество ин- формации ((Х; У) о случайной величине Х, которос содержит случайная величина У=Х+Ж, где Х и !У вЂ” независимые гауссов- ские случайные велкчииы с нулевыми средними значениями и дисперсиями о'„и о'„соответственно.
Заметим, что величины Х и У можно рассматривать, например, как амплитуды импульса на входе и выходе канала, а й! —,как шум, который добавится к импульсу при его передаче по каналу. Итак, в рассматриваемом примере в(х)= ехр ( — — 1, "~/2яа» ! 2а~~ / в(п)= ехр ( — — ), ~/2 па„! 2 ах / Случайная величина У как сумма независимых гауссоваких случайных величин также будет гауссовской, причем ее матема- тическое ожидание будет равно нулю, а дисперсия о'„=- а'»+а' . Таким образом, 1 дй в (у) ОО ехр !в -Г1> ~ "..".1 При нахождении 1" (Х; У) воспользуемся формулой (4.31).
С учетом (4.38) дифференциальная энтропия й (У) = 1ой $'г2я е ( а', + а.') . (4.39) В соответствии с (4.'34) условная дифференциальная энтропия О О й (У!Х) = — ( ( в, (х„д) 1оцв (д)х) бхбу = ОО в(х) !" в (у!х)!опв (у(х) буях, (4.40) где условная плотность вероятности 1 (д — Х!О '1 в (д(х) = в (и) = — ехр (4.41) ~/2иа„ 2а~ Подставляя (4.4!) в (4.40) и обращая внимание, что д — х=п, находим й(У(Х)=!оцР Жео'. (4.42) Наконец, подставляя (4.39) и (4.42) в (4.31), получаем зависит не только от статистических свойств сообщения Х(1), определяющих,дифференциальную энтропию й(Х),,но и от критерия эквивалентности, от которого зависит условная плотность вероятности в(х!х) и соответственно условная дифференциальная эитропин й(Х!Х).
Величина О„(Х) =пбп !(Х; Х) =Ь(Х) — п1ах й(Х(Х), (4.45) где минимум берется,пе всем условным распределениям в(х!2) для которых е~(1) (е~м называется эпсилон-энтропией. Другими словами, эпсилон-энтропия — содержащееся,в сообщении Х(1) минимальное, количество,информации о сообщении Х(1), при котором оин еще эквивалентны. Она определяет количество существенной информации в одном отсчете .нецрерьщного сообщения или, что то же самое, среднее количество информации в одном отсчете непрерывного сообщения, которое необходимо передать для воспроизведения этого сообщения с заданной точностью. Так как Х(Е) =Х(1) — е(1), то условная диффереициальная энтропия й(Х!Х) при известном Х(1) полностью оцределяется диф- бт формула (4.43) при некоторых ограничениях (см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
