Кловский Д.Д. и др. Теория электрической связи (1999) (1151853), страница 56
Текст из файла (страница 56)
(В дальнейшем мы увидим, что выбор основания логарифма никак не повлияет на основные результаты теории информации, а именно на теоремы кодирования.) Из соотношения (6.8) видно, что количество информации, содержащейся в сообщении, тем больше, чем меньше вероятность его появления, причем количество информации, содержащейся в сообщении о "невозможном" событии, равно бесконечности. (Образно говоря, количество информации пропорционально "удивлению" от того, что оно произошло, причем "чудо", имеющее вероятность своего появления, близкую к нулю, дает количество информации, близкое к бесконечности.) Можно предвидеть возражения читателя, состоящее в том, что некоторые маловероятные, но не значимые для нас события (например, то, что муха села именно в данную точку потолка) не несут для нас информации, по крайней 224 мере в утилитарно понимаемом смысле этого слова.
Поэтому следует сразу же подчеркнуть, что в теории информации, относящейся к связным проблемам, не рассматривается вопрос о полезности информации1). Мы всегда выступаем здесь в роли связистов — "служащих", задача которых передать по каналам связи выданную нам источником информацию, не рассуждая о ее полезности. Посмотрев же на проблему именно под этим углом зрения, можно интуитивно согласиться, что передать по каналу связи сообщение о расположении мухи в определенном месте потолка труднее, чем, например, сообщение отцу о рождении долгожданного сына„а не дочери. Энтропия источника сообщений.
Выше мы определили частное количество информации, содержащееся в некоторой последовательности а, выданной источником сообщений. Однако сам факт генерирования именно этой последовательности является случайным собьггием, имеющим вероятность Р(а), а, следовательно, случайной величиной оказывается и количество информации 1(а). Поэтому можно поставить вопрос о среднем количестве информации, выдаваемом некоторым источником сообщений, которое можно определить как математическое ожидание случайной величины 1(а). Если пока ограничиться лишь последовательностями длины л, обозначив их а(л1, то в соответствии с известной формулой для математического ожидания дискретной случайной величины, мы получаем М(~(а~"~)) = М1-1оцР(а~"~)) = -~~~ Р(а~и)1о~Р(а~и), (6.9) ! 1 где суммирование, как видно, производится во всем возможным последовательностям длины и с элементами, взятыми из алфавита объема К Для того, чтобы получить исчерпывающую информационную характеристику источника сообщений, который, вообще говоря, может выдавать последовательности неограниченной длины, нужно вычислить предел среднего количества информации 1(а1"1), отнесенный к одному символу последовательности.
Полученная величина, которую мы, следуя еще установленной Шенноном традиции 129~, обозначим через Н(А), называется энлзролией источника сообщений, т.е. Н(А) = — Бш — ~ Р(аол)1ояР(а~"'). (6.10) 1=1 Если берется логарифм по основанию 2, то Н(А) измеряется в битах на символ. Выражение (6.10), очевидно, будет иметь смысл лишь тогда, когда предел в его правой части существует.,Это свойство выполняется для стационарных источников. Заметим, что буква А в обозначении энтропии Н(А) указывает на определенный источник с алфавитом А, причем для краткости опускается вид вероятностного распределения р(а).
Если источник не обладает памятью, то, используя свойство логарифмической функции, легко показать, что его энтропия будет К-1 Н(А) = — ~~> Р(а,) 1оцР(а,.), (6.11) ! О где Р(а;), 1= О, 1, ..., К вЂ” 1, — вероятности выдачи источником символов а; е А, причем они не зависят от номера элемента последовательности, так как и Это не исключает возможности применения аппарата теории информации для оценки ее полезности в других дисциплинах. 225 к! н(н>-ьок<ьое тн»а» — 1-!) = (к! Р(и) к! =! ое !г.— '-~-Ен(о)) =! р (! — !)=о. ! о КР(4Ц ! о (6.15) Равенство в (6.15) будет иметь место только при р(а;) = 1/Х, что и доказывает данное свойство.
Воспользовавшись свойствами 1-3, можно наглядно пояснить смысл понятия энтропии — это средняя информативность источника на один символ, определяющая "неожиданность" или "непредсказуемость" выдаваемых им сообщений. Полностью детерминированный источник, выдающий лишь одну, заранее известную последовательность, обладает нулевой информативностью. Наоборот, наиболее "хаотический" источник, выдающий взаимно независимые и равновероятные символы, обладает максимальной информативностью. Здесь уместно привести пример с обезьяной, сидящей за пишущей машинкой (в более современном варианте — за клавиатурой компьютера).
Если она обучена ударять по клавишам, но, очевидно, не знает грамоты, то "обезьяний" текст окажется примером текста с взаимно независимыми и равновероятными символами. Поэтому он будет обладать наибольшей энтропией, превосходящей энтропию осмъосленного текста на каком-либо языке. Несмотря на бесполезность обезьяньеп! текста, как мъ1 увидим в дальнейшем, передавать его по каналам связи сложнее, чем какой-либо смъюловой текст. Энтропия источника сообщений тесно связана с понятием его избыточности, которое формально определяется следующим образом: 226 источник является стационарным. Прежде чем пояснить наглядный смысл нового понятия энтропии, опишем ее основные свойства.
1. Н(А) ~ О, причем Н(А) = О тогда и только тогда, когда одна из последовательностей имеет единичную вероятность, а все остальные — нулевую. (Это свойство очевидно из определения энтропии.) 2. Для любого стационарного источника сообщений к ! Н(А) < -~~~ Р(и,) 1ов Р(и,) .
(6.12) ! о Поскольку выражение в правой части (6.12) — это энтропия источника без памяти, то данное свойство означает, что память уменьшает энтропию источника. Данное свойство, хотя очевидное, требует специального доказательства 116), которое здесь не приводим. 3. Для любого стационарного источника сообщений Н(А) < 1одХ= Н,(А) (6.13) причем равенство имеет место тогда, и только тогда, когда источник не имеет памяти и все его символы равновероятны. Из свойства 2 следует, что при доказательстве неравенств (6.13) мы сразу можем ограничиться источниками без памяти. Для доказательства свойства 3 рассмотрим разность к ! 1 К 1 1 Н(А) — 1одК =,5 р(и! 1о~ — — 1одК = 1оцс,~„Р(и,)1п .
(6.14) Р(а,) 1, ' КР(а,) Далее воспользуемся известным неравенством йх < х — 1, х > О. Тогда 1о8К- Н(А) „( Н(А) 1 а= 100 о='(! — — ).100%>0. 1о8К ~ 1о8К) (6.16) 1 Если источник сообщений имеет фиксированную скорость ч„= — симв/с, и то определим производительность источника Н'(А) как энтропию в единицу времени, (секунду): Н'(А) = чиН(А). (6.18) 108 К Максимум (6.18) Р„= ' (бит/с) обычно называют ингрормационной ско- Т„ раалью источника. Количество информации, передаваемой по каналу связи (взанмная информ»- цня). Рассмотрим некоторый дискретный канал связи, заданный алфавитом 227 Как видно из выражения (6.16), чем больше энтропия источника, тем меньше его избыточность и наоборот.
Известно, что избыточность естественных языков является весьма важным свойством, позволяющим воспринимать рукописный или искаженный текст, слышать речь в больших акустических помехах и т.д. Теория информации, как мы убедимся в дальнейшем, позволяет количественно оценить эти возможности. Для экспериментального вычисления энтропии или избыточности естественных языков используются статистические данные о частости, с которой встречаются буквы текста и их сочетания (биграммы, триграммы и т.д.). Так, если воспользоваться так называемой статистикой английского языка 1-го порядка (т.е. частостью отдельных букв), то энтропия оказывается равной 4,03 бит/букву, а если статистикой порядка, то 3.32 бит/букву.
В то же время более точную оценку энтропии можно получить, воспользовавшись, например, предложенным еще К. Шенноном "методом случайного угадывания" !29). Такой подход дает верхнюю оценку энтропии английского языка 2 бит/букву и нижнюю 1 бит/букву. Это позволяет сделать вывод, что основная избыточность естественного языка определяется многомерными зависимостями между буквами (корреляцией текста), и для ее использования необходимо знать эти зависимости. Аналогичные выводы можно сделать и относительно русского и других языков, хотя их О,б энтропии и несколько отличаются друг от друга.
(Известно, например, что одна и та же пьеса В. Шекспира идет в Берлине дольше, чем в Лон- 02 доне.) Наиболее простую форму принимает энтропия од 0,4 о,б 0,8 Р(0> в случае двоичного источника сообщений без па- Рис.б.!. Энтропия двоичного мяти. Если для краткости обозначить Р(ао) — Р(0) источниявбсяпвняти и Р(а1) = Р(1), то Н(А) = — ~ Р(О)1о8Р(О) + Р(1) 1о8Р(1)1 = — ~Р(О) 1о8 Р(0) +(1- Р(0)) 1ок(1- Р(О))] (6 17) Вид этой функции показан на рис. 6.1 для основания логарифма, равного двум. (6.21) входа и выхода (Х,1!) и условным распределением Р(у1х), х нХ", у ~Ъ'"'), и предположим, что на вход канала непосредственно поступают сообщения от некоторого дискретного источника сообщений с алфавитом А, совпадающим с входным алфавитом канала Х, Это предположение эквивалентно условию, что сам вход канала представляет собой дискретный источник сообщений с алфавитом Х и распределением вероятностей последовательностей, составленных из символов этого алфавита.
Пусть этот источник имеет некоторую энтропию Н(Х) и вьщает последовательность х. Тогда, если на выходе канала появилась некоторая последовательность у, то можно поставить следующий вопрос: как рассчитать количество информации 1(х~у), содержащейся в х, при условии, что на выходе появилась последовательность у? Ответ на него легко получИть, воспользовавшись определением частного количества информации (6.8), но при замене безусловного распределения вероятностей на условное, т.е. !(х~у) = — 1о8Р(х)у) > О.
(6.19) Определим условную энтропию Н(Х(х") входа канала Х при известном выходе х' как МО (6.19) аналогично тому, как это было сделано при нахождении энтропии источника из выражения (6.10), !" ю Н(Х~!У) = — Бпз —,'У,' ~~~ Р(х!"', у~"') 1о8 Р(х~"'~у!."!), (6.20) !!1 где, как и раньше, верхний индекс и в квадратных скобках означает длину входных и выходных последовательностей. В частном случае канала без памяти легко получить из (6.20) !!аг! Н(Х~Т) = -~~~„"!, Р1х„у )1о8Р(х,~у ).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
