Скляр Б. Цифровая связь (2003) (1151859), страница 124
Текст из файла (страница 124)
Сам термин "энтропия" имеет несколько неопределенный смысл, что вызвано наличием нескольких формулировок в статистической механике. Для информационного источника с двумя равновероятными состояниями (например, выбрасывание монеты правильной формы) из рис. 9.5 видно, что неопределенность исхода и, следовательно, среднее количество информации максимальны. Как ссэ Гнпп О кпмпппмиппм ппи иппппняпваиии молчат|ни и коииооваиия выходных значений). Энтропия определяется как среднее количество информации, приходящееся на один выход источника, и выражается следующим образом: только вероятности уходят от равновероятного состояния, среднее количество информации снижается.
В пределе, когда одна из вероятностей обращается в нуль, Н также обращается в нуль. Результат известен до того, как произойдет событие, так что исход не несет в себе дополнительной информации. 3. Для иллюстрации связи между количеством информации и априорной вероятностью (если априорная вероятность сообщения на приемнике является нулем или единицей, сообщение можно не посылать) рассмотрим следующий пример. После девятимесячной беременности женшина оказывается в родильной палате. Муж с волнением ждет в приемной. Через некоторое время к нему подходит врач и говорит: "Примите мои поздравления, вы стали отцом'*. Какую информацию отец получил от врача восле медицинского исхода? Почти никакой; отец практически достоверно знал, что ребенок должен родиться.
Если бы врач сказал, "вы стали отцом мальчика" или авы стали отцом девочки", он передал бы 1 бит информации, поскольку существует 50% вероятность того, что ребенок окажется девочкой илн мальчиком. Пример 9.2. Среднее количество информации в английском языке а) Найдите среднее количество информации в бит/знак лля английского языка, считая, что каждая нз 26 букв алфавита появляется с равной вероятностью. Пробелы и знаки пунктуации не учитываются.
б) Поскольку буквы в английском языке (или каком-либо ином) появляются с различной частотой, ответ на п. а — зто верхняя граница среднего количества информации на знак. Повторите и. а, считая, что буквы алфавита появляются со следующими вероятностями: р = 0,10: для букв а, е, о, г р=0,07: длябуквЬ,),п,г,з Р = 0,02: для букв с, д, Е 1, пь р, в, у р = 0,01: лля букв Ь, 8,1, 'х„й, ч, и, х, х Решение а) Н = — ~ — 1ойз~ — ) =47 бит/знак 26 ~26 б) Н= -(4х 0,1!о820,1+ 5х 0,07!ойз0,07+ 8х 002!ой~0,02+ 9х 001!о8,0,01)= 4,17 бвт/знак Если 26 букв алфавита нужно выразить в некоторой двоичной схеме копирования, то лля каждой буквы требуется пять двоичных цифр. Пример 9.2 показывает, что должен существовать способ кодирования английского текста е среднем меньшим числом лвоичных цифр для одной буквы (среднее количество информации, содержащееся в каждом знаке, меньше 5 бит).
Подробнее тема кодирования источника будет рассмотрена в главе 13. 9.4.3. Неоднозначность и аффективная скорость передачи информации Пусть по двоичному симметричному каналу (определенному в разделе 6.3.1) со скоростью 1000 двоичных символов/с происходит передача информации, а априорная вероятность передачи нуля или единицы одинакова. Допустим также, что помехи в канале Я 4 т~ имама Н 1аааа аЛаа О б Н(х!у) = — ~ Р(х~у) 1о8 Р(х)у)= х,г Р(У)~Р(Х)У)!ойз Р(ХЯ (9.10) где Х вЂ” сообщение, переданное источником, у — принятый сигнал, Р(Х, 1') — совместная вероятность Х и у, а Р(Х~Г) — условная вероятность Х при приеме 1'.
Неоднозначность можно представить как неуверенность в передаче Х при условии принятия У. Для канала без ошибок Н(Х))) = О, поскольку принятие сообщения У абсолютно точно определяет Х. В то же время для канала с ненулевой вероятностью возникновения символьной ошибки Н(Щ > О, поскольку канал вносит некоторую неопределенность. Рассмотрим двоичную последовательность Х, для которой априорные вероятности источника Р(Х= 1) = Р(Х = 0) = 1/2 и где, в среднем, в принятую последовательность из 100 бит канал вносит одну ошибку (Р, =0,01). Исходя из уравнения (9.10), неоднозначность Н(Х))) можно записать следующим образом: //(4 У) = -И вЂ” Рв) 1ойв И вЂ” Рв) + Рв )одз Рв) = = -(0,99 1о8, 0,99.ь 0,01 1о8, 0,01) = = 0,081 бит/полученный символ.
Таким образом, в каждый принятый символ канал вносит 0,081 бит неопределенности. Шеннон показал, что среднее эффективное количество информации Нвв в приемнике получается путем вычитания неоднозначности из энтропии исгочника. Следовательно, Нш = Н(Х) — Н(Х) У).
(9.11) Для системы, передающей равновероятные двоичные символы, энтропия Н(Х) равна 1 бит/символ. Если символы принимаются с Р, =0,01, неоднозначность, как показано выше, равна 0,081 бит/(принятый символ). Тогда, используя уравнение (9.11), можем записать эффективную энтропию Нш принятого сигнала. Н,» = 1 — 0,081 = 0,919 бит/полученный символ Иными словами, если, например, за секунду передается к = 1000 двоичных символов, то Я,в можно выразить следующим образом: (9.12) Двг = дН.в = 1000 символов/с х 0,919 бит/символ = 919 бит/с.
Г о к * в ~~ а аъп~~~~~~ввшвй М настолько значительны, что, независимо от переданного символа, вероятность приема единицы равна 1/2 (то же самос — для нуля). В таком случае половина принятых символов должна случайно оказаться правильной, и может создаться впечатление, что система обеспечивает скорость 500 бит/с, хотя на самом деле никакой информации не передается. Одинаково "хороший" прием дает и использование "информации", поступившей из канала, и генерация этой "информации" методом подбрасывания правильной монеты. Утраченной является информация о корректности переданных символов. Для оценки неопределенности в принятом сигнале Шеннон (3) использует поправочный коэффициент, который называет неоднозначностью (ег(шчоса1(оп).
Неоднозначность определяется как условная энтропии сообщения Х, обусловленная данным сообщением У, или Отметим, что в предельном случае Р, = 0,5 О(Х)У) = -(0,5!ой, 0,5+ 0,5 1ойг 0,5) = 1 бит!символ Используя формулы (9.12) н (9.11) при Е = 1000 символов/с, получаем й,» = 1000 символов!с (1 — 1) = 0 бит!с, что и следовало ожидать. Пример 9.3. Кажущееся противоречие с пределом Шеииоив График зависимости Ра от Ее!)ге обычно показывает плавный рост Ра при увеличении Еь((Че. Например, кривые вероятности появления битовых ошибок на рис. 9.1 показывают, что в пределе при Еа/Х„стремящемся к нулю, Ра сл!ремилгел к 0,5. Таким образом, кажется, что всегда (при сколь угодно малом значении Ез/)!7,) имеется ненулевая скорость передачи информации.
На первый взгляд эл!о ое согласуется с величиной предела Шеннона Ее!)Уе = -1,6 дБ, ниже которого невозможна безошибочная передача информации или ниже которого даже бесконечная полоса пропускания дает конечную скорость передачи информации (см, рис, 9.4). а) Предложите способ разрешения кажущегося противоречия. б) Покажите, каким образом коррекция неоднозначности по Шеннону может помочь разрешить данное противоречие для двоичной системы с модуляцией РБК, если энтропия источника равна 1 бнт/символ.
Предположим, что рабочая точка на рис. 9.1, 6 соответствует Ег/Фо = 0,1 ( — 10 дБ). Решение а) Величина Еы традиционно используемая при расчетах каналов в прикладных системах, — это энергия принятого сигнала, приходящаяся на леуедаолый символ. Однако Еь в уравнении (9.6) — это энергия сигнала, приходящаяся на один бит принял!ой иифермации. Для разрешения описанного выше кажущегося противоречия следует учитывать потери информации, вызываемые помехами канала.
б) На основе уравнения (4.79) для ВРБК можно записать Ра = МХЕь!!!)е)= Д(0447) ° где Д определено в формуле (3.43) и представлено в табличной форме в приложении Б (табл. Б.1). Из таблицы находим, что Ра = 0,33. Далее находим неоднозначность и эффективную энтропию Н(Е)У) = (П вЂ” Рв) 1оЫг (1 — Рв) + Рв 1обг Рв) = — (0,67 1ойг 0,67 ь 0,33!ойг 0,33) = = 0,915 бит!символ И„= Н()Π— Н(хР) = = 1 — 0,915 м = 0,085 бит!символ ц л твча а ! ! ! у ° „ , ° А , ° $ Следовательно, с Еь ~ (Еь/Ио) джоуль иа символ/ватт иа символ Ио/„г Н,н бит/символ 0,1 джоуль на бит 0,085 ватт/Гц =0,7 дБ.
Таким образом, эффективное значение Е~ИО равно 0,7 дБ на принятый информацион- ный бит, что значительно больше предела Шеннона -1,6 дБ. 9.5. Плоскость "полоса-эФфективность" С помощью уравнения (9.6) можно составить график зависимости нормированной полосы пропускания канала йг/С (в Гц/бит/с) от Ег/Иш как показано на рис. 9.4. Здесь в качестве независимой переменной взято Е,/Иь и можно вндеть компрозгисс между активной ион(постные и пологой пропусканоя, так сказать, в деле. Можно показать [5], что качественно спроектированные системы должны стремиться к работе в области излома кривой компромисса между полосой пропускания и мощностью для идеального (/г = С) канала.
Характеристики реальных систем часто отличаются от идеальных не более чем на 10 дБ. Наличие излома означает, что в системах, в которых предпринимается попытка уменьшить занимаемую полосу пропусканиа канала или снизить требуемую мощность, приходится все больше повышать значение другого параметра (что является не очень желательным). Например, возвращаясь к рис. 9.4, можно сказать, что идеальная система, работающая при Е/Иэ = 1,8 дБ и использующая полосу частот с нормированной шириной 0,5 Гц/бит/с, для уменьшения используемой полосы частот до 0,1 Гц/бит/с должна поднять Е/И, до 20 дБ.
Подобное будет происходить и при попытке компромисса в обратную сторону. С помощью уравнения (9.6,в) можно также получить зависимость С/И' от Е~/Ио Она показана на графике зависимосги Е/И' от Е/И, (рис. 9.6). Обозначим эту плоскость как плоскость '"полоса-эффективносп". Ордината Е/И' — это мера объема данных, которые можно передать через единицу полосы частот за данное время; следовательно, она отображает эффективность использования ресурса полосы пропускания. Независимая переменная Е,/Иь измеряется в децибелах. На рис. 9.6 кривая й= С вЂ” это граница, разделяющая область реальных прикладных систем связи и область, в которой такие системы связи теоретически невозможны. Подобно изображенной на рис.
9.2, характеристика эффективности полосы пропускания на рис. 9.6 устанавливает предельные параметры, которые достижимы для прикладных систем. Поскольку в качестве независимой переменной более предпочтительно Ег/И„чем Бгч'К, рис, 9.6 удобнее рис. 9.2 с точки зрения сравнения компромиссов кодирования и модуляции в цифровой связи. Отметим, что на рис. 9.6 проиллюстрирована зависимость эффективности использования полосы частот от Е/И, для систем с одной несущей.
Для систем с множественными несущими зффективчость использования полосы частот зависит от разнесения несущих (и типа модуляции). В этом случае компромисс — это насколько разнесены несущие (что приводит к повышению эффективности использования полосы частот) без возникновения неприемлемых помех соседних каналов (аг()асепг с)шопе! 1пгеггегепсе — АС1). В/Иг(бит/с/Гц) Граница пропускной способности, длл которой и = С 16 Область, в которой П > С 8 Область, в которой Я < С М = 266 О2 М = 64 ь М 16 ь ° /т М=в Рвт а Область ограниченной полосы Оз Раз Предел Шеннона 2 Направление улучшении Рв Бь/Г/О (дБ) 18 24 30 36 -З)) -1,0 Внимание: 1 изменение 1 масштаба 6 12 М=4 ° ° М=2 М=8 условные обозначение ° Когерентнел МРБК, Рв 18-8 М= 16 1/4 ° Нексгерентнал ортогональное МРБК, Рв = 18-' ь Когерентналодм,Рв=!О-З о Область ограниченной мощности Рис. 9.6.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
