Васин В.И. Информационные технологии в радиотехнических системах. Под ред. И.Б.Федорова (2-е издание, 2004) (1092039), страница 131
Текст из файла (страница 131)
(10.46) Подставляя формулу (10.46) в (10.45), получаем Н,(Х) =й(Х)-)ойз(2нее,'. 670 !Об.пд гшв < шабв ргр нх а еабдв в ву Для гауссовакого источника Х(г) эпсилон-энтропия Н,!Х! принимает мвкаимвльнаезиачение — — 1 Н,(Х) = !ай )2лео, — !ай,)2хес, '= — !сап'„!с'. 2 При пом величина о„'зе„характеризует минимальное отношение сигнал шум, при катарам сообщения Х(г) иХ(г) еше эквивалентны. Количество информации, которое необьолимо передать в единицу времени, чгобы «осствнавить сообшение прн заданном кргггерии эквивалентности, называется элснлон-лртпвадюлкшвоемью Н',!Х) источника нь прерывньш ааабшений.
Если источник выдает незавиаимые озьчегьг сааб. гцсни» в дискретные иоменты ао средней скоростью г,„, та Н',(Х) = г „Н,(Х). Эпсилон-производительиссть источника называк г также скоростью создания информации при выбранном критерии эквивыентности. 10.6. Пропускная способность непрерывных каналов с вллнгивным шумом Пусть сигнал у(г) на выходе канала представляет собой сумму полезною сигнввах(г) и шумел(г), т е у(г) = «(г) ьгг(г), 0 Ц г Ц Т, (!0.47) причем сигнал «(Г) н шум л(Г) статист ичеакн независимы. Допустим, что канал имеет ограниченную полосу прапускания шириной Р„. Татаа в соотвсгствии с тоореьюй Котельникош (см.
й 2.4) функции у(г), х(0 и л(г) можно представить аовокулноатями отсчетов у„х, и л,, ! = 1,, М, гле М 2Р,Т. 1!ри этом статисти юскив свойства сигнала х(г) можно описать многомерной плотностью вероятною и м(хь хь.,,, «л) = н(х). а статистические свойства шума — плотностью вероятности н(на ля,,л,)= (и), где к ив — векгоры с координатами (ха хэ,, хг,) и (ль л,, лн) соответственно. Пропускная способность непрерывнога канала апределяеп:я выражением С =- 1пп — пшх !'(Х; У), 1 Т "гп где Р(Х; У) — «озичество инфоривции а какой-либо реализации сигнала хйф длительности 7; которое в среднем содержит реыизация сипзала у(г) 67! 10 Информачндннтекарактернстикнс сте переда нннфдрмаинн той же длительности Т; максимум ищется по всем возможным распределениям и(х).
СРеднюю взаимную информацию можно определить как Т(Х; У) =. )г(У) — Ь(У ! Х), где ЬП') = — ] ..[щ(у) !ойэе(у)НУ; Ь(У; Х) = — [... [и(х, у) 1ойи(у(х)с(ус)х Заметим, что с учетом формулы (!0.47) условная плотность вероятности и(у!х)= ге(п) и Ь(У ! Х) = — ]... [и(у)к) (ой зе(у!х)с(у = Ь(Ъ). Таким образом, пропускная способность непрерывного канала с аддин ивиым шумом определяется выражением С = !пп — щах [Ь(У) - Ь(Ф)]. ! (10.40) Вычислим пропускную способность непрерывного канала без памяти с аддитивиым белым гауссовским шумом, имеющим одностороннюю спектральную плотность еут Лля случая, когда средняя мощность полезного сигныа равна Рн При этом отсчеты шума оказываются статистически независимыми и дифференциальная онгропня Ь(Щ) = 2РТ!ойчТ2кеп. = Г Т1ой2яео„—.РТ!ой2хеР, (1049) где п„т Тннр"„— дисперсия шума и(г) Определим максимально возможное значение дифференциальной энтропии Ь(У).
Прежде всего отметим, что М(У) =М(Хз) +.нд(Р( )=Р,еР =-сопя!, т. е, средний квадрат отсчета У, фиксирован. При этом дифференциальная энтропия Ь(У) принимает максимальное значение, когда случайная величина У, является гауссовской с нулевым математическим ожиданием. Это имеет месго, если случайная величина Х вЂ” гауссовская с нулевым матеьеатическим ожиданием. Дифференциальная энтропия Ь(У) совокупности из и <лсчетов будет максимальна, если отсчеты статистически независимы.
Это имеет место, 672 глб Ггр у о Сно я шрср1 х э «. дд мне ын уз. если спектральная платное машности процесса Х(г) равномерна в полосе часз н Рг При выполнении указанных требовании к сипзалу Хт О (10.50) Л(У) — РТ)ой2яИР, ч-р,„). Подстегыя формулы (10.49) (10 50) в (1О 48), находим Г Р Г= Р 1ой~15 — '1=7 1ой(1ь — — у (10.51) С,75 Р, Р, Г„= — )ойе 1,445 —, ю, лг„ С,5С а,25 ко орое легко опредслиз ь с учетом (10.! 4). Замшньг, что пропускная спссобиссгь непрерывного канала, в «сторон действует шум, отличный ог белого гауссовского, бочьше, ем дает расчет по формуле (10.51).
О 2 Ч б Рис. !0.4. Звв симссгь пропуск- ной способноми ка юа 1п ширк- ны 1юлссы ' везет 673 1 ~езп Формулу (1051) часто называю1 фориулой П)ениона. Полчеркнем, что она справедлива для следующей илешизировм1най модели канала связи: выходное колебание у(г) представляет собой сумму нхолного сипгала х(г) и шума н(О причем сигны и юум являются шагистически нсзависимыии гауссовскими случайными пропсссами с нулевыми мазечатическими ожиданиями и имеют равноиерные спектральные шзотносзн мощности в полосе час~от О Чу'К р„ Формула (10.51) очень нежна для систем связи, так как она устанавливает связь между пропускной спссобностыо непрерывного кш1ала с ограни шиной гюлосай частот и техническими харакшристиками системы; п риной полосы пропускания канала н о1ношением сигию -шум Из нее следует, п одну и ту же пропускную способность можно получить при рвп1ичпых соотношсни х Р„ и Р,ГР,, Другими словами, формула (10.51) указывает на возможность обмена полосы прапускания на машность сит.
нала и наоборот. С учегоч зависимостей Г от Р„ и С ат Р,гр очевидна целесообразность обмена мощности сип1ала на полосу Из формулы (10.51) видно, что пропускная способность канада повышаегся с увеличением полосы 1ншнп Р, (рис. )04) при Р. -ь стречизся к предельному значению: СГС 10 Инфар,>ацирлль>ах р кт ркглпта г стем аереаачк информации 10.7. Теорема кодирований длн канала с номехамн Пропускная способное>ь дискретного (10.24) и непрерывного (!0.5!) каналов характеризует нх предельные возмо>кносги как средств передачи информации Они раскрываю~ся в фундаментальной теореме теории информации, которая известна как основная террами кодирования К. П1еннона.
Применительно к дискретному исгочнику она гласит: сеян производительность ис>очипка сообщений Б(А) меньше пропускной способности канала 1"., то существует по крайней мере однв процедура колировашш и декодирования, при которой вероягность ошибочного декодирования и ненадежность П(А1У) могут быть сколь угодно малы. Если ЕР(А) э С, то такой процедуры не су>лествует. Дока>ательство этой теоремы можно найти, например, в (136, 137]. Резулщат основной теоремы кодирования для канала с шумом в опрелеленной степени неожидан. В самом деле, на первый взгляд кажется, что уменьшение вероятности ошибок в передаче сообщений требует соответствуюн>его уменьшения скорости передачи и что последняя должна стремиться к нулю вмесш с вероятностью ошибок.
'1 акой вывол, в час> нощи, вьпекаег из рассмотрения многократной повторной передачи символов источника по канату как способа уменьшения вероятности ошибок в передаче сообщений. В этом случае при >шличии помех в канале связи обеспечить стремление к нулю вероятности ошибки в передаче сообщения можно только прн стремлении скорости передачи к нулк>. Однако теорема кодирования показывает, что в принципе можно вести передачу со скоростью, скол~ угодно близкой к С, достигая при этом сколь угодно малой вероятности ошибки.
К сожалению, творе>>к указывая на принципиальное существование помехоустойчивого кода. не дает рецепта его нахожлсния. Можно лишь отметить, что дл» лога необходимо прнменягь коды большой длины При этом по мере приближения скорости передачи к пропускной способности и ул>еньшення «ероягностн ошибки код усложняется вследствие увеличения длины блоков, что приводит к резкому усложнению копирующего и декодирующего устройств и запаздыванию при декодировании Применяемые в настоящее время способы кодирования (см.
й 9.5) не реализуют потенциатьных возможностей системы связи. О степени совершенства системы связи можно судить по отношению>1 - Д1С. Для канала с пропускной способностью С, на входе которого включен источник непрерывньж сообщений, К. Шеннон доказал следующую теорему: если при заланном критерии эквиватентности сообщений источника еь его эпсилон-энтропия 71,' (Л) меныпе пропускной способности канала С, то суцгествует способ кодирования и декодирования, при котором погрешность 674 !07 У»ре ар еа юдыюяаюс ом «и воспРоизведениа сколь Угодно близка к кв ПРн !У', (Х) эС такого способа не з сугнесгвуш. В теорема кодирование панииае ся в широком смысле как пресбэрпование непрерывного сообщения в сигнал.
С вопросами кодировании непрерывных сообшсний можно познакомицшя в [1353 Контрольные вопросы 1. Как определяется взаимная инфор ап между двумя ссбытиямн" 2. '!та таьсе собственная нвфориалияэ 3. Ка« опрсдел ется условная взаимная информацняу 4. Ка опрелеляешя услов ах собствен ая ннфсрмапня7 5. В мм заключаетсн свойство алд!пивнос а взаимной информацин7 6. Чю а ос э ро я источника дискрепшх сообшсннй" Дай е ф энческую инюрсреталню энтро 7.
Дайте онрелеление сюрас среда н информации н пронзволнтельносги источниш й. Ч о а ое збытсчность исшчника дискретных сообшений7 9, В чем суть основной теорамы «олирования при стсуютвин помех К. Шеннона7 19. Даа е определение пропускной способности аишм. 11. В чем су ь основной т орсчы кодиревания нри юшичии помех К. !ценноиат 12. Че у равна пропускная способность аваичного симметричноге «аюшау 13. Как овределяезся взан а информация между непрерылгшми сообш ния не !4.
Что такое лифферснциюьнш э!пропп 7 Сра инте ее с энтропией лискрегиых ообшений !5. Дан е ред ение эпсилон энтропии н эпсилон пр изводит л нос сточни. ка непрерывных сообше й По с е их смысл. 16. Чему равна пропускмая спосо5нос непрерывного !"ауссавскою «анапа с огра. ° иченной полосой частоте 17. Сфор улируйте теорему кояирования К Шенноне для е р р аюбшений 11. ПЕРСПЕКТИВНЫЕ СИСТЕМЫ ПЕРЕДАЧИ ИНФОРМАЦИИ Рассмотрены приниины построеюзя и особенности работы спутниковых и сотовых оистви передсти информаяии.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
