Калмыков В.В. Радиотехнические системы передачи информации (1990) (1151851), страница 10
Текст из файла (страница 10)
2 4.6) определяет максимальное количество, инФормации об отсчете входного сеоб1цения, которое в среднем может содержать один отсчет выходного сообщения. Эпсилон-энтропия и эпсилон-производительность источника непрерывных сообщений. Как уже отмечалось, энтропия источника непрерывных сообщений раппа бесконечности. Это означает, что для передачи непрерывного сообщения с абсолютной точностью необходимо передать бесконечно большое количество информации, что, естественно, нереально. Одиэко из-за ограничен~ности разрешающей способности информационно-измерительных систем, реальной чувствительности, приемных устройств н органов чувств 'Х человека иа практике ивкотда ие требуется точного энввия переданного сообщения. Оказывается достаточным воспроизвести его с,некоторой точностью, характеризуемой иекотцрым малым параметром е. При этом количество передаваемой информации конечно и зависит от параметра е.
Показатель в. характеризующий требуемую точность, может быть любым. Навболее часто ~в качестве его используют средний квадрат, разности, между цримятым сообщением Х(4) и передан; иым Х(1): е'(1) = (Х(г) — Х(1)1~. (4,44) При этом сообщения Х(1),и Х(1) называются эквивалентными, если е'(1) (е'а. Средняя взаимная информация между соебщениями Х(1) и Х (1) т(Х," Х) =Ой(Х) — Ь(Х!Х) Рис. 4ип Зависимость пропускной способности кана- ла от пн1рииы полосы частот Г» ар Дифференциальная эиз!ропия Ь(У) сово- купности из и отсчетов будет мнксималь. и! иа, если отсчеты будут статистически яо иезависямыми. Это имеет место, если спектральная клотность мощнсюти процесса Х(1) равномерна в волосе частот Р„.
При выполнении указа~нных требований к сигналу Х(!) А(У) =Г Т)щ2яе(Р,+Р ). (4.50) Подставляя (4.49) н (4.50) в (4.48), .н~аходим С= Р 1од ~1+ — ' ) = Р 1ой ~1+ (4.51) Формулу (4.51) часто называют формулой Шеннона. Подчеркнем, что она справедлива для следующей идеализированной модели канала связи..Выходное колебание у(1) представляет собой сумму входного сигнала х(!) и шума а(!), причем аигнал и шум являются статистически иезавиоимыми гауссовскими случайными процессами е .нулевыми математическими ожиданиями и имеют Равномерные спектральные плотности мощнеети в полосе частот О~~-=Р„. Формула (4.51) очень важна для систем связи, так как она устанавливает связь между пропускной способностью иепрерывного канала е ограниченной полосой частот и техническими характеристиками системы: ширииой полосы пропуакания канала и овиошением сигнал-шум.
Из,нее следует, что одну и ту же пропускную способность можно полу шть прн различных соотношениях Р» и Р,!Р . Другими словами, формула (451) указывает ва возможность обмена полосы пропускаыия на мощность сигнала ~и наоборот. С учетом зависимостей С от Р„и С от Р,!Рш очевидна целесообразность обмена мощности сигнала на полосу. Из (4.51):нетрудно видеть, что пропуенная способность канала рлетст с увеличением полосы частот Р, (рис. 4.4) н при Рк-~.со стремится к предельному значению С„= — ' 1оя е = 1,443 —,— ' мо ' ко которое легко, находится е учетом (4.!4). Заметим, что,пропускная способность непрерывного канала, в котором действует шум, отличный от белого гауссовского, больше, чем дает формула (4.51). 70 4.7.
ТЕОРЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛА С ПОМЕХАМИ Пропускная способность дискретного (4.24) и непрерывного (4.5!) каналов характеризует,их предельные возможности как срелств передачи ~информации. Они раскрываются в фувламеи~альной теореме теории информации, которая известна,как основная теорема кодирования К. Шеннона. Применительно к дискретному источнику она гласит: если производительность источ,ника сообщений Н'(А) меньше пропускной способности канала С, то существует по крайней мере олна процедура кодирования и декодирования, прн которой вероятность ошибочного декодирования и ненадежность Н(А(У) могут быть сколь уголно малы. ! ели Н'(А): С, то такой цроцедуры не существует.
Доказательство этой теоремы можно найти, например, в !2, 14, 15!. Результат основной теоремы кодироваиия для канала с шумом и определенной степени неожидан В самом деле, на первый взгляд кажется, что уменьшение вероятности ошибок в передаче .;Ф':: сообщений требует соответствующего умеиьшевия скорости передачи и что,последняя должна стремиться к нулю вместе с вероятностью ошибок. Такой вывод, в частности„вытекает из рассмотрения многократной повтораой передачи символов источника по каналу как способа уменьшения вероятности ошибок в передаче сообщений. В этом случае при наличии помех,в канале связи обеспечить стремление к кулю вероятности ошибки в передаче сообщения можно только ири стремлении скорости передачи к иулю.
Олнако теорема кодировавия показывает, что в принципе можно вести передачу со скоростью, сколь угодно близкой к С, достигая при этом ~коль угодно малой вероятности ошибки. К сожалению, теорема, указывая на принципиальное существование помехоустойчнвого кода, ие дает,рецепта его нахождения. Можно лншь отметить, что лля этого необходимо применять коды большой длины. При этом по мере приближения скорости перелачи к пропускной способности и уменьшения вероятности ошибки кол усложняется вследствие увеличения длины блоков, что приводит к резкому усложнению коднрующего и декодирующего устройств и запазлыва,нию цри леколировании.
Применяемые в настоящее время способы кодироваооия (см. гл. 7) не реализуют потенциальных воэможностей системы связи. О степени совершенства системы связи можно судить по отношению о!=)с!С. Для канала с лропуекной способностью С,,на входе которого включен источник непрерывных сообщений, К, Шеннон доказал следующую теорему: если при заданном критерии эквивалентности сообщений источника а'о его эпсилон-энтропия Н', (Х) меньше пропускной способности канала С, то существует способ кодирования и декодирования, при котором погрешность воспроизведения сколь угодно близка к е'о. При Н', (Х))С такого способа не существует. 71 что в првнципе может быть предварительно определена.
Поэтому,,". будем полагать все фуваснии ц>(ц(Н,), «=1, ..., т, известными После принятия решения (т. е. выбора той или ивой гипотезы Н,) не может быть полной уверенности, что это решение правиль-::. ное. Действительно, например, в случае т=2 при справедливости гипотезы Нь когда значения процесса и(1) подчиняются распре- '-:; делению и>(п( Н>), существует отли >ная от нуля вероятность того,,::., что принятии реализация и(1) на анализируемом отрезке ереме- '.,; е>и окажется принадлежащей:не к подмножеству Уь а к подмно- жеству Нь Тогда решение окажется принятым в пользу гипотезы Н, в это решение будет ошибочным. Вероятность такого оцп>боч-:::-" ного решения при справедливости гипотезы Н, р, (Н,~Н ) =- ) че(н>Н>)ан (5.2) При справедливости гипотезы Н, вероятность ошибочного ре- шения вычисляется аналогично: Раш (Н~ ~ Н>) =,( О> (н ~ Нз)с(п.
(5.5) и, Как видно из (5:2), (5.3), вероятности ошибочных решений ':; существенно зависят от способа разделения множества 0 всех возможных реализаций процесса и(1) на непересекающиеся под- "..."; множества 1>,. С другой стороны, вовсе пе очевидно, что эти подмножества .'.:: необходимо выбирать лишь с учетом значений вероятностей оши- .,",' бок, стремясь, например, мннимиэироваз>ь р (Нз ~ Н,), либо:;:, рош(Н> ! Нз) „либо среднее значение э«их вероятностей. Прежде чем выбирать этот способ, .необходимо выяснить, какие показате-',".
ли рассматриваемой,радиотехнической системы являются опреде- ","," ляющими. Ива|>е говоря, необходимо, выбрать кр~итерий оптималь- '.,:, ности. 5.!2. ОПТИЫАЛЪНЫЕ СТРАТЕГИИ ПРИНЯТИЯ РЕШЕНИЙ В общем случае для того, чтобы учесть последствия различ- ных решений (как правильных, так .и ошибочных), вводят поня- тве 4>ункции потерь с(з, т). ее ко>>крез>нос значение см соответст-'''!, вует определенным потерям при принятии решения Т в пользу:;!:"' гипотезы Нь, когда на самом деле истинной является гипотеза Нь >;:.', Тогда для т= 2 и определенного выбора подмножеств У, при:.:,'::",' справедливости гипотезы Н, потери составят с> = с>зрыт (Ня ~ Н1) + си ! 1 Рош (Н> ! Н1) 1 а при справедливости гипотезы Н, с> =сирош (Н~ ~ Н>) + с>>11 Ро~4Н~ ~ Нз) 1.
Величины с, и с, называются услоеньиаи рисками при спрнведли-.",,> вости соочветственво гипотез Н, и Нь Ч4 Сами по себе первая в вторая гипотезы оказываются справедливыми с некоторыми вероятностями р(Н>) в р(Н>), называемыми априорными. Например, сигналы з,(з) ~и з>(1) передаются неодинаково часто и имеют, следовательно, различные вероятности появления вв входе устройства обработпси. В то же время очевидно, что р(Н,) +р(Н,) =1, поскольку одна вз двух гипотез обязательно оказывается справедливой. Тогда с~редеие потери с=-с~р(Н,)+с,р(Н>).
(5.4) Величина с называется средним риском. Его з~начение зависит от того, каким образом, разделено мвожество У возможных реализаций анализируемого процесса и(1) на подмножества У„. Естественно выбрать такое разделение множества с> или, иначе говоря, выбрать такую стратегию цривятия решений, чтобы средвий риск с оказался м~инимальным. Эта стратегия называется оптималь>сой байесоеской стратегией, з соответствующий критерий оптимальности — критерием Байеса или критерием минимума среднего риска. Можно показать, что эта стратепия записывается в виде: пРи Л<м>(ц) )Лс спРаведлива гипотеза Нь (5.5) при Л!м>(и) (Лс справедлива.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
