Васюков В.Н. - Теория электрическо связи - Часть 3. Теория информации и теория помехоустойчивости (1275348), страница 6
Текст из файла (страница 6)
Найдите расстояние между «исправленной» и принятой комбинациями.11.5. Информативность непрерывных источников сообщенийНаряду с дискретными источниками сообщений часто встречаются непрерывные источники, которые вырабатывают сообщения, обычно описываемые функциями, принимающими значения из непрерывного множества.Ярким примером непрерывного сообщения является речевое сообщение,описываемое функцией времени с вещественными значениями.
Значение непрерывного сообщения в некоторый отдельный момент времени представляет собой непрерывную случайную величину x , описываемую функцией распределенияF ( x) = С{ξ ≤ x} ,где ξ – реализация случайной величины x , или плотностью распределения37w( x) = dF ( x) / dx .Очевидно, введенное ранее понятие энтропии неприменимо к непрерывному источнику, так как неопределенность относительно любого конкретного значения непрерывной случайной величины равна бесконечности.Действительно, разобьем область определения непрерывной случайнойвеличины (−∞, ∞) на отрезки одинаковой длины ∆x и пронумеруем их припомощи индекса i = −∞, ∞ . Сопоставим каждому отрезку значение x 'i , равноеего середине, и вероятность P( x 'i ) , равную вероятности попадания в данныйинтервал исходной непрерывной случайной величины x .
Таким образом получается дискретная случайная величина, которая тем точнее описывает непрерывную случайную величину, чем меньше интервал ∆x .Для этой дискретной случайной величины можно записать энтропиюH ( X ') = − ∑ P( x 'i )log P ( x 'i ) .Подставив вместо вероятности P( x 'i ) ее приближенное значениеw( x 'i )∆x , получим в пределе при ∆x → 0H ( X ) = lim H ( X ') = lim −∑ w( x 'i )∆x log [ w( x 'i )∆x ] =∆x →0∆x →0 ∞ ∞= lim − ∑ w( x 'i )log [ w( x 'i ) ] ∆x + lim − ∑ w( x 'i )log [ ∆x ] ∆x =∆x →0 i =−∞ ∆x →0 i =−∞=−∞∫ w( x)log w( x)dx − lim log [ ∆x ] = ∞ .∆x →0−∞Из полученного выражения следует, что энтропия непрерывного распределения равна бесконечности за счет второго слагаемого, которое одинаково для всех непрерывных распределений, заданных на интервале (−∞, ∞) .«Индивидуальность» распределения определяется первым слагаемым, кото-38рое и принимают в качестве меры информативности непрерывного источника и называют относительной, или дифференциальной энтропиейHd ( X ) = −∞∫ w( x)log w( x)dx .−∞Дифференциальная энтропия, в отличие от энтропии дискретного источника, самостоятельного смысла не имеет и служит для сравнения информативности различных непрерывных источников между собой [3].ВОПРОСЫ И ЗАДАЧИВопросы для самоконтроля1.
Зачем применяют модуляцию?2. В чем состоит цель экономного кодирования?3. Что такое избыточность дискретного источника?4. Какой источник обладает минимальной избыточностью и чему равнаего энтропия?5. Может ли равномерный код быть оптимальным (безызбыточным)?6. В результате применения процедуры экономного кодирования получился троичный код с вероятностями символов 0.5, 0.2 и 0.3 соответственно. Можно ли считать такой код оптимальным?7. Можно ли применять коды, для которых префиксное правило не выполняется?8. Может ли помехоустойчивый код быть безызбыточным?9.
На чем основано корректирующее свойство помехоустойчивых кодов?10. Что такое кодовое расстояние?11. В какой связи находятся порождающая и проверочная матрицы линейного кода?12. Какой геометрический смысл имеют строки порождающей матрицы?3913. Какова размерность линейного пространства, натянутого на строкипорождающей матрицы? Каково количество разрешенных комбинаций кода? Каково количество запрещенных комбинаций?14. Что такое синдром?Задачи1. Даны источники с алфавитами, содержащими по три символа и сраспределениями вероятностейα1α2α31/ 3 1/ 3 1/ 3иβ1β2β31/ 2 1/ 4 1/ 4. Най-ти энтропии источников.2.
Имеются два дискретных источника с матрицамиxX= 1p1Py yx2 Y,= 1 2q1 q2p2 Qy3q3(верхняя строка матрицы содержит символы, нижняя – их вероятности). Определить, какой источник обладает большей неопределенностью в случае если: а) p1 = p2 , q1 = q2 = q3 ; б) p1 = q1 , p2 = q2 + q3 .3. По каналу связи передается один из двух символов x1 или x2 с одинаковыми вероятностями. На выходе они преобразуются в символыy1 и y2 , причем из-за помех в среднем два символа из ста принима-ются неверно.
Определите среднее количество информации на одинсимвол, передаваемое по такому каналу. Сравните с аналогичной величиной при отсутствии помех.4. Источник сообщений вырабатывает символы x1 , x2 и x3 с вероятностями 0.4 , 0.5 и 0.1 соответственно. Вероятности появления пар заданы таблицейxi x jx1x1x1x2x1x3x2 x1x2 x2x2 x3x3 x1x3 x2x3 x3P( xi , x j )0.10.20.10.20.300.100Определить энтропию источника и сравнить с энтропией источника безпамяти с такими же вероятностями символов.40Указание.
Энтропия источника с памятью находится по формуле3 3H (X ) = −∑∑ P( x j , xi )log P( xi | x j ) .i =1 j =15. Две двоичные случайные величины X и Y имеют совместные вероятности P( x = y = 0) = P ( x = 0, y = 1) = P( x = y = 1) = 1/ 3 . НайдитеH ( X ) , H (Y ) , H ( X | Y ) , H (Y | X ) и H ( X , Y ) .6. Сообщения x1 , x2 , x3 и x4 появляются на выходе источника с вероятностями 1/2, 1/4, 1/8 и 1/8. Построить двоичный код ШеннонаФано и определить вероятности символов 0 и 1, а также среднююдлину кодового слова.7. Источник вырабатывает два независимых символа α1 и α 2 свероятностями 0.9 и 0.1 соответственно.Построить коды Хаффмена для отдельных символов и групп по двасимвола.
Найти и сравнить для двух полученных кодов:среднюю длину кодового слова,избыточность кода,вероятность появления символа 0 (1) в кодовой последовательностискорость передачи информации (длительность посылки принять равной1 мкс).8. Для условий задачи 7 построить код Хаффмена для групп по трисимвола. Найти среднюю длину кодового слова, избыточность кода,вероятность появления символа 0 (1) в кодовой последовательностии скорость передачи информации. Сравнить с аналогичными показателями для случая кодирования отдельных символов и групп по двасимвола.4112.ОСНОВЫ ТЕОРИИ ПОМЕХОУСТОЙЧИВОСТИ ПЕРЕДАЧИДИСКРЕТНЫХ СООБЩЕНИЙ12.1. Основные понятия и терминыВ процессе передачи сообщений в системах связи выполняются различные преобразования, основные из которых показаны на упрощеннойструктурной схеме дискретной системы связи, рис.
4.bц (t )b(t )ИСКu (t )МЛСb (t )bц (t )z (t )ДМДкПСРис. 4. Упрощенная структурная схема дискретной системы связиИсточник сигнала ИС включает в себя источник сообщений и преобразователь сообщения a(t ) в первичный сигнал b(t ) . Первичный сигнал подвергается кодированию (экономному и/или помехоустойчивому) в кодере К,после чего сигнал bц (t ) , называемый цифровым, поступает в модулятор М(передатчик), вырабатывающий сигнал u (t ) , приспособленный по своим характеристикам для передачи по линии связи ЛС. В линии связи происходитискажение сигнала и его взаимодействие с помехой (в простейшем случаеаддитивное), в результате чего на вход демодулятора ДМ (приёмника) поступает наблюдаемое колебание z (t ) .
Демодулятор выполняет функцию, обратную модуляции, поэтому на его выходе должен быть выработан в идеальномслучае сигнал bц (t ) . Однако вследствие воздействия помех результат демодуляции b 'ц (t ) отличается в общем случае от сигнала bц (t ) , поэтому результат декодирования b '(t ) также не совпадает с первичным сигналом b(t ) .В двоичной системе связи с амплитудной телеграфией (АТ) канальныйсигнал, соответствующий передаваемому символу «1», представляет собойрадиоимпульс с прямоугольной огибающей, а символу «0» соответствует от42сутствие сигнала (пауза)8.
При частотной (фазовой) телеграфии различныесимволы передаются сигналами одинаковой формы с несущей частотой (начальной фазой), меняющейся скачком от посылки к посылке. Для простотыздесь полагается, что система является изохронной, то есть моменты начала иокончания элементарных посылок точно известны.Для облегчения восприятия в дальнейшем рассматривается идеализированный канал связи без памяти, в котором отсутствуют искажения сигнала,тогда наблюдаемое колебаниеz (t ) =∞∑ bц (t ) s(t − kτ ) + ξ (t ) ,(11)k =−∞где s (t ) – посылка длительностью τ , ξ (t ) – помеха.
Полагая, что отсутствуетперекрытие посылок по времени (называемое межсимвольной интерференцией), можно считать, что в каждый момент времени z (t ) = s (t , bi ) + ξ (t ) , гдеbi – одно из возможных значений цифрового сигнала9.Задача демодулятора состоит в том, чтобы по наблюдаемому колебанию z (t ) принять решение b 'ц (t ) о переданном сигнале bц (t ) , такое, чтобыобеспечить максимальную верность.
Правило (алгоритм) принятия решения– это закон преобразования z (t ) в b 'ц (t ) . Поскольку помеха является случайной, то задача построения оптимального (наилучшего) демодуляторапредставляет собой статистическую задачу и решается на основе методовтеории вероятностей и математической статистики (теории статистическихрешений).Перед принятием решения с целью повышения его качества (верности)часто наблюдаемое колебание подвергают дополнительной обработке. Еслиобработка линейная, то ее результат y (t ) может быть записан в формеτττ000y (t ) = ∫ z (θ )φ (t ,θ )dθ = ∫ s (θ , bi )φ (t ,θ )dθ + ∫ ξ (θ )φ (t ,θ )dθ ,89Такой способ модуляции называют амплитудной телеграфией (АТ) с пассивной паузойОтметим, что выражение (11) представляет частный случай модуляции43где для простоты принято, что колебание наблюдается на интервале времениот 0 до τ , φ (t ,θ ) – ядро линейного оператора, описывающего устройство обработки [4, 5].
Видно, что результат обработки представляет собой суммусигнальной и шумовой составляющих.В простейшем случае φ (t ,θ ) = δ (θ − t0 ) , тогда сигнальная составляющая равна величинеττ00∫ s(θ , bi )φ (t ,θ )dθ = ∫ s(θ , bi )δ (θ − t0 )dθ = s(t0 , bi ) ,то есть отсчету канального сигнала (посылки) в момент времени t0 , рис. 5.t0τtРис. 5 Взятие отсчета в момент времени t0 .Очевидно, такой способ «обработки» плохо использует посылку: фактически правильность решения зависит не от энергии, а только от одногомгновенного значения сигнала. При этом очень важно, чтобы отсчет был взятточно в тот момент, когда значение сигнала достигает максимума.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
