Финк М. Теория передачи дискретных сообщений (1970) (1151862), страница 16
Текст из файла (страница 16)
Действительно, каждая кодовая комбинация несет фактически сообщение о силе тока в данпьш момент, но для того чтобы ее декодировать, необходимо звать состояние источника, т. е, (в данном примере) значения силы тока в предыдущем отсчете. Частные коды в этом примере отличаются друг от друга только «начальной точкой отсчета». Отметим, что такой метод устранения избыточности в теле- метрических системах имеет практическое значение, так как он позволяет сократить потребную пропускную способность канала и более эффективно использовать имеющуюся многоканальную линию связи для передачи результатов измерения ряда физвческих величин. Другой метод декорреляции заключается в использовании уже знакомой нам операции укрупнения алфавита.
При этом образуется новый алфавит источника, и если число букв исходного алфавита, вошедших в одну «букву» укрупненного алфавита, значительно превышает интервал действия вероятностных связей, то можно связью между элементами укрупненного алфавита пренебречь. Как было показано в гл.
1 (см. (1.14)1, общая избыточность при укрупнении алфавита не изменяется, Следовательно, уменьшение избыточности, вызываемой взанмнымн связями, должно сопровождаться соответствующим возрастанием избыточности, обусловленной неравными вероятностями появления различных элегяецтов. Действительно, укрупненный алфавит источника сообщений всегда характеризуется более неравномерным распределением вероятностей элементов, нежели исходный алфавит. Применив оптимальный неравномерный код для кодирования укрупненного алфавита, можно практически полностью устранить избыточность, содержащуюся в сообщении. Таким образом, процесс устранения избыточ- 79 ности марковского источника сообщений сводится к двум операциям: декорреляции (методом применения частных кодов или методом укрупнения) и кодированию оптимальным неравномерным кодом Д. Во многих странах применяются специальные коды для служебной телеграфной переписки различных министерств н ведомств. В этих кодах короткие комбинации используются для передачи часто встречаюсцихся фраз и выражений [6( (типичных последовательностей для данного нсточника сообщений), в то время как редко встречающиеся фразы передаются обычным образом.
Это является примером устранения избыточности путем укрупнения алфавита (до целых фраз илн частей фраз) и эффективного кодирования. При этом обеспечивается значительная экономия телеграфных расходов. Описанные методы устранения избыточности позволяют эффективно использовать пропускную способность канала связи без шумов. Они полезны также в тех случаях, когда требуется хранить большой объем информации в различных запоминаю)цих устройствах. Отметим, что эконолсия в пропускной способности канала или в объеме запоминающего устройства в конечном счете приводит к реальной денежной экономии, к уменьшению размеров и веса аппаратуры и т. д. Однако устранение избыточности имеет и существенную отрицательную сторону.
Последовательности кодовых символов оптимального неравномерного кода, лишенные или почти лишенные избыточности, оказываются весьма «хрупкими» при действии шумов в реальных каналах или в реальных запоминающих устройствах. Эта хрупкость заключается в том, что достаточно исказить один ич символов последовательности, чтобы сделать певозможнылс правильное декодирование не только той буквы, в которую входит этот символ, но и ряда последующих букв "". Поясним сказанное првмером. Предположим, что по каналу связи передается телеграмма следующего со- " Нс следует, однако, думать, что после одного ошибочно принятого символа весь остаток последовательности будет дскодировав неверно. Как показали джильберг я Мур (Зэй опгимальпые неравномерные коды обладают, как правило, свойством самофазироваиия, в результате которого после некоторых ошибочно декодироваипых знаков восстанавливается возможность праввльиого двкодироваиия. Ю законч чена собрано держания: «Уборк .
елеграмма закод ( а пшеницы и ювана 8000 центнеров». Если эта ",„, б,ч устранени~ избы- примит > явным равномерна' или даже нес)со" точности, то ошибочный Р п наедет только к ких отдельных к о ной или нес ч Одовых символов пр" скольких букв. б чно 'у декодированию Од в следуюпсем вил: Пусть эта телеграмь . ма пог!Учена В с тнеков». а со Р ее б ано 8000 цепп «лыоРкр ь такой телег ' т я ы законвен а;имы легко получател „тексту, несмогр прочитает и восстановит „.
ено наличием нз и иные есс' натальи К х числу относится ' но поэтому остей ука, и то, кот ные) сочетания. К их И денно п о переданной телегр, (осмыслен)сую) нито Вмест~ и еделнть типичну~, н была ь10жно без труда Опр'д' , Оятнее всего, последовательность. Э стим, кстати кацалу Связи. ° Змет800)0» „сесп) «8000)), бь чо ИРИИЯто число « ' было бы неВОзконтексту такую оши ку и~править по ко биаженин чисел при изо можно. - то ызвано тем, что уменьшает ся так как вся ацисррами из быточность резко . ифр имеет о смысленное зныло бы кая п .
едовательность цифр ема можно было иЯ Верности при Е, ДЛЯ ПОВЫШЕНИЯ В МЬ ТЫСЯЧ)))). числа записывать У аз)ма закодиро б квами «Вос вана Предпс)ложим, чт' ьс О КОТОР та же теле)'Ра гово и- специачьным ведомс твенным кодом, сть сокращена д о мини., что избыточность лось выше, так, ировапи мума. Такая тел леграмма, за од прн ер, такой алфавита. может ' ередать по кана- вид: «КТШУА 8000», что поза .
лу телеграчной ф й СВЯзи значитечьно П едполот1сим что полученная код- одна буква при передач вая пос следовательность имеет, ск Свойс~вом полно Остаточн 'к он обладает с тся тн- няет избыточность, то сть си мволов являе бая последовательно т. е. лю ая ми словами, имеет лег амма Олученная тече р держание.
означать: «В Резучь может например означать. 6 — 2447 бедствий погиб урожай на площади 8000 га». Обнаружить и исправить ошибку по контексту здесь уже не представляется возможным. Ввиду этого всякое устранение избыточности связано с риском потери верности при передаче сообщений в канале с шумами. Вопрос об использовании избыточности кодовой последовательности для повышения верности принятого сообщения будет рассмотрен ниже. 2.4. Дискретные мананы с шумами. Помехоустойчиаые коды В дискретном канале с шумами принятый символ у' не определяется однозначно переданным символом у. Существуют определенные вероятности переходов р(у',/у,), вообще гогоря зависящие от ранее переданных и принятых символов.
Рассмотрим различные последовательности Ул из символов, поступающих на вход канала. (Каждая из таких последовательнсстей У" может перейти в различные последовательности у' на выходе канала. Количество информации, содержащееся в такой принятой последовательности относительно переданной, в соответствии с (1.30) равно У "1=1 1(г'", У.") = — 1ой' (2,19) а среднее количество информации 1(Ул, У'л), приходящееся на последовательность из и символов, переданное по каналу с шумами, определяется как математическое ожидание (2.19) по всем возможным передаваемым и принимаемым последовательностям и по всем состояниям канала, если оно существует.
Это количество информации зависит как от свойств канала, так и от распределения вероятностей символов на входе канала, Пусть на вход дискретного канала поступает о символов в единицу времени. Если при некотором распределении вероятностей символов иа входе существует предел (2.20) 1'(у у')=1пп — 1(Уи )У'и) л„П 82 то он представляет скорость передачи информации по каналу. Пропускной способностью капала является верхняя грань 1'(у, у') по всем возможным распределениям вероятностей символов на входе.
В частности, для постоянного канала 1'(у, у') =о ~~ ~Ч~)р(уь у';)1од „'~,1„', )= ю —..! т=! = Н'(у) — Н' (у~у') = Н' (у ) — Н' (у'~у). (2 21) Вычисление пропускной способности даже для постоянных каналов в общем случае является довольно трудной задачей. Что касается каналов с памятью, то далеко пе всегда их пропускная способность вообще может быть определена, поскольку не всегда существует математическое ожидание выражения (2.19) или предел (2.20). Тем не менее для дискретных отображений реальных каналов связи обычно удается построить математические модели в виде информационно устойчивых, т.
е. имеющих определенную пропускную способность дискретных каналов. В частности, такими моделями служат каналы с ограниченной памятью, в которых переходные вероятности зависят только от конечного отрезка предыдущей последовательности символов Я, или каналы, описываемые конечным числом состояний, если текущее состояние можно определить по предыдугцему состоянию и последнему переданному символу Щ.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
