Кловский Д.Д. и др. Теория электрической связи (1999) (1151853), страница 55
Текст из файла (страница 55)
Шеннон же нашел необходимые и достаточные условия убывания вероятности ошибки до нуля. (В дальнейшем мы покажем, что правая часть неравенства (6.4) может быть увеличена в 2 раза.) Кроме того, он сделал это для различных моделей каналов, в частности с ограниченной полосой частот, для фиксированного числа форм сигналов т, для источников с неравновероятными или с зависимыми символами (так называемых избыточных источников), для источников непрерывных сообщений, для критериев верности приема дискретных сообщений, отличных от вероятности ошибки символа Р, и т.д.
Все это и составило сущностыпеории ин40рмации. Заметим, что теория информации является также своего рода философией связи. Понятия, введенные в рамках этой теории, нашли применение и вне проблем связи, например в искусстве и медицине. Однако для инженера- связиста важно не столько понимать определения теории информации, сколько уметь при необходимости пользоваться теоремами кодирования, которые определяют потенциальные возможности каналов связи, заданных, в свою очередь, некоторыми ограничениями. Последующие разделы этой главы и будут в основном ориентированы на данную проблематику.
221 6.2. ПОТЕНЦИАЛЬНЫЕ ВОЗМОЖНОСТИ ДИСКРЕТНЫХ КАНАЛОВ СВЯЗИ 6.2.1. ОПРЕДЕЛЕНИЕ ИСТОЧНИКА ДИСКРЕТНЫХ СООБЩЕНИЙ, ДИСКРЕТНОГО КАНАЛА СВЯЗИ, КОДИРОВАНИЯ ИДЕКОДИРОВАНИЯ В гл. 1 уже были определены такие понятия, как сообщение, сигнал, кодирование и декодирование, а в,гл. 4 описаны некоторые модели дискретных и непрерывных каналов связи. Поэтому в данном разделе мы напомним лишь некоторые из этих определений, которые непосредственно понадобятся нам для изложения материала по теории информации. Итак, формально источник дискретных сообщений полностью определяется алфавитом А =(а„а„...,ак,) используемых символов заданного объема К и распределением вероятностей Р(а), заданным на последовательностях и = (а1, а2, ..., а„), а; и А произвольной длины и, составленных из символов данного алфавита А.
Если источник имеет фиксированную скорость, в отличие от источника с регулируемой скоростью, определяемой кодером, то дополнительно задается скорость источника р„как число символов, генерируемых таким источником за 1 с. (Мы не будем здесь рассматривать более общий случай, когда длительности различных символов отличаются друг от друга.) Говорят, что источник не имеет памяти, если последовательно выдаваемые им символы взаимно независимы друг от друга.
Для полного описания такого источника достаточно задать лишь распределение вероятностей на отдельных символах, т.е. Р(а;), а; и А, если источник является стационарным, т.е. распределения Р(а) не зависят от временных сдвигов. В качестве простого примера источника сообщений можно рассматривать печатный текст на каком-либо языке. Тогда объем алфавита К будет совпадать с объемом алфавита выбранного языка (26 — для английского, 32 — для русского), а распределение вероятностей будет определяться вероятностями различных словосочетаний. Очевидно, что зто пример источника с памятью, так как буквы в любом языке не следуют как попало, а подчинены детерминированной или вероятностной зависимости.
Так, в английском языке всегда после буквы "4" следует "и", в русском "ь" не может идти после гласной, а три "е" подряд встречаются лишь в достаточно редких словах "длинношеее" и "змееед". Формальное описание дискретного канала связи сводится к заданию двух алфавитов на входе и выходе канала Х = (хо, ..., х~ 1), х' = (уо, ..., у 1), вообще говоря, разных объемов 1 и в, и условного распределения вероятностей Р(у~х), где х = (х1, ..., х„), у = (у1, ..., у„) — последовательности символов из соответствующих алфавитов, имеющие произвольную, но одинаковую длину и. Для канала связи также может дополнительно задаваться скорость передачи ть как число символов передаваемых по каналу связи за 1 с. Канал не обладает памятью, если последовательные символы принимаются по нему взаимно независимо друг от друга.
В этом случае достаточно знать условное распределение РЯх;), х; и Х, у) и х', для полного описания такого канала связи. Рассмотрим некоторые важные частные случаи дискретного канала. 1, т-ичный симмвтричнььй канал без памяти (сокращенно — тСК). Это канал с совпадаю|ними объемами входного и выходного алфавитов и с условным распределением 222 Й ') (Р~~ -ь), (б.5) Определим формально кодирование в дискретном канале как однозначное отображение последовательностей, составленных из символов источника, в последовательности, составленные из входных символов канала связи.
Декодированием будем называть однозначное отображение последовательностей, составленных из выходных символов канала в последовательности, составленные из символов источника. Здесь мы полагаем, что алфавиты символов источника и получателя информации совпадают. Длины последовательностей на входе канала, соответствующие различным последовательностям символов источника, могут быть, вообще говоря, различными. Тогда кодирование называется неравномерным. Примером неравномерного кодирования может служить известный код Морзе.
Действительно, в этом коде букве "е" соответствует последовательность из одной точки ".", а букве "ш" — последовательность из четырех тире "— — — ". Заметим, что код Морзе — это кодирование не с двоичным входным алфавитом (точка и тире), как может показаться на первый взгляд, а с троичным алфавитом: точка, тире и пробел. Если длины всех последовательностей одинаковы, то кодирование называ- ется равномерным.
Легко определить первую фуйкцию кодирования и декоди- рования. Она, очевидно, состоит в том, чтобы согласовать алфавит источника 223 Наглядно равенство (б.5) означает, что все символы, передаваемые по такому каналу связи, принимаются правильно с одинаковыми вероятностями (1 — р) и каждый символ может перейти в любой другой, отличный от переданного, также с одной и той же вероятностью р/(в — 1). (Напомним (см. гл. 5), что при оптимальном когерентном приеме гл-ичных ортогональных сигналов в детерминированном канале с белым шумом мы как раз и получим ИСК). 2.
Двоичный симметричный канал без памяти (сокращенно ДСК или 2СК). Это частный случай глСК при и = 2. 3. Двоичный по входу симметричный канал без памяти со стираниями символов. Это канал без памяти с двоичным входным алфавитом Х = (хе, х1) и троичным выходным алфавитом у= (ус, уп уЗ) с условным распределением Р '=у Р(У,(х;)= Р„7=2, (б.б) О, где р, — вероятность стирания (или вероятность приема ненадежного символа). Этот пример показывает, что не обязательно объемы входного и выходного алфавитов должны совпадать. В данном случае третий выходной символ )~ сформирован "искусственно" квк ненадежно принятый символ хс или хь (При когерентном оптимальном приеме сигналов равной энергии решение о нем может приниматься, если абсолютная величина корреляционного интеграла в (5.27) меньше некоторого заданного порога).
4. Двоичный канал с аддитивньии игумом. Это канал с двоичными алфавитами на входе и выходе, обладающий в общем случае памятью. Условные распределения в таком канале связи имеют вид Р(у~х) = Р(е = у Ю х), (б.7) где 9 — означает попарное сложение по шод2 всех элементов последовательности х и у (напомним, что правила сложения по тод2 имеют вид 0 Ю 0 = О, 0 9 1 = 1, 1 Ю 0 = 1, 1 ® 1 = О); Р(е) — распределение вероятностей, заданное на произвольных двоичных последовательностях. Наглядно равенство (6.7) означает, что переход некоторой входной последовательности х в выходную у однозначно определяется так называемым образцам (или векиюром) ошибок е, который имеет единицы в тех позициях, где х и у отличаются, и нули в остальных позициях. сообщений с алфавитом входа канала и соответственно алфавит выхода канала с алфавитом источника получателя сообщений.
Такое согласование действительно обеспечивает принципиальную возможность передавать последовательность символов источника сообщений к получателю через заданный дискретный канал связи. Однако произвольно выбранное "согласование" (кодирование-декодирование) не гарантирует еще надежной и быстрой передачи таких сообщений. Задача настоящей главы как раз и будет состоять в том, чтобы найти потенциальные возможности кодирования и декодирования (при отсутствии ограничений на их сложность), когда информация может быть передана со сколь угодно высокой верностью при максимально возможной скорости ее передачи от источника к получателю. В следующей главе мы рассмотрим регулярные способы кодирования-декодирования с учетом сложности их реализации на практике.
Для формулировки и доказательства теорем кодирования теории информации нам потребуется изложить некоторые новые понятия, которые имеют и самостоятельное значение. 6.2.2. ОСНОВНОЙ ПОНЯТИЙНЫЙ АППАРАТ ТЕОРИИ ИНФОРМАЦИИ Частное количество информации. Пусть дискретный источник сообщений, описанный в 8 6.2.1, выдал некоторую последовательность символов а. Дадим формальное определение частного количества информации 1(а), содержащейся в этом сообщении, исходя из следующих естественных требований.
1. Количество информации 1(а) должно быть аддитивной функцией, т.е. для пары взаимно независимых сообщений а1, а~ оно должно равняться сумме количества информации в каждом из них, т.е. 1(а1, а~) = 1(а1) + г(а~). 2. Количество информации, содержащейся в достоверном сообщении (имеющем вероятность Р(а) = 1), равно нулю. 3. Количество информации должно зависеть только от вероятности переданного сообщения, т.е.
1(а) = ЯР(а)). 4. Количество информации должно быть непрерывной функцией от Р(а). Можно показать, что единственная функция, удовлетворяющая всем этим условиям, имеет вид 1(а) = — 1о8Р(а) > О, (6.8) Основание логарифма в (6.8) может быть выбрано произвольным, что влияет лишь на единицу измерения количества информации. Если в качестве основания выбрано 2, то информация измеряется в двоичных единицах или в битах, а если е (как в натуральных логарифмах), то информация будет измеряться в натуральных единицах или в натах.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
