Кловский Д.Д. и др. Теория электрической связи (1999) (1151853), страница 58
Текст из файла (страница 58)
Таким образом, пропускная способность двоичного канала с памятью (6.38) больше пропускной способности 2СК без памяти (6.35), что является любопытным фактом. т-1 1 Из формулы (6.34) видно, что С = О для тСК при р= —, 1 — р= —. Это т т как раз и соответствует случаю "обрыва канала связи", поскольку каждый из входных символов с равной вероятностью переходит в любой из выходных. Наблюдая выходные символы, нельзя отдать предпочтение ни одному из входных символов, а это и соответствует понятию обрыва канала, когда передача информации по нему оказывается совершенно бесполезной, поскольку тот же результат может быть получен при случайном угадывании входных символов в точке приема.
На рис. 6.3 показана зависимость пропускной способности 2СК без памяти от вероятности ошибки символа р в канале связи. Как и следовало ожидать, пропускная способность равна нулю при р = 1/2. Несколько неожиданным на первый взгляд может показаться то, что С = 1 также и при р = 1. Однако в действительности случай, когда р = 1, — это отнюдь не состояние канала с наибольшими помехами, а состояние с так называемой обратной работой, когда все нули переходят в единицы, а единицы — в нули. Однако поскольку это свойство канала предполагается заранее известным (так как нам известно, что р = 1), то мы можем осуществлять декодирование по правилу Π— 1 1, 1 — ь О.
Тогда все входные символы будут приниматься абсолютно верно, и поэтому вполне естественно, что пропускная способность такого канала равна максимальной величине. 1(Х„Т~Х) = ~~~~~ Р(х,у,г)1ой Р(х,у~г) мехуеу ф,г Р(х,г)Р у~г Однако в отличие от условной энтропии, для которой всегда справедливо неравенство (6.22), условная взаимная информация 1(Х,Х~Х) может быть мень- ше, больше или равна безусловной взаимной информации 1(Х,Х). Помимо средней условной взаимной информации можно определить также среднюю взаимную информацию между парой Х,У и Х: 1(Х,Х;У)= ~~~ ~~~,~~~ Р(х,у,г)1оа Р(х,у,г) Р(х,у)р(г) Между данными величинами существуют следующие соотношения [16]: 1(Х,Ъ";г) = 1(Х,Х) + 1(У,Х~Х) = 1(У,Х) + 1(Х,Х~У).
(6.39) Для того чтобы наглядно пояснить разницу между величинами 1(Х,У;Х) и 1(Х,Х1х), которые на первый взгляд могут показаться одинаковыми, рассмот- рим следующую модель канала связи: х=г®у®е, где Ю вЂ” означает суммирование по пнх12, а х, у, е — некоторые двоичные слу- чайные величины, причем наглядно г означает вход канала, х — выход канала, е — помеху в канале, а у — дополнительную преобразующую последователь- ность на передаче. Тогда если у не зависит от г, то 1(Х,У) = О и в соответствии с (6.39) 1(Х, Х; 7) = 1(Х, Х~У) = 1 — Н(Е), где Н(Е) — энтропия помехи Е. Если же г и у взаимно зависимы, то 1(Х, х) > О и поэтому 1(Х, Х; х") > 1(Х, Х)У).
В частном случае, если х = у, то 1(Х, Х~Х) = О, а 1(Х, Х; Ъ') = 1. Теоретико-информационные понятия, приведенные в данном разделе, можно рассматривать в двух аспектах: как развитие математического аппарата, примыкающего к теории вероятностей, и как характеристику, поясняющую процесс передачи информации по каналам связи с помехами.
Действительно, мы знаем теперь, что средняя информативность источника может быть количественно оценена его энтропией, а каждому источнику, соединенному с каналом связи, можно приписать некоторое число, которое выражает количество информации, переданной по этому каналу. Более того, каждому каналу соответствует некоторое предельное количество информации, называемое его пропускной способностью, больше которого данный канал связи не может передать ни от какого из источников сообщений. Эта пропускная способность максимальна при отсутствии помех и равна нулю при потере статистической связи между входом и выходом канала.
Казалось бы, мы получили сведения, позволяющие нам значительно продвинугься вперед в направлении понимания процессов передачи сообщений по каналам с помехами. Однако это еще лишь некоторое "предвосхищение результатов". Действительно, как мы можем использовать значение энтропии источника для чего-либо большего, чем тавтология, угверждающая, что он генерирует среднюю информацию, равную энтропии? Как превратить наше определение пропускной способности канала в более реальные в практическом отношении характеристики процесса передачи информации — надежность и скорость передачи символов источника? Много зто или мало, что пропускная способность одного канала больше другой на 5 %, на 50 %, в 10 раз? Важный факт говорит о том, что обрыв канала (С = О) возникает при отсутствии статистической связи входа и выхода, т.е.
легко получается и без использования информационного аппарата. Итак, мы испытываем пока некоторое разочарование в теории информации. Нам начинает казаться, что "гора родила мышь". Однако зто происходит лишь потому; что мы не затронули пока самого важного аспекта теории информации — теорем кодирования. Именно они и позволяют ответить на все сформулированные выше, а также и на многие другие вопросы. Заметим, что для доказательства и наглядной трактовки теорем кодирования совершенно не требуется интуитивного понимания энтропии, условной энтропии, количества информации и т.д. Вполне 234 достаточным оказывается рассматри-вать данный раздел именно как развитие некоторого ма- тематического аппарата, доказывающего свойства этих специфических функций вероятност- ных распределений, 1 1 — 1ои (,„,) — Н(А) (6.40) где Н(А) — энтропия данного источника.
Эскиз доказательства для стационарных источников без памяти имеет следующий вид. Согласно закону больших чисел при достаточно большом и частата п,/п события, состоящего в появлении символа а; в последовательности длины п, стремится к вероятности Р(а), т.е. п,/п -ь Р(а,). (6.41) С другой стороны, если некоторая последовательность а1е1 содержит п, символов а„п, символов а, и т.д. п,, символов а... то вероятность ее появления Р(аьл)= Р"'(а,) Р"'(а,)..
Р"'-'(а„.,) ' Тогда по 1 п1 1 пх-1 — 1оя,„, = — '1оя + — '1оя +...+ ~ '1оя — т— п Р(а " ) п Р(а,) п Р(а,) п Р~ак- ) (6.42) 235 6.2.3. ТЕОРЕМЫ КОДИРОВАНИЯ ШЕННОНА ДЛЯ ДИСКРЕТНОГО КАНАЛА СВЯЗИ Рассмотрим сначала теорему кодирования в канале без помех, который, очевидно, является частным случаем канала с помехами. Наилучшее кодирование состоит в том, что при заданном канале связи, который определяется объемом алфавита т и скоростью передачи канальных символов ук, а также при заданном источнике информации, определяемом вероятностным распределением р(а) последовательностей, составленных из символов, принадлежащих алфавиту источника А, обеспечить наибольшую возможную скорость передачи символов источника у„. Заметим, что содержательность проблемы кодирования в канале без помех определяется не только несовпадением объемов алфавитов источника и канала, но также и тем обстоятельством, что если источник обладает памятью или (и) его символы не равновероятны, то эти особенности можно существенно использовать для увеличения скорости передачи информации от данного источника.
Конструктивные методы такого кодирования будут рассмотрены в следующей главе, а сейчас мы изучим асимптотические результаты, т.е. кодирование при неограниченных последовательностях символов источника и канала связи, сопоставляемых друг с другом. Для этого нам понадобится одна теорема, которая по существу является некоторой версией закона больших чисел, известного в теории вероятностей. Теорема о свойстве асимптотической равиовероятности (САР). Для любых заданных сколь угодно малых положительных чисел е и Б можно найти такое число и (зависящее от е, б и свойств источника), что с вероятностью болыией, чем 1 — 5, источник сообщений выдает последовательность а1е1 длины п, которая имеет вероятность Р(а'"'), удовлетворяющую неравенству 1 1 Подставляя (6.41) в (6.42), получаем, что величина — 1оц — 7-()т будет стре- Р [л! 1 1 — 1оц (, )-Н(Х~Ъ' <е, (6.44) 1 1 — 1оа ...,,, — НфХ) <е, (6.45) где е — сколь угодно малая величина.
Теперь мы подготовлены к формулировке и доказательству теорем кодирования. ТЕОРЕМА 1. О кодировании источника. Существует способ кодирования, при котором средняя длина последовательности канальных символов й, приходящаяся на один символ источника сообщений, ч„Н(А) й= — "= — +е, е>0. (6.46) ч„1оцт Н(А) Не существует способа кодирования, при котором й меньше, чем 1оат Доказательство данной теоремы для источннка без памяти будет дано в следующей главе.
Прикладной смысл этой теоремы состоит в том, что при наилучшем кодировании в канале без помех мы можем передавать сообщения источника сообщений со скоростью ч„, сколь угодно близкой к величине 236 миться по вероятности к к ~ — ~ Р(а,) 1оа Р (а,) = Н(А) . ~ о (Аналогично, хотя и более громоздко, доказывается данная теорема и для стационарных источников с памятью).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
