Финк М. Теория передачи дискретных сообщений (1970) (1151862), страница 10

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 10)

(1.40) До сих пор мы считали, что принятый сигнал г'(!) имеет только дискретный ряд значений. Рассмотрим теперь более реальный случай, когда г'(!) принимает непрерывный ряд значений, характеризуемый плотностью вероятностей в (г') и условной плотностью вероятностей вч(г'1хь) при известном переданном сообщении. Представив приближенно рч (г'и) = тпч (г'„) Лг', рч (х>п г'„) =рч(ха)точ(г')х>)Лг' и т.

д. и произведя затем предельный переход Лг — ьО, получим из (1.36) следующее интегральное выражение: 1(х, г') = = ~)~ ~Т) ~ Р,р,(хя)г)тэ,,(г) 1ой' Р' х" '1 с(г', (!.41) А к~ где интегрирование производится по всему множеству 7'. Таким образом, мы получили выражение для количества информации, содержащейся в непрерывном сигнале г' о дискретном сообщении х.

Хотя мы рассматрпаасм источники только дискрстиыт сообщений, нам а иекоторык случаях потребуется пыражеине для количсстпа информации, содержащейся и одном пепрерыапои процессе х'(1) относительно другого непрерыапого процесса х(1). Для этого 4Б а. *'пч,',, ~ю*. ахч в(х, а'1 в (х) ге(е'1 Х ' Если среднее время, затрачиваемое на выбор одного элементарного сообщения, равно Т, то количество информации, передаваемое по каналу связи в единицу времени, или скорость передачи информации по линии связи 1'(х, г') == ~ И(х) — 7 И(х(г') =.— Н'(х) — Н'(х(г'), (1.44) где И' (х) = — И (х) — производительность источника Т или передающего устройства, 1 Н'(х)г') == — И(Х1г') — ненадежность, отнесенная к единице времени.

4.8. Пропускная способность канала Г!усть задан некоторь>й канал связи, т. е. определено множество сигналов (г(!)), которые мокнут подаваться на вход канала, множество (г'(1)) сигналов на выходе* и условное распределение вероятностей гэ(г')г) сигналов на выходе при известном сигнале на входе. Если задаться каким-либо априорным распределением вероятностей входных сигналов, например плотностью щ(г), то можно определить скорость передачи ин- * Оба зтн мпожестпа могут быть как дискретными, так и пепрсрыпаыми Ниже асе формулы по избежание поаторсинй записаны для непрерыанык мпожестп сигпалоп. В случае дискретных множеств нужно заменить плотности распределений аероятиостяин, а интегрирование — суммированием. 4 — 2447 49 зп, которая в соответствии <рор рмапии по каналу связи, с (1.43) и (1.44) равна и> (г г') ь.*>= — '![ ь.*)~ „ы..

<. ~ (г ')=т ! я лительность элемента сигнала, Здес — ср днян д е говоря, от в(г), а вхо в р ыражение плотности в(г') (г') ивг, м: лить по заданным плотностя в (г, г') = в (г) в (г'[г), в (г') = ~ в (г, г') бг. ч Полученное значение скорое р ии сти пе едачи информации от п оизвольно выбранного распределения Роет!'осте!' входных передачи информации по всем допустимым раси ных сигналов (или, то ( ., чиее, наи- ниям вероятностей входны ч пнформая г ань скорости передачи и меньшая верхняя гр " способностью канала: ции) С называется пропускной спасо н С=вцрР(г, г). Р Ф (1.46) ч (ь! е еленин канала накладыва!ется доИногда при определении к ния на возможные распределе- полнительныс ограничения ых сигналов, ак, на Т, ап ример, ния вероятностей входи можно потребовать, чтой р бы с еднее значение ь гощиости заданной величины ли о б чтобы сигнала не превышало з ь опчеделзнное конечное число эле- использо алесь лишь м, ментарных сигнало в из множества г и т.

б я по всем воз- в фо муле (1Лб) верхняя грань берется по можпым в( ), удовле (1), творяющим наложенным огранипрактически интерес ь канала является конечно вел ная способность кана; да, когда сигналы Она ра~на нулю д да, оъ Распрел~ленив этом Р(г, г') =О при любом априори входных сигналов. 50 Основная теорема теории информации (теорема кодирования), впервые сформулированная К. Шешюном [1), заключается в том, гго сообщения всякого дискретн„.о источника могут быть закодированы сигналами канпла гЯ и восстановлены по сигнплам на выходе „-инала г'(!) с вероятностью оишбки, сколь угодно близкой к нулю, если Н'(х)<С Если же Н'(х))С, то такое кодаровпние невозможно, Здесь Н'(х) — производительность источника с фиксированной скоростью либо производительность передающего устройства для источника с управляемой скоростью. Поскольку в последнем случае величину И'(х) можно выбирать произвольно, то для источника с управляемой скоростью эту теорему удобнее сформулировать так: сообщения источника с управляемой скоростью можно зпкодаровпть сигналами г(!) и восстанотсгь по сигналам г'Я на выходе канала так, чтобы вероятность ошибка была сколь угодно близка к нулю, и средняя скорость передачи — сколь угодно близка с к = сообщений в секунду, где Н(х) — энтропия иси (х) то~ника на однг> сооби(ение.

Теорема кодирования в настоящее время строго доказана при некоторых несущественных для практики ограничениях, наложенных па свойства источника и канала. Такие доказательства можно найти в работах по теории информации, например (1, 3, 18). Не пытаясь изложить здесь'подробный ход этих доказательств, отметим лишь основные этапы, необходимые для понимания последующего. Ограничимся для упрощения случаем источника с управляемой скоростью. Рассмотрим всевозможные последовательности из и элементарных сообщений источника, Таких различных последовательностей может быть 1", где ! — объем алфавита источника и каждая из них имеет определенную вероятность, определяемую статистическими свойствами источника.

Расположим их в порядке убывающей вероятности и назовем первые [2"г>! !) типичными последовательностями, а остальные — нетипичными. Здесь И(х) — энтропия источника, отнесенная к элементар- номУ сообп!ению в двоичных единицах, а квадратные скобки обозначают целую часть заключенного в них числа. Пусть Р„--суммарная вероятность всех нетипич- 4Ф 5! ных последовательностей сообщений, а й — любое положительное число. Исходя из закона больших чисел при очень широких предположениях об источнике, можно доказать существование такого числа пь что при и'> и, (1.47) Р <б. Рассмотрим далее все допустимые для данного капала сигналы а(г) длительностью Т. Выберем из них йг<2от разггичных си~палов, где С вЂ” пропускная способность в двоичных единицах в секунду, не оговаривая пока, как этот выбор произведен.

Пусть на выходе канала принимаемые сигналы г'(г), имеющие также длительность Т, поступают на решающую схему, определяющую по критерию максимально~о правдоподобия, какой из выбранных сигналов передавался. При агом с некоторой вероятностью р решающая схема будет ошибаться. Доказывается, опять таки при очень широких предположениях о канале, что прн любом д>0 существует такое значение Ть что при Т>Т, можно осуществить выбор йг сигналов так, чтобы вероятность ошибки р была меньше ть Этого нельзя сделать, если Н>2от Теперь при тлюбоы а)Оатможно положить о=а/2 и найти соответствующее значение гго Затем, положив т = = а/2, определим соответствующее значение Т,.

Далее выберем значение Т, болыпее Т, и в то же время большее п,гг' (к) , что всегда возможно. Тогда можно определить величину йг, удовлетворяющую условию 2анрл йг < 2от (1.48) где гг)п, и Т >То Выберем йг сигналов з(1) так, чтобы вероятность ошибки не превышала и =-а/2. Каждой из типичных последовательностей сообщений источника сопоставим один из выбранных сигналов.

Так как таких последовательностей (2ящю), то найдется по меньшей мере один неиспользованный сигнал из выбранных. Этот сигнал будем посылать в канал всякий раз, когда источник выдает нетипичную последовательность, вероятность чего меньше 6=а/2, примирившись с тем, что нетипичные последова- яя гельпости будут приниматься ошибочно а. Тогда полная вероятность ошибочного приема последовательности сообщений не превысит в. Легко видеть, что при этом в секунду передается и/Т сообщений, причем величина и/Т может быть сколь угодно близка к С/гт (х), что и утверждает теорема кодировагшя. Примерно по такой же схеме строится доказательство для источника с фиксированной скоростью.

Следует подчеркнуть, что чем ближе Н'(х) к С н чем меньше допустимая вероятность ошибки, тем больше должна бьыь длина блока (последовательности сообщений) и. С увеличением а возрастает величина задержки между моментом выдачи сообщения источником и получения его получателем. Важно отметить, что всличгина этой задержки остается конечной. Для большей части каналов извсстно только доказательство существования описанного способа кодирования (т. е. возможности выбора йг сигналов, различаемых решающей схемой со сколь угодно малой вероятностью ошибки). Лишь для отдельных частных случаев имеются конструктивные доказательства теоремы, показывающие, как эти сигналы выбирать.

т.9. Основные задачи теории передачи дискретной инФормации В самом общем виде задача теории передачи дискретной информации может быть сформулирована так. Задан некоторый источник сообщенгия. Требуется определить наилучший способ передачи этого сообщения получателю. Однако в такой общей постановке задача недостаточно определена. Необходимо договориться отом, в каком смысле способ передачи следует считать наилучшим. Если бы заданными были не только источник сообщения, но и способ преобразования сообщения в сигнал (кодирование в широком смысле), а также характер помех в канале, то задача свелась бы к выбору решаю- а Возможна н другая схема коднровання, прн которой нстнпнчпмс послсдоваггльвостн псрсдагогся правильно ценой некоторого увслнчсння вадсржкн (Ц.

Характеристики

Список файлов книги