Кловский Д.Д. и др. Теория электрической связи (1999) (1151853), страница 60
Текст из файла (страница 60)
Для выходных последовательностей будет также справедлива теорема САР, согласно которой при достаточно больших и вероятность появления (н(т) определенной типичной выходной последовательности оказывается не больше чем 2 Множество у1" 0уз"...0у~ состоит именно из в-типичных выходных последовательностей, пом В) а5 (н(т) ) этому число элементов Ц2; не меньше чем (н(т) ) = а52 . С другой стороны, число ~У(")~ а-условных типичных выходных последователъностей при заданной е-типичной ,(н(т)х) входной последовательности не превосходит 2 ' ).
Отсюда следует, что число М должно а52"( ( ) ) (н(т) н(т)х) з ) удовлетворять неравенству М > 2.(н(т) ) ) =а5 2' . Так как входное распределение Р„,Р„, реализует пропускную способность канала, то и(с2 ) Н(х) — Н(х)Х)=С и М>а52"(с ~ ) =2 " . Учитывая, что а и 5 фиксированы, а е может быть выбрано произвольно малым, получим утверждение прямой теоремы. Докажем обратиную теорему, Для этого рассмотрим код х("), х~~"~, ..., хм(") и решающую схему У,", У~", ..., У,", для которых как любые преобразования не увеличивают количества информации (см, свойство 8 количества информации). Поэтому получаем неравенство — '(1оа Ьд + д1оя Ч + р,д 1оа — М-) < С ° 1( рд (6.50) д И -1 Предположим, что Л>С, т.е.
М = 2да>2дс, тогда, подставляя это значение М в (6.50), получаем неравенство — 'Ч 1оа д+ рдд 1оа р., — рдд 1оа(г"" — 1) < С вЂ” Н < О- (6.51) и д д д Отсюда видно, что при л-+<с левая часть (6.51) всегда стремится к нулю, если р.д-д е. Однако это невозможно, поскольку правая часть ограничена отрицательной постоянной. Итак, если М= 2дл, где Н> С, то достижение сколь угодно малой ошибки декодирования (р,„+ е) путем увеличения длин блоков л -+ ю при любом выборе кода и решающей скемы оказывается невозможным.
Это и завершает доказательство обратной теоремы. Рассмотрим интерпретацию теоремы кодирования. Пусть имеется дискретный источник с объемом алфавита К и распределением вероятностей его символов, которое мы не знаем или не хотим использовать при кодировании сообщений источника. Тогда, сопоставляя каждой кодовой комбинации длины й последовательность символов источника длины и, удовлетворяющих очевидному условию взаимной однозначности кодирования и декодирования Х =М=2 и по условию отсутствия задержек во времени: йТ„= пТ„ где Ти и ҄— длительности символов источника и канала, соответственно, получаем, что 1 й т„Н д У Т и 1оя К Как следует из доказанной теоремы кодирования, Род -+ О при и -+ аз, когда Н ( С и поэтому получаем условие на максимально возможную скорость передачи символов в следующем виде: ц с т„С С' (6.52) 1оК,К 1ои,К В частном случае двоичного источника получаем из (6.52) скорость передачи символов (бит/с): ь„с С'.
Предположим; что будет учитываться статистика источника сообщений, т.е, производится дополнительно и кодирование источника сообщений. Тогда, как следует из теоремы 1 о кодировании источника, средняя длина последовательности канальных символов, приходящаяся на один символ источника сообщений, будет определяться соотношением (6.46). Будем полагать, что в нашем случае символами канала являются кодовые комбинации длины и, число которых равно М = 2"и = т. Тогда в (6.46) необходимо положить 1оягп1 = пН.
Условие отсутствия задержек во времени примет в этом случае следующий вид (в пренебрежении величиной в в (6.46)): Н(А)п Н(А) Т =йпТ = Т = — Т. н д пддд д Н д' 241 (6.54) Поскольку для обеспечения Род -+ О при и -+ оо согласно доказанной тео- реме с кодированием в канале с помехами необходимо обеспечить выполнение неравенства Н < С, то из предыдущего выражения находим Н(А) С = Н'(А) с — = С', (6.53) Т„ Т„ Неравенство (6.53) составляет основную теорему Шеннона, которы форму- лируется следующим образом.
Теорема 2. Основная теорема Шеннона. Если производительность источника Н(А) меньше пропускной способности С' в единицу времени дискретного канала с помехами, то при любом 5 > О существу- ет способ кодирования и декодирования источника и канала, при котором сообще- ния передаются получателю с вероятностью ошибки меньшей, чем 5, и в среднем без растущих задержек во времени. Если Н(А) > С', то такого способа кодирова- ния не существует.
Заметим, что хотя неравенство (6.53) и является более сильным, чем (6,52), но это не означает, что всегда следует использовать как канальное кодирова- ние, так и кодирование источника. Последнее для достижения заметного эф- фекта может оказаться нереализуемо сложным.
Важной особенностью теорем кодирования Шеннона является то обстоя- тельство, что они носят характер теорем существования и почти ничего не го- ворят о практических способах реализации процедур кодирования и декодиро- вания. (Этим вопросам будет специально посвящено содержание следующей главы.) До сих пор в данной главе мы всюду рассматривали так называемый дискретный канал связи с помехами. В действительности таких каналов не существует и можно говорить лишь о модели отображения непрерывного канала связи в дискретный, По существу это означает, что мы в рамках рассмотрения данного дискретного канала фиксируем определенный способ модуляции и демодуляции.
Если нам дополнительно известно, какой именно выбран способ модуляции и демодуляции, то может быть известна и вероятность ошибки р(Ьз) как функция Р,Т, параметра Ь = — '", уже упоминавшегося в 9 6.1. Предположение о том, что при фиксиро1оо ванных значениях Р, и Уо мы можем изменять длительность канальных символов Т„, что эк- вивалентно изменению канальной скорости передачи г„, открывает новые возможности для оптимизации системы связи. Так можно поставить вопрос об оптимизации величины го с целью обеспечения наибольшей пропускной способности канала связи в единицу времени С; что согласно теореме кодирования обеспечит наибольшую скорость передачи ч„сообщений источника при сколь угодно высокой верности приеМа. Эта задача для 2СК сводится к нахо- ждению максимума функции: овахС(г„)= пах[ь„[1+ р(г„)1ояр(ко)+(1 — р(ь„))1оя(1 — р(ь„)))), Р,Т„Р, где р(г,)-р, поскольку Ь 1ьон)' Но ооЬ'о Приведем (6.54) к более удобному виду для нахождения максимума с),,)= — ' +р(~')1 ~р)~')+р(~'))оо)1-р(а')))) (6.55) В гл.
5 было показано, что при оптимальном когерентном приеме двоичных сигналов в детерминированном канале с ВГШ вероятность ошибки как функция Ьг определяется выра- жением 242 р = Д~с~а~~'), (6,56) 2, для противоположныхсигналов, где а = 1, для ортогоиальных сигналов равной энергии, У2' 2 лля системы сигналов с пассизнои лаузои. При оптимальном некогерентном приеме в том же самом канале мы получили в гл.5 Р=-е а", (6.57) 2 1, для ОФМ сигналов, где ~3 = Я, для сигналсврааной энергии, ортогоиальиих в усиленном смысле, У4' лля системы сигиаиов с пассивной паузой.
Подставляя (6.56) и (6.57) в (6.55) и находя экстремум функции обычными аналитически- ми и численными методами [261, получаем, что для когерентного приема максимум достнга- аР, . ется при и -о с и оказывается равным 0,46 — '. При некогерентном приеме максимум С' и Уо ?~о Р, достигается при Т„= — ~ 1,551 — ' и оказывается равным 0,3333 — '. 2 „аР, '3 о Таким образом, максимум при когерентном приеме двоичных сигналов достигается при неограниченной полосе пропускания приемника Р, поскольку Р' +но при о„-о с, в то время как при некогерентном приеме максимум С' реализуется при ограниченной полосе частот канала связи.
(Очевидно, однако, что при любой скорости передачи о„и одних и тех же зна- чениях Р, и 2оо когерентный прием всегда обеспечит большее значение С', чем некогерент- ный). Допустимость изменения длительностей канальных символов при фиксированном спосо- бе модуляции и демодуляции приводит к возможности необычной интерпретации теоремы кодирования. Предположим, что информационная скорость передачи двоичного источника о„бит/с задана так же, как Р, и Фс. Возникает вопрос, можно ли при этих условиях обеспе- чить Р„„-+ о при каком-либо, пусть сколь угодно сложном кодировании (т.е. при,-+ ) и наилучшем выборе длительности канального символа? Как было показано раньше, макси- мальное значение С' при оптимальном.когерентном приеме двоичных сигналов достигается а1', 1 при н„-ооо и равно 046 — '.
Поскольку согласно теореме кодирования 2н < С', то Т„> — и, 23 о следовательно, 12 нн> (6.58) М УС' где Ь~ — отношение сигнал-шум при заданной информационной скорости передачи. Подстава?', 2,17 ляя в (6.58) максимальное значение С' = 0,46 — ', получаем, что Ь2 > — ', а тогда по формуле а (6.56) максимально допустимая вероятность ошибки (для заданной информационной скорости передачи), при которой кодирование еще может обеспечить сколь угодно высокую верность приема, оказывается Р = д(,/г 17) 0,0?г. (6.59) Если же оказалось, что для требуемой информационной скорости передачи вероятность ошибки равна или больше этой величины, то всякое кодирование с целью повышения помехоустойчивости оказывается бесполезным.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
