Тема 4. Формулы Шеннона (Материалы лекций), страница 2

Это значит, мы выражаем х(г), у(г) и п(1) в форме т !' У, = )У(Ф (гМ =Яхй+и(г)]У (гМ =х, +и,. (7.1.10) а о Функции (Дг)) образуют полный ортонормированный ансамбль на интервале (О, Т), (7.1.1 1) р(у„у„...,у„Дх!,х„...,х„) = Г1р(у,.)х,) (7.1.13) для любого У. Таким образом, описание сигналов канала сведено к эквивалентному каналу с дискретным временем, характеризуемым совместной ФПВ, даваемой (7.1. 12). Когда аддитивный шум белый и гауссовский со спектральной плотностью —,!М„ дисперсия !3,' = ф М, для всех (в (7.1.12). В этом случае отсчеты х(г) и у(г) можно брать со скоростью Найквиста 2И' отсчетов/с так, что х, = х(1/2И') и у! = у(г/2Ит) . Поскольку шум белый, отсчеты шума статистически независимы.

Таким образом, (7.1.12) и (7.1.13) описывают статистику отсчбтов сигналов. Заметим, что на временном интервале длительностью Т имеются М=2И'Тотсчетов'.' Этот параметр используется ниже для получения пропускной способности частотно-ограниченного канала с АБГШ, Выбор модели канала для его использования на определенном временном интервале зависит от объекта исследования. Вели мы интересуемся синтезом и анализом качества кодера и декодера дискретного канала, приемлемо рассмотреть модели канала, в которых модулятор и демодулятор являются частью составного канала.

С другой стороны, если ваша цель — синтез и анализ качества цифрового модулятора и цифрового демодулятора, мы используем модель сигнального канала. 7.1.2. Пропускная способность канала Теперь рассмотрим ДКБП с входным алфавитом Х=(х„х„...,х, !) н выходным алфавитом У= (у,„у,,...,у,) и рядом переходных вероятностей Р(у,~х,.), определйнных в (7.12). Предположим, что передан символ х,, а принят символ у, Взаимная информация о событии Х = х, когда имеет место событие 1 = у„равно 1оя1Р(у,)х,)/Р(у!)], где Р(у ) — Р(У- у.) — 1 Р(х )Р(у.1х ).

(7.1.14) 323 где бо — дельта-функция Кронекера. Поскольку гауссовский шум белый, то в выражениях (7.1.9) можно использовать любой полный ансамбль ортонормированных функций. Теперь используем коэффициенты в указанных выражениях для характеристики канала. Поскольку у, = х, + л!, где и, — гауссовские случайные величины, то следует р(у ~х!) =,— е ' ', ! = 1, 2,... (7.1.12) (2п!т, Поскольку функции Ц(г)) в разложениях являются ортонормированными, то следует, что (и,) некоррелированы.

Поскольку они гауссовские, они также статистически независимы. Следовательно, Следовательно, средняя взаимная информация, получаемая по выходу )У о входе Х,: равна (7.1.15) Характеристики канала определяют переходные вероятности Р(у,)х,),но вероятности', входных символов определяются дискретным кодером канала. Величина /(Х;у), ' максимизируемая по набору вероятностей входных символов Р(х,.) является величиной,:;,:;::: которая зависит только от характеристик ДКБП через условные вероятности РОу,)х ).

Зта: величина названа пропускной способностью канала и обозначается С. Таким образом, пропускная способность ДКБП определяется так д-! о ! с= !(х;у) ~~у(*,)у!у~~,)ьу)у(у)*,)/у(у)). (7.!.!6) Максимизация /(Х; У) выполняется при условиях Р(х,.) 1 О;,,'~ Р(х,) = 1. Размерность С вЂ” бит/символ, если берется логарифм с основанием 2, и нат/символ, если берется логарифм с основанием е.

Если символы поступают в канал каждые т, секунд, то пропускная способность канала в единицу времени в бит/с и нат/с равна С/т, = С' . Пример 7.1Л Для ДСК с переходными вероятностями Р(О/1) = Р(1/О) = р средняя взаимная информация максимизируется, если входные вероятности Р(0) = Р(1) = ",. Следовательно, пропускная способность ДСК равна С = р1ой2р+(1-р)1ой2(1 — р) = 1 — Н(р), (7.1.17) где Н(р) - двоичная энтропийная функции. Кривая для С в зависимости от р иллюстрируется на рис.

7.1.4. Заметим, что прн р = О пропускная способность равна 1 бит/символ. С другой стороны, при р = —,' взаимная информация между выходом и входом равна О. Следовательно, пропускная способность равна О. При —,' <р<1 мы можем поменять местами на входе ДСК О и 1, так что С оказывается симметричной функцией 1 относительно точки р = —,. В нашей трактовке двоичной модуляции и демодуляции, данной в главе 5, мы показали, что р является монотонной функцией от отношения сигнал — шум (ОСШ), как показано на рнс.?.1.5(а). Следовательно, когда С строится как функция ОСШ, она возрастает монотонно по мере увеличения ОСШ. Зависимость С от ОСШ иллюстрируется на рис.

7.1.5(Ь). Далее рассмотрим канал без памяти с АБГШ и дискретным временем, описываемый переходными ФПВ, определяемыми (7.1.5). Средняя максимальная взаимная информация между дискретным входом Х = (х„х„...,х,,) н выходом )У = (-со,!!о) определяется пропускной способностью канала в бит/символ и равна 324 Интересно отметить, что в двух моделях канала, описанных выше, выбор одинаковой вероятности для входных символов максимизирует среднюю взаимную информацию.

Таким образом, пропускная способность канала получается, когда входные символы равновероятны. Однако, такое решение для пропускной способности канала, даваемое формулами (7.1.16) и (7.1.17), не всегда имеет место. 0,Я в о с>~ 0,6 н я ян 0,4 й 0,2 -20 -Ы -! +4 +!2 ! О!я (АЯЛая! (як! Рнс. 7.!.6. Пропускная способность кяк функция ОСШ (АЯ!2п!) для кянаяя без памяти с АБГШ и двоичным входом (7.1.22) 326 Ничего нельзя сказать в общем относительно задания вероятностей входа, которые максимизируют среднюю взаимную информацию. Однако, в двух моделях канала, рассмотренных выше, переходные вероятности канала проявляют форму симметрии, которая влияет на максимум 1(Х; У), который получается, когда символы входа равновероятны.

Условия симметрии можно выразить через элементы матрицы переходных вероятностей Р канала. Когда каждая строка этой матрицы является перестановкой других строк и каждый столбец является перестановкой других столбцов, матрица переходных вероятностей симметрична, а входные символы с равной вероятностью максимизируют 1(Х; У) . В общем необходимые и достаточные условия для совокупности вероятностей входных символов (Р(х„)), при которых максимизируется 1(Х;1') и, следовательно, достигается пропускная способность ДСК, таковы (задача 7.1): 1~х,.; У) < С для всех 1 с Р~х ) > О, 1~х,; у) = С для всех ! с Р(х,) = О, (7.1.21) где С вЂ” пропускная способность канала, и — Р~у,~х,) 1~х,; 1) '=,,'~ Р(у,!х,)1оя Обычно относительно просто проверить, удовлетворяет ли совокупность входных символов с равными вероятностями условиям (7.1.21).

Если они не удовлетворяются, то ряд входных символов с неравными вероятностями (Р(х,)) могут удовлетворять (7.1.21). Теперь рассмотрим ограниченный по полосе частот канал с аддитивным белым гауссовским шумом. Формально, пропускная способность такого канала в единицу времени определена Шенноном (1948) так: (7.1.24) (7.1.26) У Мп2 Р„= Я ф (д~И = Т Я КЯ = '"Т" ! (7.1.28) Следовательно, ТР Р, ст„= — ~ = —. М 2И'' (7.1.29) Подставив этот результат в (7.1 27) для о'„получаем (х„; „)= ~г~+ — "1~. В заключение можно получить пропускную способность канала в единицу времени путем деления результата (7.1.30) на Т.

Таким образом, Р '1 С' = К 1оф 1+ (7.1.3 1) Это базовая формула для пропускной способности частотно-ограниченного канала с АБГШ с частотно-ограниченным и ограниченным по средней мощности входом. Она была впервые получена Шенноном (194б). График пропускной способности (бит/с), нормированной к полосе К, как функция от отношения средних мощностей сигнала Р„и шума И%„дан на рис. 7.1.7. Заметим, что пропускная способность увеличивается монотонно с увеличением ОСШ.

Таким образом, при фиксированной полосе пропускная способность канала увеличивается (7.1.30) З27 С =! пп шах — 1(Х; У), (7.1.23) г-+а р(я) где усредненная взаимная информация определена (3.2.17). Альтернативно, мы можем использовать отсчеты или коэффициенты 1у,.), 1х,) и 1п,.) в ряде разложений х(г),у(г) и л(~) соответственно для определения средней взаимной информации между х„= ~х, х, ...

х„1 и у„= 1у, у, ... у„~, где М = 2УТ, у, = х, + у, и р(у ~ х, ) определены (7.1.12). Средняя взаимная информация между х„и у~ для канала с АБГШ равна 4х„;т„) = 1...Ц... 1~(у„~,„) ~щ — "--"'-*4ь,ау„- - х 1 Ык~* И41~-~'-)1 ФФ„ р(у,1х,)= е ' (7.1.25) /лМ, Максимум 7(Х; У) по входной ФПВ получается, когда входы 1х,) статистически независимые гауссовские случайные величины с нулевыми средними, т.е. (;) = Г2„—.— ""' где а„— дисперсия каждого х, .

Затем из (7.1.24) следует, что шах 7(Х„; УА,) = ~Ф 1од~ 1+ — *) = ~ М 1ой~1+ — ' ~ = УТ1ой1+ —,. ' '. (7.1.27) - а1 Предположим, что мы накладываем ограничение на среднюю мощность входных сигналов х(~), т.е. с увеличением переданной мощности сигнала. С другой стороны, если Р,„фиксирована, пропускную способность можно увеличить за счет увеличения полосы )и' . н и (Р ~М )!аа,е о Ю о — 4 0 4 а 12 !6 20 ) о )а(г„лги,) (г(гч) Рис.

7.1.7. Нормированная пропускная способность канала как функция ОСШдля ограниченного по полосе частот канала с АЬГШ Рис. 7.1.8. Пропускная способность канала как функция полосы частот при фиксированной средней моц(ности сигнала Рис. 7.1.8 даст зависимость С' от Иг. Заметим, что если И~ становится неограниченной, пропускная способность канала приближается к предельной в Р Р С= ~~1ой,е= о о Поучительно выразить нормированную пропускную способность канала С/И' как функцию от ОСШ на бит.

Поскольку Р представляет среднюю мощность (в Ваттах), а С определено в бит/символ, то следует Р =Сф, (7.1.33) где ~~ — энергия сигнала на бит. Следовательно, (7.1.31) можно выразить так: еличине (7.1.32) С ( С $1 И =1ойт),1+)р М~. а (7.1.34) Следовательно, (7.1.36) Ф,,суя — = 1ип Я):ь=1п2, (7.1.37) М, суи о С'/~ которое равно — 1,6 дБ. Зависимость С'/гг' от Фь' / М, показана на рис.

5.2.17. Итак, мы получили выражение для пропускной способности для трех важных моделей канала, которые рассматриваются в этой книге. Первая — это модель канала с дискретными входом и выходом, для которой ДСК частный случай. Вторая, с дискретным входом и непрерывным выходом, — это модель канала без памяти с АБГШ. При помощи этих двух 328 8 2~>~ 1 (7.1.35) о Когда С'/Ю=1, йь/М, =1 (ОдБ). При С'/И~-+ о — = ех — ~1п2 — 1и — ~ . Таким образом, йь / М, растет экспоненциально, когда С'/И~ — + со.