В.Н. Васюков - Теория электрической связи (1266498), страница 41

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 41)

В таких системах при обнаруженииошибки во время декодирования по каналу обратной связи передается сигнал переспроса, и тогда передающее устройство повторяетпередачу забракованной комбинации.2548. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИВ заключение отметим, что при решении вопроса о целесообразности помехоустойчивого кодирования и выборе помехоустойчивого кода следует руководствоваться критерием скорости передачи информации при заданной достоверности. Дело в том, чтовведение избыточных символов приводит к увеличению временипередачи кодовой комбинации или к укорочению элементарных посылок, что ведет к повышению вероятности ошибочного приемасимвола. Поэтому применение помехоустойчивого кодирования илинекоторого конкретного кода может оказаться нецелесообразным.8.6. ИНФОРМАТИВНОСТЬ НЕПРЕРЫВНЫХИСТОЧНИКОВ СООБЩЕНИЙНаряду с дискретными источниками сообщений часто встречаются непрерывные источники, которые вырабатывают сообщения, обычно описываемые функциями, принимающими значенияиз непрерывного множества.

Ярким примером непрерывного сообщения является речевое сообщение, описываемое вещественнойфункцией непрерывного времени. Значение непрерывного сообщения в некоторый отдельный момент времени представляет собой непрерывную случайную величину x , описываемую функциейраспределенияF ( x)  Ρ   x ,где – реализация случайной величины x , или плотностью распределенияw( x)  dF ( x) / dx .Очевидно, введенное ранее понятие энтропии неприменимо кнепрерывному источнику, так как неопределенность относительнолюбого конкретного значения непрерывной случайной величиныравна бесконечности.Действительно, разобьем область определения непрерывнойслучайной величины (, ) на отрезки одинаковой длины x ипронумеруем их при помощи индекса i  ,  .

Поставим в соответствие каждому отрезку значение xi , равное его середине, и вероятность P( xi ) , равную вероятности попадания в данный интервал исходной непрерывной случайной величины x . Таким образомполучается дискретная случайная величина, которая тем точнееописывает непрерывную случайную величину, чем меньше интервал x .2558.6. Информативность непрерывных источников сообщенийДля этой дискретной случайной величины можно записать энтропиюH ( X ')    P( x 'i )log P( x 'i ) .i Подставив вместо вероятности P( x 'i ) ее приближенное значение w( x 'i ) x , получим в пределе при x  0 H ( X )  lim H ( X ')  lim   w( x 'i ) x log  w( x 'i ) x  x0x 0  i    lim   w( x 'i )log  w( x 'i )  x  lim   w( x 'i )log  x  x x 0  i  x0  i    w( x)log w( x)dx  lim log  x    .x0Из полученного выражения следует, что энтропия непрерывного распределения равна бесконечности за счет второго слагаемого,которое одинаково для всех непрерывных распределений, заданных на интервале (, ) .

«Индивидуальность» распределенияопределяется первым слагаемым, которое и используют в качествемеры информативности непрерывного источника и называют относительной, или дифференциальной энтропиейh( X )    w( x)log w( x)dx .Дифференциальная энтропия, в отличие от энтропии дискретного источника, самостоятельного смысла не имеет и служит длясравнения информативности различных непрерывных источниковмежду собой [10].Пример 8.10. Дифференциальная энтропия источника, описы1ваемого гауссовской плотностью вероятности w( x) 2равнаh( X )    w( x)log w( x)dx   w( x)log1dx w( x)e x  m22 2,2568.

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ  w( x) log 2 log 222 w( x)dx  log 22log e222log e2 x  m2  dx 2  x  m w( x)dx log e log 2 e22.Отметим, что дифференциальная энтропия нормального распределения не зависит от математического ожидания и она тембольше, чем больше дисперсия. Это вполне соответствует пониманию дифференциальной энтропии как меры неопределенности, которая, очевидно, возрастает с ростом дисперсии случайной величины. ◄Определим взаимную информацию двух непрерывных случайных величин x и y .

Разобьем области их значений на интервалыx и y , перейдем к дискретным случайным величинам x и y ,после чего воспользуемся формулой (8.7) и выполним предельныйпереход:  p( xi , y j ) I ( X , Y )  lim    p( xi , y j )logx  0 i  j p( xi ) p( y j ) y 0  w( xi , y j ) x y  lim    w( xi , yi ) x y logx  0 i  j w(x)xw(y)yijy 0     w( x, y )log w( x, y )dxdy .w( x) w( y )Полученное выражение можно переписать следующим образом: w( y) w( x | y )I ( X , Y )    w( x, y )logdxdy w( x) w( y )         w( x, y )log w( x)dxdy    w( x, y )log w( x | y)dxdy  h( X )  h ( X | Y ) ,2578.6. Информативность непрерывных источников сообщений где h( X | Y )     w( x, y)log w( x | y)dxdy – условная дифферен циальная энтропия.Эпсилон-энтропия.

Энтропия источника непрерывных сообщений, как было показано, равна бесконечности. Это означает посуществу то, что для передачи непрерывного сообщения с абсолютной (бесконечной) точностью необходимо передать бесконечное количество информации. В то же время ясно, что на практикеэто и не требуется, так как любой получатель сообщений обладаетограниченной разрешающей способностью: достаточно воспроизвести сообщение с конечной точностью, характеризуемой некоторым малым числом . При этом количество передаваемой информации оказывается конечным и зависит от параметра .

В качествекритерия можно использовать, например, средний квадрат разности между принятым x (t ) и переданным x (t ) сообщениями2(t )   x (t )  x(t )  .2При этом сообщения считаются эквивалентными, если2(t ) не20.превосходит заданного уровняСредняя взаимная информация между x (t ) и x (t )I ( X , X )  h  X   h( X | X )зависит не только от свойств сообщения x (t ) , которыми определяется дифференциальная энтропия, но и от . Величина(8.12)H ( X )  min I ( X , X )  h( X )  max h( X | X ) ,где минимум выбирается по всем возможным условным распределениям w  x | x  , для которых 0 , называется эпсилонэнтропией.

Это минимальное количество информации в сообщенииx (t ) о сообщении x (t ) при условии, что они эквиваленты в смыслекритерия .ПоложимX (t )  X (t )  (t ) ,тогда условная дифференциальная энтропия h( X | X ) при известном x (t ) полностью определяется дифференциальной энтропией2588. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИотсчета шума воспроизведения(t ) . При этомmax h X | X  max h   . Поскольку мощность шума воспроизвеh( )дения ограничена значением 02 , очевидно, что дифференциальнаяэнтропия h( ) максимальна, когда отсчет (t ) – гауссовская случайная величина с нулевым средним, и это максимальное значениеравноmax h( )  log 2 e20.(8.13)Подставляя это выражение в (8.12), получимH ( X )  h( X )  log 2 e20.Эпсилон-энтропия максимальна для гауссовского источника сдисперсией 2x :H ( X )  log 2 e20 log 2 e201 log22x20.(8.14)8.7.

ПРОПУСКНАЯ СПОСОБНОСТЬНЕПРЕРЫВНОГО КАНАЛА С АДДИТИВНЫМБЕЛЫМ ГАУССОВСКИМ ШУМОМПусть колебание z (t ) на выходе непрерывного канала представляет собой сумму сигнала x (t ) и шума (t ) :z (t )  x(t )  (t ) ,(8.15)причем сигнал и шум статистически независимы. Предположим,что канал имеет полосу частот, ограниченную частотой Fк , и действует в течение временного интервала T . Тогда согласно теоремеотсчетов каждый процесс, входящий в выражение (8.15), можетбыть представлен совокупностью M  2FкT отсчетов. Совокупность отсчетов сигнала, которую можно представить векторомx  x1, x2 ,..., xM , имеет совместную плотность распределения вероятностей w(x)  w( x1, x2 ,..., xM ) ; статистические свойства шумового вектора ξ  1, 2 ,..., M описываются совместной ПРВw(ξ )  w  1 , 2 ,..., M  .2598.7.

Пропускная способность непрерывного канала…Пропускную способность непрерывного канала определим как1max I ( X , Z ) ,T  T w( x )C  lim(8.16)где I ( X , Z ) – количество информации о реализации сигнала x (t )длительности T , содержащееся (в среднем) в реализации процессаz (t ) той же длительности (максимум ищется среди всевозможныхраспределений w(x) ).Средняя взаимная информация сигнала и наблюдаемого процесса равнаI ( X , Z )  h ( Z )  h( Z | X ) .(8.17)С учетом (8.15) условная плотность распределения вероятностиw(z | x)  w(ξ) , а условная дифференциальная энтропияh( Z | X )    ...  w(z, x)log w(z | x)dz  h( ) ,(8.18)– обозначение векторной случайной величины, составленгденой из шумовых отсчетов. Таким образом, с учетом (8.16), (8.17) и(8.18) пропускная способность непрерывного канала с аддитивнымшумом1max  h( Z )  h( )  .T  T w( x )C  lim(8.19)Пример 8.11.

Рассмотрим пропускную способность непрерывного канала с аддитивным квазибелым гауссовским шумом,имеющим одностороннюю спектральную плотность мощности N 0в полосе частот от 0 до Fк . Отсчеты шума статистически независимы, и дифференциальная энтропияh( )  2 FкT log 2 eгде Pш 22 FкT log 2 e2  F T log 2 ePкш,(8.20) N0 Fк – мощность (дисперсия) шума.Дифференциальная энтропия h(Zi ) случайной величины Ziмаксимальна, если Zi – гауссовская случайная величина с нулевымсредним, а это означает, что X i – тоже гауссовская случайная величина с нулевым средним.

Дифференциальная энтропия совокуп-2608. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИности отсчетов максимальна, если отсчеты статистически независимы (это выполняется, так как отсчеты квазибелого шума некоррелированные гауссовские, а значит, независимые), тогдаh( Z )  FкT log  2 e( Pc  Pш )  .(8.21)Подставляя (8.21) и (8.20) в (8.19), получаем формулу Шеннонадля пропускной способности непрерывного канала с АБГШ [10]:P P C  Fк log 1  c   Fк log 1  c  . Pш  Fк N0 (8.22)При расширении полосы пропускания пропускная способностьнепрерывного канала с АБГШ стремится к пределуPPC  c log e  1, 443 c .N0N0КОНТРОЛЬНЫЕ ВОПРОСЫ1.

Характеристики

Список файлов книги