49506 (Энтропия сигналов)

Контрольная работа

По курсу: Теория информации и кодирования

На тему: Энтропия сигналов

1. ЭНТРОПИЯ ОБЪЕДИНЕНИЯ

Объединение - совокупность двух и более ансамблей дискретных, случайных событий. С объединением связаны понятия условной, безусловной, совместной и взаимной энтропии.

1. Безусловная энтропия - среднее количество информации, приходящееся на один символ (рис. 1). Если Х – передаваемое, а У- принимаемое сообщения, то можно записать следующие соотношения:

H(X) = H(X/Y)+H(XY),

H(Y) = H(Y/X)+H(XY).

X Y X Y

Рис. 1. Безусловная энтропия

2. Условная энтропия - количество информации об источнике, когда известно, что принимается Y, или мера количества информации в приемнике когда известно, что передается X (рис. 2).

H(X/Y) = H(X)-H(XY)

H(Y/X) = H(Y)-H(XY).

X Y X Y

Рис. 2. Условная энтропия

3. Совместная энтропия - среднее количество информации на пару пе-реданных и принятых символов (рис. 3).

H(X,Y) = H(Y,X) = H(X)+H(Y/X)= H(Y)+H(X/Y)= H(X)+H(Y)-H(XY).

4. Взаимная энтропия - энтропия совместного появления статистически-зависимых сообщений (рис. 4).

H(XY)=H(YX)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X,Y)-H(X/Y)- H(Y/X).

X Y

Рис. 3 Совместная энтропия

X Y

Рис. 4. Взаимная энтропия

На практике чаще всего встречаются взаимозависимые символы и сообщения. Например, при передаче текстовых сообщений передаются не просто буквы, а слова, имеющие определенные смысловые значения. При этом, каждая буква, и сочетание букв имеют различные вероятности появления в тексте. Условная энтропия учитывает взаимосвязь событий через их условные вероятности.

Рассмотрим схему рис. 5:

X

Источник

сообщений

Приемник

сообщений

Рис. 5. Передача сообщений

Источник сообщений X- вырабатывает сообщения, элементами которого являются символы алфавита источника {x₁,x₂,...,x_m }, вероятности появления на выходе которых равны p(x₁), p(x₂), ..., p(x_m) ,при этом:

Энтропия источника представляет собой неопределенность появления на выходе источника сообщений символа первичного алфавита и определяется соотношением:

()

Приемник сообщений Y- принимает сообщения, элементами которого являются символы алфавита приемника {y₁,y₂,...,y_m }, вероятности появления на входе которых равны p(y₁), p(y₂),..., p(y_m), при этом:

Энтропия приемника представляет собой неопределенность появления на входе приемника сообщений символа после его появления на выходе источника и определяется соотношением:

(2)

Если в канале связи отсутствуют потери информации (нет помех, ис-кажений и т. д.), то символу x_i соответствует символ y_i . В противном случае x_i может быть принят как любой из возможных y₁ ,y₂ ,...,y_m , с соответствующими вероятностями.

При отсутствии потерь: H(X) = H(Y). При наличии помех они уничто-жают часть информации. При этом потери информации можно определить через частные и общую условную энтропию.

Вычисление общей условной энтропии удобно производить с помощью канальных матриц ( матрицей переходных состояний).

Потери информации в канале можно оценивать со стороны источника или приемника сообщений.

Рассмотрим порядок определения потерь со стороны источника (известен передаваемый сигнал). При этом, условная вероятность p(y_j /x_i) означает вероятность того, что при передаче сообщения x_i получено сообщение y_j. Канальная матрица имеет вид, приведенный в табл. 1.

Таблица 1

При этом:

.

Вероятности, расположенные на диагонали характеризует вероятность правильного приема, остальные – ложного, чем они расположены дальше от диагонали, тем они меньше. При отсутствии помех в канале связи элементы матрицы, расположенные по диагонали, равны единице, а все остальные равны нулю. Канальные матрицы всегда квадратные, т. к. количество передаваемых сигналов, равно количеству принятых, хотя вероятность прохождения отдельных сигналов может быть равна нулю.

Потери информации, вызванные действием помех, определяются с помощью условной энтропии. Для равновероятных сигналов на выходе источника общая условная энтропия вычисляется по формуле:

. (3)

Для не равновероятных сигналов на выходе источника общая условная энтропия вычисляется по формуле:

(4)

Частная условная энтропия определяет потери информации, приходящиеся на долю какого – либо конкретного сигнала (например, потери для сигнала x₁)

. (5)

При отсутствии помех вероятность получения правильного сигнала станет безусловной, а условная энтропия будет равна нулю.

Для исследования канала со стороны приемника (известен полученный сигнал) - условная вероятность p(x_i /y_i) означает вероятность того, что при приеме сообщения y_i было передано сообщение x_i.

Канальная матрица имеет вид, приведенный в табл. 2.

Таблица 2

Вероятности расположения на диагонали характеризует вероятность правильной передачи, остальные – ложной. Для равновероятных сигналов на входе приемника общая условная энтропия вычисляется по формуле:

. (6)

Для не равновероятных сигналов на входе приемника общая условная энтропия вычисляется по формуле:

( 17)

Частная условная энтропия, определяющая потери, приходящиеся на долю сигнала y₁, равна:

. (8)

Пример 1. Вычислить энтропию источника сообщений, выдающего два символа 0 и 1 с вероятностями p(0)=3/4, p()=1/4 и условными вероятностями: p(0/0)=2/3, p(/0)=1/3, p(0/1)=1, p(/1)=0, т. е. после 1 всегда идет 0.

Решение: Для случая взаимозависимых, не равновероятных элементов энтропия равна:

Пример 2. Определить энтропию источника сообщений, если вероят-ности появлений символов на входе приемника, равны: P(b₁)=0,1; P(b₂)=0,3; P(b3)=0,4, P(b₄)=0,2 а канальная матрица имеет вид:

P(a/b)= .

Сумма вероятности при одноименных условиях равна

Решение: Определим энтропию источника

.

= 0,10,99+0,30,2+0,40=0,105;

= 0,10,01+0,30,98+0,40,01+0, 20,01=0,301;

0,10+0,30+0,40,98+0,20,02=0,396;

0,10+0,30+0,40,01+0,20,97=0,198;

Проверка:

0,105+0,301+0,396+0,198=1.

При этом энтропия источника равна:

H(A)=-(0,105log 0,105+0,301log 0,301+0,396log 0,396+0,198log 0,198)=1,856 бит/симв.

Пример 3. Определить энтропию источника и условную энтропию сообщений, передаваемых по каналу связи, и состоящих из равновероятных символов, если влияние помех в канале описывается матрицей:

.

Решение: Для равновероятных символов в сообщении энтропия источника сообщений равна:

бит/симв.

Полная условная энтропия равна:

=

бит/симв.

Пример 4. Определить энтропию приемника сообщений, если вероятности появления символов a₁, a₂ и a₃ на входе источника сообщений равны P(a₁)=0,5; P(a₂)=0,3 и P(a₃)=0,2, а канальная матрица имеет вид:

,

Решение: Энтропия приемника равна:

.

Вероятности появления символов на входе приемника

;

;

.

Проверка:

.

При этом:

2. ЭНТРОПИЯ ИСТОЧНИКА НЕПРЕРЫВНЫХ СООБЩЕНИЙ

ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ

Для описания информационных свойств непрерывного источника (сигнала) используется понятие дифференциальной энтропии. Для ее получения воспользуемся формулой для энтропии дискретных сообщений. В соответствии с графиком функции плотности вероятности (рис. 6.) можно записать p(x_i) = . Где p(x_i) - вероятность того, что x лежит в пределах i-го шага квантования.

f(x)

f(x_i)

0 x x_i x

Рис. 6. График функции плотности вероятности

При этом, выражение для энтропии можно представить в виде

(9)

Переходим к пределу:

.

Полная энтропия источника непрерывных сообщений состоит из двух слагаемых, одно из которых определяется законом распределения, а второе является постоянной величиной, определяющей шаг квантования, который влияет на точность измерений. Этот член выражения определяет постоянную составляющую и исключается из рассмотрения.

Значение первого слагаемого определяется законом распределения и характеризует дифференциальную энтропию непрерывного источника (т. к. f(x) - плотность вероятности или дифференциальный закон распределения)

, (20)

Дифференциальная энтропия- часть энтропии источника непрерывных сообщений, которая зависит от плотности вероятности сигнала x(t), выдаваемого источником.

Различные классы физических явлений и процессов подчиняются различным законам распределения. Непрерывные сигналы полностью характеризуются законами распределения (интегральным или дифференциальным). На любые реальные сигналы накладываются определенные ограничения, например: по средней мощности (нагрев аппаратуры); по мгновенной или пиковой мощности (перегрузки).

Так как дифференциальная энтропия зависит от плотности вероятности, определим, для какого закона она максимальна. Т. е. при каком распределении вероятности, сигнал заданной мощности имеет максимальную энтропию. Для нахождения максимального значения энтропии необходимо воспользоваться вариационной теоремой с использованием неопределенных множителей Лагранжа при условиях нормировки и неизменности среднего квадрата: