48737 (Расчет информационных характеристик источников сообщений, сигналов и каналов), страница 2

P(U₁)=P(U₂)=0,5- дано по условию

Скорость передачи информации вычисляется по формуле:

I’(U,Z)=H’(U)-H’(U/Z),

а энтропия будет равна 1 биту, так как

0,5log₂+0,5log₂=1

H’(U)=V_C*H(U), где V_C=1500 c^-1

I’(U,Z)=H’(U)-H’(U/Z)

H’(U/Z)=V_C*H(U/Z)

Условные вероятности можно найти по формуле Байеса:

H(U/Z)=-P(Z₁)[P(U₁/Z₁)log₂P(U₁/Z₁)+P(U₂/Z₁)log₂P(U₂/Z₁)]-P(Z₂)[P(U₁/Z₂)log₂P(U₁/Z₂)+ P(U₂/Z₂)log₂P(U₂/Z₂)]

H(U/Z)=-(0.5+0.5)(-2*0.99log(0.99)-2*0.01*log(0.01))=0.16

H’(U/Z)=V_C*H(U/Z)=1500*0,16=241 (бит)

I’(U,Z)=H’(U)-H(U/Z)=1500-241=1259(бит/с)

3. Согласование дискретного источника с дискретным каналом

3.1 Задача № 3.23

Закодировать двоичным кодом Фано ансамбль сообщений {a_i}:

{0.08, 0.001, 0.06, 0.09, 0.017, 0.18, 0.4, 0.06, 0.003, 0.027, 0.014, 0.068}

Закодировать произвольную комбинацию, состоящую из 5 символов из ансамбля{a_i}. Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля {a_i} и среднее количество символов, разработанного кода Фано, приходящихся на одно сообщение из ансамбля {a_i}. Рассчитать эффективность разработанного кода.

Решение.

Кодируется кодом Фано заданный ансамбль сообщений следующим образом.

Таблица 1 - Кодирование ансамбля сообщений {a_i} двоичным кодом Фано

сообщение	вероятность	код
а7	0,4	00
а6	0,18	01
а4	0,09	100
a1	0,08	1010
а12	0,068	1011
а3	0,06	1100
а8	0,06	1101
а10	0,027	1110
а5	0,017	11110
а11	0,014	111110
а9	0,003	1111110
a2	0,001	1111111

Сообщения источника располагаются в порядке не возрастания их вероятностей, делятся на две части так, чтобы суммарные вероятности сообщений в каждой части были по возможности равны. Сообщениям первой части приписывается в качестве первого символа нуль, а сообщениям второй части единица. Затем каждая из этих частей (если она содержит более одного сообщения) опять делится на две примерно равные части и в качестве второго символа для первой из них берется 0, а для второй 1. Этот процесс повторяется до тех пор, пока в каждой из полученных частей не останется по одному сообщению.

После использования полученных комбинаций символов, закодируется произвольная комбинация, состоящая из 5 символов из ансамбля {a_i}: 101011111110010011110.

Среднее количество символов, приходящихся на одно сообщение, определяется по формуле 2.9 курса лекций:

,

где m_s – количество позиций, а p_s – вероятность сообщения из ансамбля {a_i}.

Определяется минимальное среднее количество символов, приходящихся на одно сообщение, по формуле

,

где M – объем алфавита кода, равный 2, а H(U) энтропия источника.

Далее находится энтропия:

Затем вычисляется величина ψ-эффективность кода, которая характеризует степень близости неравномерного статистического кода к оптимальному.

3.2 Задача № 3.56

Определить избыточность оптимального по Шеннону кода (существование которого утверждается теоремой для канала с шумом) с объемом алфавита m и средним количеством символов, переданных в единицу времени V_k, предназначенного для безошибочной передачи информации по каналу с пропускной способностью С.

Найти минимально возможную избыточность оптимального кода для симметричного канала при m = 8 и вероятности ошибки P = 0,08.

Решение:

Избыточность кода вычисляется по следующей формуле:

,

где H(Z)=V_k*H(Z)

Так как передача информации предполагается безошибочной, то кодирование должно быть однозначным, то есть потери информации при кодировании должны отсутствовать. Это означает, что:

H(Z)=H(U),

где H(U)- производительность источника, который передает информацию.

В соответствии с условием теоремы Шеннона

H(U) < C, а H(U) = С + ε = С; (ε→0),

тогда формула избыточности будет выглядеть следующим образом:

, при ε→0

Для двоичного симметричного канала справедливо выражение:

C=V_k*[1+p*log₂p+(1-p)*log₂(1-p)]

Подставив известные значения в формулы, получается:

C=V_k*0.6

4. Дискретизация и квантование

4.1 Задача № 4.23

Н

епрерывный сигнал x(t), имеющий спектр X(jω) дискретизируется с частотой дискретизации ω_д , отображенный на рисунке 4.

1

Р исунок 4 - Непрерывный сигнал x(t), имеющий спектр X(jω) дискретизируется с частотой дискретизации ω_д

Выполняется ли в данном случае условие теоремы Котельникова? Построить график спектра дискретизированного сигнала (изобразить 5 периодов спектра). Проиллюстрировать графически процесс восстановления спектра непрерывного сигнала с помощью идеального интерполирующего фильтра по спектру дискретного сигнала.

Решение:

При построении графика спектра дискретизированного сигнала (рисунок 4) исспользуется выражение (3.16) [1], причём для изображения 5 периодов спектра следует учесть 5 слагаемых:

Процесс восстановления спектра непрерывного сигнала с помощью идеального интерполирующего фильтра по спектру дискретного сигнала проиллюстрирован графически на рисунке 5, где первый график представляет собой частотную характеристику идеального фильтра низких частот, а - спектр сигнала на выходе интерполятора.

Условие теоремы Котельникова (неравенство (3.17) [1]) в данном случае не выполняется (т.к. ), из-за взаимного перекрытия слагаемых происходит изменение формы спектра и точное восстановление , а следовательно и x(t), невозможно.

4.2 Задача № 4.52

Непрерывный сигнал дискретизируется с частотой дискретизации ω_д=2,5. Построить графики непрерывного и дискретизированного сигналов (изобразить не менее пяти периодов). Проиллюстрировать графически процесс восстановления непрерывного сигнала по дискретному во временной области с помощью интерполятора 1-го порядка.

Решение:

Зная выражение, описывающее непрерывный сигнал, и частоту дискретизации, найдём период дискретизации , необходимый при построении графика дискретизированного сигнала, выразив его через период Т непрерывного сигнала:

.

Графики исходного непрерывного и дискретизированного сигналов представлены на рисунке 6.

x_д(t)

x(t)

Рисунок 6 – Графики исходного непрерывного и дискретизированного сигналов

Интерполятором называется фильтр, преобразующий отсчёты дискретного сигнала в непрерывный сигнал. Процесс восстановления сводится к подаче дискретного сигнала на вход фильтра, с выхода которого снимается непрерывный сигнал. Математически процесс восстановления сигнала описывается следующим выражением:

,

где - сигнал на выходе интерполятора;

- отсчёты дискретного сигнала;

- импульсная характеристика фильтра, для интерполятора 1-ого порядка она имеет вид, представленный на рисунке 7.

h(t)

Рисунок 7 – Импульсная характеристика интерполятора 1-ого порядка

Итак, процесс восстановления заданного непрерывного сигнала по дискретному во временной области с помощью интерполятора 1-го порядка проиллюстрирован графически на рисунке 8, где последний график описывает сигнал, получившийся на выходе интерполятора.

x(0)h(t)

x(t)h(t-t)

Рисунок 8 Лист 21 - Процесс восстановления заданного непрерывного сигнала по дискретному во временной области с помощью интерполятора 1-го порядка

x(2t)h(t-2t)

x(3t)h(t-3t)

x(4t)h(t-4t)

x(5t)h(t-5t)

Рисунок 8 Лист 22 - Процесс восстановления заданного непрерывного сигнала по дискретному во временной области с помощью интерполятора 1-го порядка

x(6t)h(t-6t)

x(7t)h(t-7t)

x(-t)h(t+t)

x(-2t)h(t+2t)

Рисунок 8 Лист 23 - Процесс восстановления заданного непрерывного сигнала по дискретному во временной области с помощью интерполятора 1-го порядка

x(-3t)h(t+3t)

x(-4t)h(t+4t)

x(-5t)h(t+5t)

Рисунок 8 Лист 24 - Процесс восстановления заданного непрерывного сигнала по дискретному во временной области с помощью интерполятора 1-го порядка

x^*(t)

1

-1

Рисунок 8 Лист 25 - Процесс восстановления заданного непрерывного сигнала по дискретному во временной области с помощью интерполятора 1-го порядка

4.3 Задача № 4.67

Непрерывное сообщение u(t) квантуется с округлением с постоянным шагом u при числе уровней квантования N_y=45. Плотность распределения вероятностей сообщения W_u(U) равномерна в интервале от –U_m до U_m, т.е.