135795 (722636), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

В реальных источниках сообщений выбор элементарного сообщения является для потребителя случайным событием и происходит с некоторой априорной вероятностью P(x_k). Очевидно, что количество информации, содержащееся в сообщениях x_K, должно являться некоторой функцией этой вероятности

(5.1.1)

Функция при этом удовлетворять требованию аддитивности, согласно которому n одинаковых сообщений должны содержать в n раз большее количество информации. Для измерения количества информации принято использовать логарифмическую функцию, практически наиболее удобную и отвечающую требованию аддитивности.

(5.1.2.)

Таким образом, определение количества информации в элементарном сообщении x_K сводится к вычислению логарифма вероятности появления (выбора) этого сообщения.

В технике связи наиболее часто используются двоичные коды. В этом случае за единицу информации удобно принять количество информации, содержащееся в сообщении, вероятность выбора которого равна . Эта единица информации называется двоичной или битом.

В некоторых случаях более удобным является натуральный логарифм. Одна натуральная единица соответствует количеству информации, которое содержится в сообщении с вероятностью выбора .

Из формулы следует, что сообщение содержит тем большее количество информации, чем меньше вероятность его появления.

Энтропия источника сообщений.

В теории связи основное значение имеет не количество информации, содержащееся в отдельном сообщении, а среднее количество информации, создаваемое источником сообщений. Среднее значение (математическое ожидание) количества информации, приходящееся на одно элементарное сообщение, называется энтропией источника сообщений.

(5.2.1.)

Как видно из формулы, энтропия источника определяется распределением вероятностей выбора элементарных сообщений из общей совокупности. Обычно отмечают, что энтропия характеризует источник с точки зрения неопределенности выбора того или иного сообщения. Энтропия всегда величина вещественная, ограниченная и неотрицательная: H(x)>0.

Найдем энтропию источника сообщений:

m-объем алфавита дискретного источника = 2;

вероятность приема “1” (Р(1)) = 0,9;

вероятность приема “0” (Р(0)) = 0,1.

Для вычисления энтропии воспользуемся формулой .

Производительность источника сообщений.

Отдельные элементы сообщения на входе источника появляются через некоторые интервалы времени, что позволяет говорить о длительности элементов сообщения и, следовательно, о производительности источника сообщений. Если средняя длительность одного элемента сообщения равна , то производительность источника, равная среднему количеству информации, передаваемой в единицу времени, определяется выражением:

; (5.3.1.)

воспользуемся данной формулой для вычисления производительности источника.

;

5.1. Статистическое кодирование элементов сообщения

Осуществим статистическое кодирование трехбуквенных комбинаций, состоящих из элементов двоичного кода 1 и 0: 000,001,010,011,100,101,110,111. Для кодирования воспользуемся алгоритмом неравномерного кодирования Хаффмана. Для этого вычислим вероятности этих комбинаций и расположим их в порядке убывания вероятностей.

Символы	Z1	Z2	Z3	Z4	Z5	Z6	Z7	Z8
Кодовые комбинации	111	110	101	011	100	010	001	000
Вероятности	0,729	0,081	0,081	0,081	0,009	0,009	0,009	0,001

Составим сводную таблицу ветвления кодовых комбинаций.

Табл.1.

Символ и нач. вероятность		1	2	3	4	5	6	7
Z 1	0.729	0.729	0.729	0.729	0.729	0.729	0.729	1
Z 2	0.081	0.081	0.081	0.081	0.109	0.162	0.271
Z 3	0.081	0.081	0.081	0.081	0.081	0.109
Z4	0.081	0.081	0.081	0.081	0.081
Z 5	0.009	0.01	0.018	0.028
Z 6	0.009	0.009	0.01
Z 7	0.009	0.009
Z8	0.001

Согласно таблице 1 составляем граф кодового дерева, из точки с вероятностью 1 направляем две ветви с большей вероятностью – влево, с меньшей – вправо. Такое ветвление продолжаем до тех пор, пока не дойдем до вероятности р каждой буквы.

Составим граф кодового дерева.

Рис. 7

На основании графа кодового дерева выписываем кодовые комбинации.

Определяем среднюю длину полученных кодовых комбинаций:

Полученные комбинации кода фактически содержат информацию о трех элементах сигнала, поэтому разделив на 3 получим среднюю длину новых комбинаций в расчете на одну букву первоначального двоичного кода.

в результате получили среднюю скорость, меньше . Это и есть эффект статистического кодирования.

Найдем производительность источника после кодирования.

это позволило получить выигрыш производительности источника 0,533 раза.

5.2. Пропускная способность канала связи.

Характеристики системы связи в значительной мере зависят от параметров канала вязи, который используется для передачи сообщений. Исследуя пропускную способность канала мы предполагали, что их параметры сохраняются постоянными. Однако большинство реальных каналов обладают переменными параметрами. Параметры канала, как правило изменяются во времени случайным образом. Случайные изменения коэффициента передачи канала вызывают замирания сигнала, что эквивалентно воздействию мультипликативной помехи

Однородный симметричный канал связи полностью определяется алфавитом передаваемого сообщения, скоростью передачи элементов сообщения и вероятностью ошибочного приема элемента сообщения р (вероятностью ошибки).

Пропускная способность канала будет вычисляться по формуле:

(5.2.)

в частном случае для двоичного канала (m=2) получим формулу:

, где р =0,003, =15 10^-6

Сравнивая пропускную способность канала связи и производительность источника (после оптимального кодирования) можем сделать вывод, что условие К.Шеннона выполняется, т.е. производительность источника меньше пропускной способности канала, что позволит нам передавать информацию по данному каналу связи. Для некодированного источника это условие выполняется также, т.к. производительность некодированного источника меньше производительности оптимально закодированного источника.

6. Помехоустойчивое кодирование.

При передаче цифровых данных по каналу с шумом всегда существует вероятность того, что принятые данные будут содержать некоторый уровень частоты появления ошибок. Получатель как правило устанавливает некоторый уровень частоты появления ошибок, при превышении которого принятые данные использовать нельзя. Если частота ошибок в принимаемых данных превышает допустимый уровень, то можно использовать кодирование с исправлением ошибок., которое позволяет уменьшить частоту ошибок до приемлемой.

Кодирование с обнаружением и исправлением ошибок как правило связано с понятием избыточности кода, что приводит в конечном итоге к снижению скорости передачи информационного потока по тракту связи. Избыточность заключается в том, что цифровые сообщения содержат дополнительные символы, обеспечивающие индивидуальность каждого кодового слова. Вторым свойством связанным с помехоустойчивым кодированием является усреднение шума. Этот эффект заключается в том, что избыточные символы зависят от нескольких информационных символов.

При увеличении длинны кодового блока (т.е. количества избыточных символов) доля ошибочных символов в блоке стремиться к средней частоте ошибок в канале. Обрабатывая символы блоками, а не одного за другим можно добиться снижения общей частоты ошибок и при фиксированной вероятности ошибки блока долю ошибок, которые нужно исправлять.

Все известные в настоящее время коды могут быть разделены на две большие группы: блочные и непрерывные. Блочные коды характеризуются тем, что последовательность передаваемых символов разделена на блоки. Операции кодирования и декодирования в каждом блоке производится отдельно. Непрерывные коды характеризуются тем, что первичная последовательность символов, несущих информацию, непрерывно преобразуется по определенному закону в другую последовательность, содержащую избыточное число символов. При этом процессы кодирования и декодирования не требует деления кодовых символов на блоки.

Разновидностями как блочных, так и непрерывных кодов являются разделимые ( с возможностью выделения информационных и контрольных символов) и неразделимые коды. Наиболее многочисленным классом разделимых кодов составляют линейные коды. Их особенность состоит в том, что контрольные символы образуются как линейные комбинации информационных символов.

6.1. Принцип обнаружения и исправления ошибок.

Характеристики

Список файлов реферата