РАДИОТЕХНИЧЕСКИЕ СИСТЕМЫ ИЗВЛЕЧЕНИЯ, ОБРАБОТКИ И ПЕРЕДАЧИ ИНФОРМАЦИИ (1087875), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

2. Количество и характер Используемой информации

2.1. Количественная оценка информации

Информация передается в виде сообщений, выраженных в виде закодированных букв или цифр, [2]. Сообщение, предназначен-ное для передачи в удаленный пункт, называется сигналом. Сиг-налы могут быть электрическими, электромагнитными, звуковы-ми, ультразвуковыми, оптическими. Сигналы могут быть диск-ретные и непрерывные. На рис.2.5. изобразим сообщение, переданное дискретными сигналами. По оси абсцисс будем откладывать номера элементов сообщения, а по оси ординат – состояния элементов сообщения т.е. значение какого-нибудь параметра сообщения, например, амплитуды сигнала при амплитудно-импульсной модуляции (АИМ).

Назовем полное число состояний, которое может принимать какой-либо параметр, несущий информацию, «алфавитом», а отдельное состояние «буквой». Тогда определенный набор состояний – элементов сообщения –«букв» образует «слово» – сообщение.

На рис.2.6; а,б,в,г,д приведено одно сообщение, состоящее из трех элементов (n=3). Сообщение представлено импульсами с различной модуляцией. Каждый из трех элементов сообщения может принимать одно из шести значений. Состояния элементов

сообщения определяются различным образом при различной модуляции. Например, при амплитудно-импульсной модуляции (АИМ) рис.2.6,б состояние определяется величиной амплитуды. В случае широтно-импульсной модуляции (ШИМ) рис. 2.6,в изменяется длительность импульсов, при время-импульсной модуляции (ВИМ) рис.2.6,г изменяется задержка импульса относительно фиксированного момента времени, при кодово-импульсной модуляции (КИМ) 2.6,д изменяется комбинация импульсных посылок (сигналов).

Назовем полученные на рис.2.5,2.6 диаграммы диаграммами состояний элементов сообщения или просто диаграммами состояний.

Рис.2.5. Диаграмма состояний элементов сообщения

В приведенном примере сообщение – «слово» состоит из трех элементов «букв» , заданных с помощью алфавита из шести «букв» . В общем случае «слово» состоит из n символов, заданных

алфавитом из m «букв». (Аналогично в любом языке слово состоит из нескольких букв, которые входят в алфавит из нескольких десятков букв).

Количество различных сообщений - «слов» – L, которые можно составить из n элементов, принимающих любое из m

различных состояний «букв» равно числу

L= mⁿ. (2.1)

Чем больше L, тем сильнее отличается каждое данное сообщение от остальных. Поэтому величина L при равновероятных состояниях сообщений может быть принята за меру количества информации, содержащегося в сообщении. Однако, более целесообразно за меру информации принять величину

I=logL. (2.2)

Действительно, если передается одно состояние, количество информации равно нулю (I=0) т.е. информация отсутствует. Этот

Рис.2.6. Представление сообщения сигналами с различными видами модуляции

результат можно получить и из формулы (2.2). Если передается сообщение из n элементов, принимающих любое из m различных состояний, то подставляя L= mⁿ под логарифм, получим

I=n·logm. (2.3)

Количество информации из сообщений, полученных от различных источников, равно сумме информаций от этих источников. Действительно, число состояний от k различных источников равно общему числу возможных состояний

, (2.4)

следовательно, количество информации

(2.5)

Используют понятие количества информации, приходящегося на один элемент сообщения, называемое энтропией сообщения

(2.6)

В качестве основания логорифма можно брать различные числа: 10, е или 2. В последнем случае количество информации измеряется в битах. . Таким образом, бит есть единица информации (сообщение о сигнале 0 или 1).

Приходящие сообщения можно идентифицировать с определенной вероятностью. В двоичной системе всего два сигнала, появление которых равновероятно. При равной вероятности появления событий 0 и 1 имеем: Р(0) = Р(1) = 0,5.

На практике состояния элементов сообщений чаще всего имеют разную вероятность. Рассмотрим вопрос о количестве информации в этом случае.

Рассмотрим сообщения, состоящие из n элементов, каждый из которых является независимым и может принимать любое из

m состояний c вероятностями

соответственно.

Пусть для некоторого одиночного сообщения число элементов, принявших состояние x₁, равно n₁, число элементов, принявших состояние x₂ равно n₂ и т.д. Такое) сообщение может быть представлено таблицей 2.1. Общее число элементов сообщения равно

. (2.7)

Таблица 2.1

Состояние элементов	x1	x2	……		…….
Вероятности состояний			……		…….
Число элементов сообщения	n1	n2	…….	nk	…….	nm

Вероятность для одного элемента принять состояния равна отношению = n_k /n. Вероятность того, что n_k элементов примут состояние равна . Выше мы получили

= n_k/n и n_k= n , поэтому

= , (2.8)

и вероятность всех m состояний сообщения равна

. (2.9)

Полученная формула описывает среднюю вероятность одного сообщения. Следующее сообщение такого же типа (для той же системы и тех же параметров при наборе статистики) будет также описываться соотношением (2.9) и т.д. Объединяя все данные по всем однотипным сообщениям, и, сохраняя прежнее обозначение m для полного числа состояний, по формуле (2.9) получим среднюю вероятность одного сообщения. Поскольку полная вероятность всех сообщений равна единице, найдем, что число сообщений будет равно

L= =1/ . (2.10)

Cледовательно, среднее количество информации в одном сообщении равно , поделив это выражение на число элементов, получим выражение для средней энтропии сообщений

= – = – = . (2.11)

Оценим количество информации в одном бите, содержащееся в единичном сообщении о наступлении одного из - - х событий : Событие (0 или 1) обозначается

=p(0)log(1/p(0))+p(1)log(1/p(1))

или

При равновероятных событиях получаем 1 бит информации при одном событии.

Последовательная передача событий даёт , а

при =1 имеем (чем больше длина “ слова ”, тем больше элементов сообщения – «букв» - n).

2.2. Представление непрерывных функций в цифровом виде

Для оцифровки непрерывных сигналов проводят дискретизацию (квантование) т.е. составление дискретного массива значений функции в определенные моменты времени (рис.2.7). Отсчёты по времени берутся через интервалы, определяемые теоремой В.А.Котельникова [1]:

t=_s=1/(2f_sв) , (2.12)

где - наибольшая частота спектра сообщений.

Иногда за _s берут интервал корреляции случайного процесса.

Рис. 2.7. Выбор интервала дискретизации (квантования)

по времени

В общем случае можно оценить информацию одного значения радиосигнала S(t) как меру неопределённости его появления в определенном интервале значений: ,

где - область возможных равновероятных значений S,

- дискрет - минимальный шаг изменения значений S.

Информация о реализации случайной функции S(t) за время t оценивается по формуле

I=n·logm,

где n= , а m= ; следовательно, имеем

(2.13)

Скорость получения информации будет равна:

, (2.14)

Большую информацию в жизни и радиотехнике несут звуковые (речевые и музыкальные) сигналы с частотами до 25 кГц. Еще большую информацию несёт телевизионный сигнал.

2.2.1. Описание цифровых сообщений

При цифровой передаче, сообщение выражается случайной последовательностью дискретных значений, отсчитываемых в дискретные моменты времени. Используются следующие обозначения:

- число дискретных сообщений,

- вероятность их появлений,

m - число различных символов а (алфавит),

n - число символов в комбинации (кодовом слове), отображающей возможное количество дискретных значений .

- скорость передачи символов,

- длительность отображения сигнала,

- ширина спектра дискретного сигнала.

2.3. Вероятностное описание процесса сообщения

Непрерывное сообщение – функцию можно описать многомерной плотностью распределения вероятности

Однако обычно для описания достаточно одномерно-го распределения плотности вероятности , которая харак-теризует отклонение значений функции от среднего.

В радиотехнике используются сигналы с колебанием напряжения или тока около нулевого значения (среднее значение равно 0), которые называют стационарными, случайными процессами. Для их описания используют статистические характеристики, корреляционную и спектральную функции.

2.3.1. Статистические параметры и характеристики стационарного процесса

Обычно используют следующие усредненные параметры:

(2.15)

Характеристики

Список файлов книги