rts_lek (1087876), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

где Н – энтропия.

Неопределенность, приходящаяся на одно сообщение называется энтропией.

В качестве основания логорифма можно брать различные числа: 10, е или 2. В последнем случае количество информации измеряется в битах. . Таким образом, бит есть единица информации (сообщение о сигнале 0 или 1).

Для наглядного обоснования формулы (2.2) предположим, что передаче подлежат сведения о некотором сигнале, который составляет сложное сообщение, состоящее из двух частных, [3]. Первое частное сообщение об амплитуде сигналов из четырех возможных равновероятных сообщений, представленной следующими кодами: 00 – малая амплитуда, 01- средняя амплитуда, 10 –большая амплитуда, 11- весьма большая амплитуда. Второе частное сообщение состоит в возможности изменения знака сигнала, код которого – символ в младшем разряде. Таким образом, получается восемь равновероятных сообщений с кодами:

положительный сигнал отрицательный сигнал

малая амплитуда 000 001

средняя амплитуда 010 011

большая амплитуда 100 101

весьма большая амплитуда 110 111

Если за меру неопределенности принять сумму равновероятных сообщений, то получим 8, однако, первое частное сообщение может быть реализовано четырьмя способами, а второе частное сообщение (выбор знака) только двумя способами. Следовательно, число равновероятных сообщений равно 6 и аддитивность неопределенности не выполняется.

Поэтому за меру неопределенности выбирают логарифм числа равновероятных сообщений в соответствии с формулой (2.2).

С помощью этой формулы найдем

Приходящие сообщения можно идентифицировать с определенной вероятностью. В двоичной системе всего два сигнала, появление которых равновероятно. При равной вероятности появления событий 0 и 1 имеем: р(0) = р(1) = 0,5.

На практике состояния элементов сообщений чаще всего имеют разную вероятность. Рассмотрим вопрос о количестве информации в этом случае. Рассмотрим задачу расчета неопределенности в случае наличия неравновероятных сообщений. Для наглядности приведен рис.2.7, на котором изображены четырех равновероятных –а, шести неравновероятных –б и шести равновероятных сообщений - в.

Рис.2.7. Влияние вероятностей сообщений на неопределенность

Легко видеть, что ситуация а и ситуация б мало отличаются друг от друга, хотя число сообщений в них разное (4 и 6), в то время, как вторая и третья ситуации сильно разнятся несмотря на то, что число сообщений в них одно и то же, равное 6. Таким образом, неопределенность ситуации сильно зависит от от вероятностей сообщений.

Рассмотрим неопределенность в случае сообщений с разной вероятностью. Общую неопределенность будем вычислять с учетом вклада, вносимого каждым отдельным сообщением, определяемого вероятностью этого сообщения.

Для i-того сообщения (при i равновероятных сообщениях) неопределенность выбора за счет этого сообщения равна –logp_i где p_i – его вероятность. Однако, это сообщение представляет

p_i - ю часть всех возможных сообщений, поэтому неопределен-ность за счет этого сообщения равняется –p_ilogp_i. Просуммиро-вав эти частные неопределенности по всем возможным сообще-ниям, получаем меру неопределенности выбора одного из нерав-новероятных сообщений

. (2.4)

Эта величина называется энтропией дискретных сообщений.

В случае равновероятных сообщений

=p=1/ N (2.5)

и

H =– log p= –log(1/N)= logN. (2.6)

В этом случае энтропия максимальна.

Оценим с помощью формулы (2.4) неопределенность, содержащуюся в единичном сообщении о наступлении одного из - - х событий: событие (0 или 1) обозначается

=p(0)log(1/p(0))+p(1)log(1/p(1))

или

.

При достоверном событии появления 0 или 1 вероятность того или иного события обращается в 1 и неопределенность бу-дет равна нулю.

Пусть непрерывно изменяющаяся величина s характеризу-ется плотностью вероятности W(s) тогда вероятность попадания ее в интервал равна W(s) . Разобьем весь интервал от s

до на равные участки равные и найдем энтропию полу-ченной совокупности значений величины s в виде

. (2.7)

Представим логарифм произведения в виде суммы логарифмов

. (2.8)

При стремлении к нулю суммы переходят в интегралы, при-чем второй интеграл равен единице (как сумма вероятностей всех сообщений). Устремлять к нулю под логарифмом нельзя, так как шумы и помехи всегда ограничивают число различимых уровней сигналов, поэтому при заданном уровне шумов может быть задан как некоторая постоянная величина

.

Таким образом, энтропию можно записать в виде

, (2.9)

где интегрирование производится по всем значениям s.

Основным свойством энтропии является ее величина (в том числе максимальная) и ее изменение. Максимальной энтропией обладают следующие распределения плотностей вероятности случайных величин:

- равномерное распределение при ограниченной сверху и снизу величины,

- экспоненциальное распределение, когда положительная величина ограничена только с одной стороны и определено ее среднее значение (например, распределение мощности шумов или случайных временных интервалов),

- нормальное, или гауссовское распределение, если сама ве-личина не ограничена ни сверху, ни снизу, но определен средний квадрат (мощность) ее флюктуаций, например, распределение напряжения шума.

Уменьшение энтропии (уменьшение неопределенности) соответствует появлению информации. Рассмотрим это утверждение на примере приема радиолокационных сигналов в виде непрерывно изменяющегося напряжения. Неопределенность

ситуации до приема сигнала полностью определяется априорным распределением W(s). После того, как сигнал s был передан т.е.

отразился от цели, получатель принимает сигнал x, который явля-ется суммой отраженного сигнала s и шума. Неопределенность ситуации относительно s после приема сигнала полностью опре-деляется апостериорным распределением плотности вероятности W_x(s), согласно соотношению

, (2.10)

где W_x(s)- плотность вероятности того, что было послано сообще-ние s при условии, что принято cообщение x. При отсутствии шумов и помех каждому принятому x соответствовало бы вполне определенное s и апостериорная неопределенность отсутствова-ла.

Из-за наличия помех неопределенность остается, но стано-вится меньше.

Уменьшение неопределенности, или энтропии, после приема сигнала равное

(2.11)

есть количество информации, принятой получателем.

Количество информации измеряется в тех же величинах, что и энтропия.

Обычно берут логарифм от по основанию 2 и за единицу информации принимают выбор одного из двух равновероятных сообщений: один бит. Таким образом, информация измеряется в битах.

Прием сигнала состоит в получении апостериорного распределения плотности вероятности W_x(s), которое определяет второй член в формуле (2.11) в то время, как первый член считается известным получателю до приема.

Отметим два обстоятельства:

– несмотря на то, что энтропия (неопределенность) определяется с точностью до произвольной постоянной (см. (2.9)), сама информация не содержит постоянной С, так как в соотношении (2.11) она уничтожается;

– понятие информации, введенное выше, отличается от информации, понимаемой в обыденной жизни; принимаемое количество информации определяется вероятностями сообщений, но не содержанием сообщений: информация может быть бессмысленной (закодированной), но принятой с определенной вероятностью; (вероятности обнаружения и ложных тревог будут рассмотрены ниже).

2.2. Представление непрерывных функций в цифровом виде

Для оцифровки непрерывных сигналов проводят дискретизацию (квантование) т.е. составление дискретного массива значений функции в определенные моменты времени (рис.2.7). Отсчёты по времени берутся через интервалы, определяемые теоремой В.А.Котельникова [1]:

t=_s=1/(2f_sв) , (2.12)

где - наибольшая частота спектра сообщений.

Для случайного процесса в качестве _s берут интервал корреляции.

Рис. 2.7. Выбор интервала дискретизации (квантования)

по времени

В общем случае можно оценить меру неопределённости одного значения радиосигнала S(t) как логарифм частоты его появления в определенном интервале значений:

,

где - область возможных равновероятных значений S,

- дискрет - минимальный шаг изменения значений S. Будем считать все значения сигнала равновероятными и достоверно принятыми.

Тогда информация о реализации функции S(t) за время t оценивается по формуле

I=n·logm,

где n= , а m= ; следовательно, имеем

(2.13)

Скорость получения информации будет равна:

, (2.14)

Большую информацию в жизни и радиотехнике несут звуковые (речевые и музыкальные) сигналы с частотами до 25 кГц. Еще большую информацию несёт телевизионный сигнал.

Чем больше L, тем сильнее отличается каждое данное сообщение от остальных. Поэтому величина L при равновероятных состояниях сообщений может быть принята за меру количества информации, содержащегося в сообщении. Однако, более целесообразно за меру информации принять величину

I=logL. (2.2)

Действительно, если передается одно состояние, количество информации равно нулю (I=0) т.е. информация отсутствует. Этот результат можно получить и из формулы (2.2). Если передается сообщение из n элементов, принимающих любое из m различных состояний, то подставляя L= mⁿ под логарифм, получим

I=n·logm. (2.3)

Количество информации из сообщений, полученных от различных источников, равно сумме информаций от этих источников. Действительно, число состояний от k различных источников равно общему числу возможных состояний

, (2.4)

следовательно, количество информации

(2.5)

Характеристики

Список файлов лекций