книга в верде после распозна (1024283), страница 45

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 45)

где p(Xj) — вероятность того, что было передано сообщение х.; р(х{\у^) — условная вероятность того, что при получении сообщения у. исходной его причиной была передача сообщения х-.

По теореме Байеса, вероятность совместного наступления собы­тий х, и у.

р(хг У}) = р(х;\у^р(у^ = р(у}\х{)р(х{).

С учетом этого получим другое выражение, эквивалентное (5.25): 3(xr yj) = \о%[р(у}\х.)1<р(у.)] . (5.26)

При отсутствии помех (искажений) передаче х{ всегда соответст­вует приему, ат = п. При этомр (х{) = р (yt) = Pt, р (х{\у.) = р (у{\х{)= = 1.

Тогда

ЖХГ У,) = l0g(l/P;).

Следовательно, формула (5.22) является частным случаем (5.25) и (5.26).

Среднее количество информации относительно передаваемых сооб­щений х, содержащееся в принимаемых сообщениях у, найдем, усред­нив .'/ (х.,у.) по всем возможным значениям i и/:

т п

У(х, у) = 2 2 Р(х y)j(x;,y). (5.27)

/= 1 i = 1

0

Здесь весовым коэффициентом при усреднении служит вероятность совместного наступления событий х{. у^ т. е. р(х(, yj). Проведем не­которые преобразования:

J(x, у) = 2 2 p(xv л)log Р =

= Up (Xj, ypiogp(x.\yp - 2 2 p(xf, ^y)logp(x{) = / » / «

= 2 p0;.) 2 p(vf|^)logp(xf|^) - 2p(*.)Iogp(x.) 2p0;.|x.). / i * »' /

Сумма условных вероятностей p(v,|x.) отвечает условию норми-рования,т. е.

2 р(у,|х.) = 1. /

Поэтому

.У(х, х) = 2 р(у}) VpQct\yjfls%pQct\yj) -/ »"

- £pC*f)iogpC*|). i

Введем обозначение

tffrty) = - 2 p(x.|^.)logp (х^.). (5.28)

j

Эта величина представляет собой условную (апостериорную) энт­ропию передаваемых сообщений при приеме сообщения у.. Усредне­ние ее по всем возможным значениям у. дает среднюю условную (апостериорную) энтропию

Н(х\у) = Zp(yf)HQc\y}). (5.29)

/

Величина

Н(х) = -2p(xf)logp(x.) (5.30)

г

представляет собой безусловную (априорную) энтропию передавае­мых сообщений.

278

С учетом (5-28) - (5.30) получим

J(x, у) = Н(х) -Н(х\у).

(5.31)

Это означает, что в общем случае среднее количество информации относительно объекта, содержащееся в принятом сообщении, равно уменьшению средней неопределенности состояния объекта, т. е. раз­ности безусловной и условной энтропии.

Нетрудно убедиться, что в отсутствие помех (искажений) Н(х\у) = = 0. В этом случае, как показано ранее, условные вероятности равны 1. Учитывая, что log 1 = 0, придем к тому, что правые части формул (5.28) и (5.29) обращаются в нуль. Тогда среднее количество инфор­мации равно энтропии передаваемого сообщения. В общем случае Н(х\у) есть величина дезинформации, вносимой шумами.

Аналогичные преобразования можно провести, приняв за основу выражение (5.26). При этом получим соотношение, симметричное

т. е. среднее количество информации не может быть отрицательной величиной.

Этого нельзя сказать о частном количестве информации, получа­емой в результате однократной передачи. Значение У (хе yj) может ока­заться и отрицательным: дезинформация, внесенная помехами, мо­жет превысить информацию, которую несет переданное сообщение. Это бывает, когда передано х., принято у. и при этом условная веро­ятность р (хЛу.) меньше вероятности р (х-).

Покажем, что применение двоичных логарифмов удобно при под­счете количества информации. Пусть объект имеет два возможных состояния. Тогда для передачи сообщений о состоянии объекта можно применить элементарный двухпозиционный сигнал. Если вероятнос­ти обоих состояний объекта равны между собой, т. е. р; = 1/2, то при пользовании двоичными логарифмами энтропия источника Н = 1. Этой же величине равно количество информации Cf, если в канале нет по­мех. В данном случае один элементарный сигнал несет одну двоичную единицу информации.

С помощью к элементарных двоичных сигналов можно передать сообщения об объекте, имеющем 2к возможных состояний. Если все эти состояния равновероятны, то каждое сообщение из к символов несет количество информации, равное к двоичным единицам. Этим объясняется удобство применения двоичных логарифмов.

(5.31):

J(x, у) = Н(у) - Н(у\х).

(5.32)

Доказано,что всегда справедливо неравенство

J(x, уЛ > 0,

5.33)

0

Двоичная единица информации называется битом*.

Количество информации в , непрерывных сообщениях. Рассмотрим информационные характеристики непрерывных сообщений. Если х непрерывна, она имеет бесконечное множество возможных значений. Введем для нее понятие энтропии с помощью предельного перехода.

Заменим бесконечное множество значений х некоторым числом N значений, взятых через равные интервалы:

А* = (*кон - *наЧ)/^'

гдех„ „ их.,„„ — начальное и конечное значения х. нэч кон

Для к-го значения измеряемой величины получим выражение х^ = = к Ах. Вероятность появления к-го значения находим из плотности распределения/(х) по формуле p(xk) » f(xk)Ax.

Это выражение тем точнее, чем меньше Дх. Энтропия квантованной величины х *

Я(х *) = - Zp(xk)logp (хк) «-Е Дх/(Хд.)1оё \f(xk) Ах] = * к

= -Д* 2/(xfc)log/(Xj.) - 1оёДх 2Дх/(Хд.). к к

По условию нормирования

ЕДх/(х.) = 1. к к

С учетом этого

Я(х*) * - Дх 2/(xfc) log/ex^) - IogAx. к

При Дх -»■ 0 первое слагаемое обращается в - J/(x)log/(x)dx, но

х

второе стремится к бесконечности. Таким образом, предельный пере­ход пока не позволил нам ввести понятие энтропии непрерывного со­общения. Однако при определении количества информации для слу­чая, когда сигнал искажен шумами (помехами), нужно из безуслов­ной энтропии Я(х) вычесть среднюю условную Н(х\у). В этом слу­чае при квантованиих иу получается, что энтропии соответствующих кван­тованных величин Я(х*) иЯ(х*|^*) имеют одинаковые составляю­щие — log Ах, которые при вычитаний взаимно компенсируются. Пре­дельный переход при Дх -*0 дает

0

J(x, у) = -Sf(x)logf(x)dx +

X

+ Sf(y)[Sf(x\y)loef(x\y)dx ] dy. У x

Величину

Ядиф(х> = -i" /Wlog/(x)^ (5.34)

x

назьшают априорной (безусловной) дифференциальной энтропией непрерывной величины х, а величину

Ядиф**М = -I f(y)[S fQc\y)logfQc\y)dx] dy (5.35)

У х

- апостериорной (условной) дифференциальной энтропией.

Соответственно количество информации есть разность априорной и апостериорной дифференциальных энтропии

У> = Ядиф W - Ядиф С* W • (5-36)

Аналогично можно получить выражение

У) = Ядиф О) - Ядиф Olx). (5.37)

Заметим, что дифференциальная энтропия зависит от того, в каких единицах выражена переменная. Разность энтропии не зависит от это­го, если только единицы одинаковы.

Выведем еще одно выражение для количества информации, отра­жающее симметричность этого критерия, т. е. то, что в величине у со­держится столько же информации о величине х, сколько в величине х о величине у. Как и в предыдущем случае, возьмем за основу соот­ношения, полученные для объектов с дискретными состояниями. Пре­образуем формулу (525), выражающую количество информации в одиночном сообщении при наличии помех. Умножим на p(yj) числи­тель и знаменатель дроби под знаком логарифма:

Я*; - У/) = log [Р (х{ I У,) Р (yf)/P (xt) Р О;)] =

= log [р (х{, у.)/р (х{)р 0;.)].

Подставим полученное выражение в (5.27):

У(х, у) = ЕЕр(хг., yj)\og[p(xit yj)lp(xl)p(yj)\. i i

0

Далее найденную формулу применим к непрерывным величинам х и у, подвергнув их квантованию с шагом Ах = Ау, и совершим затем предельный переход при Ах ->0. Тогда получим

Л*. У) = И (х, j/)log [f(x, ^)//(х)/(у)] rfxrfy. (5.38)

Во многих случаях принимаемую (воспроизводимую) величину у можно представить как сумму передаваемой (измеряемой) вели­чины х и некоторой помехи s:

У = х + s, (5.39)

причем помеха часто не зависит от х.

В этом случае условная дифференциальная энтропия Накф(у\х) равна безусловной энтропии помехи #ДИф(5)- Покажем это. По ана­логии с (5.35)

Ядиф01*) = - I f(x)[Sf(y\x)logf(y\x)dy] dx. (5.40)

х у

Рассмотрим выражение в квадратных скобках под интегралом в правой части (5.40). Заменим переменную j> в соответствии с (5.39). При этом dy = ds. Будем иметь в виду, что данный интеграл вычисля­ется для фиксированного значения х:

J f(y\x)log/0\x)dy = J/(x + s|x)log/Of + s\x)ds. У s

Если значение x фиксировано, то условная вероятность обращает­ся в безусловную, т. е. /(х + s\х) = /(s). Следовательно,

//(х + s|x)log/(x + s|x)cfe = J/(s)log/(s)tfc = - Ядиф(5). s s

Тогда

"пщЫх) =H (s)Sf(x)dx.

X

Интеграл в правой части последнего выражения равен 1, поэтому

'WW*) =*WS)- (5-41)

Формулу (5.37) с учетом (5.41) приведем для рассматриваемого случая к виду

•нх-у) ="д„Фоо - w>- (5-42)

0

Предполагаем, что при вычислении обеих энтропии — принимаемо­го сигнала и помехи — величины у к s выражаются в одинаковых еди­ницах.

Если измеряемая величина х и помеха s имеют нормальные распре­деления, то их сумма также имеет нормальное распределение. Диф­ференциальная энтропия нормально распределенной величины х, вы­численная по (5.34),

Ядиф(х) = (l/2)iog[2jreD(x)],

где D(x) — дисперсия величины х. Соответственно

Ядиф^) = (l/2)log [2veD(y)] = (1/2) log { 2тге [D(x) + D(s)] } ; Ядиф(5) = (l/2)log[2weD(e)]. Подставив зти выражения в (5.42), получим .Чх, у) = (l/2)iog[Z>(x) + D(s)/D(s)] =

= (l/2)log[Z)(x)/Z)(S) + 1]. (5.43)

Как известно, дисперсия сигнала пропорциональна его средней мощ­ности, которую обозначим Рх. Среднюю мощность помехи обозначим Pg. Тогда

Лх, у) = (l/2)log(Px/Ps + 1). (5.44)

Напомним, что зта формула справедлива для случая, когда помеха^ является аддитивной и не зависит от сигнала, а законы их распределе­ния — нормальные.

До сих пор не учитывалось, что х есть функция времени, между тем рассматривалась передача отдельных сообщений о значениях не­которой непрерывной величины х. При этом величина J (х, у) трак­товалась как среднее количество информации, содержащееся в одном принятом значении у. Подразумевалось, что усреднение проводится по множеству всех возможных значений х и у с учетом законов рас­пределения каждой из величин отдельно и обеих вместе.

Теперь перейдем к рассмотрению передачи случайной функции вре­мени х (/) по каналу, в котором действует случайный шум s (t). Пусть частотный спектр процесса х(?) ограничен частотой / . Согласно тео­реме Котельникова (см. § 5.2) указанный процесс х(г) полностью определяется последовательностью ординат, взятых с интервалом Т = = 1/2/гр-

0

В среднем передача значения одной ординаты приносит получате­лю информацию, равную ,7 (х, у). Это происходит каждые Т секунд. Значит, в единицу времени передается в среднем количество инфор­мации

С = .У(х, у)/Т = 2/грCf(x, у). (5.45)

Величина С называется средней скоростью передачи информации. При независимом аддитивном шуме s(t) и нормальных распреде­лениях х и s средняя скорость передачи информации

С = fTp^g(PxIPs + 1). (5.46)

Связь между информационными и точностными характеристиками.

Информационные Критерии применимы не только к системам переда­чи информации, но и к измерительным приборам и системам. Погреш­ность Д есть помеха, вносящая дезинформацию. При аддитивной неза­висимой погрешности Д справедливо соотношение, аналогичное (5.42):

№ У) =#„Иф00 -"яиф(Д). (5-47)

где У (х, у) — среднее количество информации, получаемое при од­ном измерении величины х; #ДИф0О и Ядиф(Д) — дифференциаль­ные энтропии воспроизводимой величины и погрешности.

Если к тому же измеряемая величина х и погрешность Д имеют нор­мальные распределения, то количество информации можно выразить через дисперсии этих величин по аналогии с (5.43) :

3{х, у) = - log [В ДО (Д) + 1]. (5.48)

2

Рассматривая измеряемую величину как случайную функцию вре­мени, можем определить среднюю скорость получения информации при измерении по (5.45). Если при этомх и Д — взаимно независимые величины с нормальными распределениями, то

С = /rplog [D (x)/D (Д ) + 1]. (5.49)

Б.4. ОБРАБОТКА ИНФОРМАЦИИ В ИИС

Рассмотрим виды обработки информации, встречающиеся в ИИС разных назначения и сложности

Нормализация диапазонов сигналов датчиков. Этот вид обработки необходим в связи с тем, что в большинстве многоканальных ИИС используются общие блоки и узлы (например, аналого-цифровой пре-284 образователь), рассчитанные на один общий диапазон входных сиг­налов. В то же время датчики имеют выходные сигналы, различающие­ся не только по диапазонам, но в ряде случаев и по видам носителей и модулируемых параметров этих носителей. Об этом свидетельству­ют материалы гл. 4.

Приведение всех указанных сигналов к сигналу одного вида и диа­пазона выполняется обычно отдельными схемами или блоками. Су­ществуют элементы нормализации либо индивидуальные для каждо­го канала измерения, либо групповые, обрабатывающие поочередно сигналы от нескольких датчиков одного типа. Групповые блоки нор­мализации имеют на входе переключатель (коммутатор), поочеред­но подключающий источники сигналов. Примеры элементов нормали­зации приводятся в следующем параграфе.

Преобразование аналоговых сигналов в цифровые и обратно. Пер­вый из этих видов обработки нужен по ряду причин:

Характеристики

Список файлов книги