evtiheeva_n_n__izmerenie_yelektricheskih _i_neyelektricheskih (1024282), страница 67
Текст из файла (страница 67)
разности безусловной и у с л о в н о й энтропии.Н е т р у д н о у б е д и т ь с я , чтов отсутствиепомех(искажений)Н(х\у)== 0. В этом случае, к а к показано ранее, условные вероятности р а в н ы1. У ч и т ы в а я , что l o g 1(5.28)имации(5.29)равно= 0, п р и д е м к т о м у , ч т о п р а в ы е ч а с т и ф о р м у ло б р а щ а ю т с я в н у л ь . Т о г д а с р е д н е е к о л и ч е с т в о инфорэнтропиипередаваемогосообщения.Вобщемслучаеесть в е л и ч и н а д е з и н ф о р м а ц и и , в н о с и м о й ш у м а м и .Н(х\у)Аналогичныевыражение(5.31):J(x,у)преобразования(5.26).=ПриН(у)-можноэтомпровести,получимпринявсоотношение,заосновусимметричноеН(у\х).(5.32)Д о к а з а н о , ч т о всегда справедливо неравенствоJ(x, уЛт.>0,5.33)е.
среднее количествоинформации неможетбытьотрицательнойвеличиной.Этогоемой взатьсяжетнельзясказатьочастномколичествеиотрицательным:превыситьдезинформация,информацию,которуюменьше вероятностиПокажем, чтоинформации.получам о ж е т окапомехами,переданноемосообщение.и при э т о м у с л о в н а я верор (х-).применение двоичныхколичестваУ (хе yj)внесеннаянесетЭто б ы в а е т , к о г д а п е р е д а н о х., п р и н я т о у.я т н о с т ь р (хЛу.)счетеинформации,результате о д н о к р а т н о й передачи.
ЗначениеПустьлогарифмовобъектимеету д о б н о п р и поддвавозможныхс о с т о я н и я . Тогда д л я передачи с о о б щ е н и й о с о с т о я н и и о б ъ е к т а м о ж н оприменитьэлементарныйдвухпозиционныйсигнал.Есливероятност и о б о и х с о с т о я н и й о б ъ е к т а р а в н ы м е ж д у с о б о й , т . е . р ; = 1/2, т о прип о л ь з о в а н и и д в о и ч н ы м и л о г а р и ф м а м и э н т р о п и я и с т о ч н и к а Н = 1.
Э т о йже в е л и ч и н е р а в н о к о л и ч е с т в о и н ф о р м а ц и имех.Cf,е с л и в к а н а л е н е т поВ д а н н о м с л у ч а е о д и н э л е м е н т а р н ы й с и г н а л несет о д н у д в о и ч н у юединицу и н ф о р м а ц и и .Спомощьюсообщенияэти состояниянесеткэлементарныхдвоичныхоб объекте, имеющемравновероятны, токоличествоинформации,2ксигналовможнопередатьв о з м о ж н ы х состояний.
Если всекаждоеравноексообщение издвоичнымксимволовединицам.Этимобъясняется удобство применения двоичных л о г а р и ф м о в .279Двоичнаяединицаинформацииназываетсябитом*.Количество информации в , непрерывных сообщениях. Рассмотриминформационные характеристики непрерывных сообщений. Если хнепрерывна, она имеет бесконечное м н о ж е с т в о в о з м о ж н ы х значений.Введем д л я нее понятие энтропии с п о м о щ ь ю предельного перехода.З а м е н и м бесконечное м н о ж е с т в о значенийN значений, в з я т ы х через р а в н ы е и н т е р в а л ы :А*=(*конхнекоторымчислом- *наЧ)/^'г д е х „ „ и х . , „ „ — начальное и к о н е ч н о е значения х.нэчконД л я к-го з н а ч е н и я и з м е р я е м о й в е л и ч и н ы п о л у ч и м в ы р а ж е н и е х ^ ==Вероятностьк Ах.распределения/(х)появленияк-гопо ф о р м у л езначенияp(xk)»находимизплотностиf(xk)Ax.Это в ы р а ж е н и е т е м т о ч н е е , ч е м м е н ь ш е Д х .
Э н т р о п и я к в а н т о в а н н о йвеличины х *Я(х=*)=2/(xfc)log/(Xj.)к- Д *« - Е Д х / ( Х д . ) 1 о ё \f(xk) Ах]к- Zp(xk)logp (хк)*- 1оёДх=2Дх/(Хд.).кПо условию нормированияЕ Д х / ( х . ) = 1.ккС учетом этогоЯ(х*)ПриДх- Дх 2/(xfc)к*log/ex^)-IogAx.-»• 0 п е р в о е с л а г а е м о е о б р а щ а е т с я в- J / ( x ) l o g / ( x ) d x , нохв т о р о е с т р е м и т с я к б е с к о н е ч н о с т и . Т а к и м о б р а з о м , п р е д е л ь н ы й перех о д п о к а н е п о з в о л и л н а м в в е с т и п о н я т и е э н т р о п и и н е п р е р ы в н о г о сообщения.Однакочая,когданойэнтропииприопределениисигнал искажен ш у м а м иЯ(х)вычестьколичестваинформациид л я слу( п о м е х а м и ) , н у ж н о и з безусловсреднююу с л о в н у ю Н(х\у).Вэ т о м случае при к в а н т о в а н и и х и у п о л у ч а е т с я , ч т о э н т р о п и и с о о т в е т с т в у ю щ и х квантованных величинщие— log Ах,Я(х*)иЯ(х*|^*)имеют о д и н а к о в ы е составляюк о т о р ы е при в ы ч и т а н и й в з а и м н о к о м п е н с и р у ю т с я .
Пред е л ь н ы й п е р е х о д при Д х - * 0 д а е т* Binary digit - двоичная единица, bit - соединение начала первого слова иконца второго.280J(x,у)=-Sf(x)logf(x)dx+XSf(y)[Sf(x\y)loef(x\y)dx+У]dy.xВеличинуЯхдиф( >назьшают=-i" / W l o g / ( x ) ^xаприорной(безусловной)непрерывной величины х, аЯдиф**М=(5.34)дифференциальнойэнтропиейвеличину(5.35)-I f(y)[S fQc\y)logfQc\y)dx] dyУх- апостериорной (условной) дифференциальной энтропией.С о о т в е т с т в е н н о к о л и ч е с т в о и н ф о р м а ц и и естьи апостериорной дифференциальных энтропииУ>= Ядиф W-Яразностьаприорнойд и ф С* W •(5-36)А н а л о г и ч н о м о ж н о получить в ы р а ж е н и еУ) =Яд и ф О)- Ядиф Olx).(5.37)Заметим, что дифференциальная энтропия зависит от т о г о , в к а к и хединицахв ы р а ж е н а п е р е м е н н а я .
Р а з н о с т ь э н т р о п и и н е з а в и с и т о т этог о , если т о л ь к о единицы о д и н а к о в ы .Выведемеще одновыражение дляколичестваи н ф о р м а ц и и , отраж а ю щ е е с и м м е т р и ч н о с т ь э т о г о к р и т е р и я , т. е. т о , ч т о в в е л и ч и н е у содержитсястолько же и н ф о р м а ц и и о величине х, с к о л ь к ов величинех о в е л и ч и н е у. К а к и в п р е д ы д у щ е м с л у ч а е , в о з ь м е м за о с н о в у соотн о ш е н и я , п о л у ч е н н ы е д л я о б ъ е к т о в с д и с к р е т н ы м и с о с т о я н и я м и . Преобразуемформулуодиночном(525),сообщениивыражающуюприколичествоналичии помех.информации вУ м н о ж и м н а p(yj)числитель и з н а м е н а т е л ь д р о б и п о д з н а к о м л о г а р и ф м а :Я * ; - У/) = l o g [Р (Х{ I У,) Р (yf)/P (XT) Р О ; ) ]=log [р (х{,=у.)/р (х{)р 0 ; . ) ] .Подставим полученное выражение в ( 5 .
2 7 ) :У(х,у)=ЕЕр(хг.,i iyj)\og[p(xityj)lp(xl)p(yj)\.281Далее найденную ф о р м у л у применим к непрерывным величинам х иу,подвергнувихквантованиюсш а г о м Ах= Ау,и совершим затемпредельный переход при Ах ->0. Тогда получимЛ*.= И (х, j/)log [f(x, ^ ) / / ( х ) / ( у ) ]У)rfxrfy.(5.38)Во многих случаяхпринимаемую(воспроизводимую)величинуу м о ж н о п р е д с т а в и т ь к а к с у м м у п е р е д а в а е м о й ( и з м е р я е м о й ) велич и н ы х и н е к о т о р о й п о м е х и s:(5.39)У = х + s,причем п о м е х а часто не зависит от х.ВэтомслучаеусловнаядифференциальнаяэнтропияхНакф(у\ )5р а в н а б е з у с л о в н о й э н т р о п и и п о м е х и # Д И ф ( ) - П о к а ж е м э т о .
П о аналогии сЯ(5.35)д и ф 0 1 * ) = - I f(x)[Sf(y\x)logf(y\x)dy] dx.хРассмотримправой части(5.40)увыражениевквадратныхскобкахпод интеграломв( 5 . 4 0 ) . З а м е н и м п е р е м е н н у ю j> в с о о т в е т с т в и и с ( 5 . 3 9 ) .П р и э т о м dy = ds. Б у д е м и м е т ь в в и д у , ч т о д а н н ы й и н т е г р а л в ы ч и с л я ется д л я ф и к с и р о в а н н о г о значения х:f(y\x)log/0\x)dyJJ/(x=sУЕсли значение x+ s|x)log/Of + s\x)ds.ф и к с и р о в а н о , т о у с л о в н а я в е р о я т н о с т ь обращается в б е з у с л о в н у ю , т.
е. / ( х + s\х) = / ( s ) . С л е д о в а т е л ь н о ,//(х +ss|x)log/(x + s|x)cfe=sJ/(s)log/(s)tfc= - Ядиф(5).Тогда"пщЫх)=H(s)Sf(x)dx.XИнтеграл вправой'WW*) =*WФормулу(5.37)S)счастипоследнего(5 41)--учетом(5.41)приведем д л я рассматриваемогослучая к виду•нх-у)282="д„Фоов ы р а ж е н и я р а в е н 1, п о э т о м у- w>-(5 42)-П р е д п о л а г а е м , ч т о при в ы ч и с л е н и и о б е и х э н т р о п и и — п р и н и м а е м о го с и г н а л а и п о м е х и — в е л и ч и н ы у к s в ы р а ж а ю т с я в о д и н а к о в ы х единицах.Е с л и и з м е р я е м а я в е л и ч и н а х и п о м е х а s и м е ю т н о р м а л ь н ы е распред е л е н и я , т о и х с у м м а т а к ж е и м е е т н о р м а л ь н о е р а с п р е д е л е н и е .
Дифф е р е н ц и а л ь н а я э н т р о п и я н о р м а л ь н о р а с п р е д е л е н н о й в е л и ч и н ы х , вычисленная по ( 5 . 3 4 ) ,Яхдиф( )=(l/2)iog[2jreD(x)],г д е D(x) — д и с п е р с и я в е л и ч и н ы х.Соответственно=Ядиф^)Я5диф( )=( l / 2 ) l o g [2veD(y)]= ( 1 / 2 ) l o g { 2тге [D(x)+ D(s)] };(l/2)log[2weD(e)].Подставив зти выражения в (5.42), получим.Чх,у)=(l/2)iog[Z>(x)+D(s)/D(s)] == ( l / 2 ) l o g [ Z ) ( x ) / Z ) ( S ) + 1].(5.43)К а к и з в е с т н о , д и с п е р с и я с и г н а л а п р о п о р ц и о н а л ь н а его с р е д н е й м о щ ности,к о т о р у ю о б о з н а ч и м РХ.
С р е д н ю ю м о щ н о с т ь п о м е х иобозначимPG. Т о г д аЛ х , у) =(l/2)log(Px/Ps + 1).(5.44)Н а п о м н и м , что зта ф о р м у л а справедлива д л я случая, к о г д а п о м е х а ^я в л я е т с я а д д и т и в н о й и не з а в и с и т от с и г н а л а , а з а к о н ы их р а с п р е д е л е ния — нормальные.Д о с и х п о р н е у ч и т ы в а л о с ь , что х есть ф у н к ц и я в р е м е н и , м е ж д ут е м р а с с м а т р и в а л а с ь передача о т д е л ь н ы х с о о б щ е н и й о з н а ч е н и я х нек о т о р о й н е п р е р ы в н о й в е л и ч и н ы х . П р и э т о м в е л и ч и н а J ( х , у ) трактовалась к а к среднее количество и н ф о р м а ц и и , содержащееся в о д н о мпринятом значении у. П о д р а з у м е в а л о с ь , что усреднение проводитсяпо м н о ж е с т в у в с е х в о з м о ж н ы х з н а ч е н и й х и у с у ч е т о м з а к о н о в распределения к а ж д о й из величин отдельно и обеих вместе.Т е п е р ь п е р е й д е м к р а с с м о т р е н и ю передачи с л у ч а й н о й ф у н к ц и и врем е н и х (/)по к а н а л у ,в к о т о р о м д е й с т в у е т с л у ч а й н ы й ш у м s (t).
П у с т ьчастотный с п е к т р процесса х ( ? )реме Котельникова(см.§5.2)ограничен частотой /указанный. С о г л а с н о теопроцесс х ( г )полностьюопределяется последовательностью ординат, в з я т ы х с интервалом Т == 1/2/гр283Влюсреднемпередачазначения однойинформацию, равнуюЗначит,вординаты,7 (х, у). Э т оединицу в р е м е н иприноситполучатепроисходит к а ж д ы е Т секунд.п е р е д а е т с я в с р е д н е м к о л и ч е с т в о информацииС =.У(х, у)/Т = 2/ гр Cf(x, у).ВеличинаПри(5.45)называется среднейСнезависимомаддитивномскоростьюшумеs(t)передачииинформации.н о р м а л ь н ы х распредел е н и я х х и s с р е д н я я с к о р о с т ь передачи и н ф о р м а ц и иС = fTp^g(PXIPS+1).(5.46)Связь м е ж д у и н ф о р м а ц и о н н ы м и и точностными х а р а к т е р и с т и к а м и .Информационные Критериип р и м е н и м ы н е т о л ь к о к с и с т е м а м передачи и н ф о р м а ц и и , но и к и з м е р и т е л ь н ы м п р и б о р а м и с и с т е м а м .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
