Горяинов В.Т., Журавлев А.Г., Тихонов В.И. Статистическая радиотехника - примеры и задачи. Под ред. В.И.Тихонова (2-е издание, 1980) (1092036), страница 78
Текст из файла (страница 78)
При определении полной взаимной информации 1 (Х; [г) величины 1ой Лх и !ой Ьд взаимно компенсируются, так что / (Х; г) от выбора координат ие зависит. Па аналогии с (18.7) Н (у) = — [ р„(д) [ой р, (д) бд, Н(Х ! !') =- — [ ~ р,(х, д) [ойдг(х[д) г/хбд, (18.9) Оч Н (У Х) = — ] ~ р, (х, д)!опрг (д] х) г/хг/д. (18,10) Когда Х н г' статистически связаны между собой, то Н(Х, 1')= Н(Х)+ Н()г[Х) Н(У)+ Н(Х['г). (!8.11) Полная средняя взаимная информация определяется формулой /(Х; У) = Н(Х) — Н(Х[У) = Н(У) — Н(У[Х), (!8.13) а пропускная способность непрерывного канала где максимум / (Х; 1') достигается выбором оптимального распределения рг (х) входного сигналах (/) прн достаточно большом интервале времени Т.
В случае канала связи с ограниченной полосой частот пропускная способность определнется формулой Шеннона [1] где Р— полоса пропускания канала; Уе — постоянная спектральная плот- ность нормального стационарного шума л (/) в полосе 0 ( / м Р; оз = 5 = < ха (/) ) = сопя[ — ограниченная средняя мощность сигнала х (/), представляющего собой стационарный гауссовский процесс с равномерной спентральной плотностью в полосе О ( / ч Р; д (1) = х (/) + л (/), причем х (/) и л (/) — статистически независимы, Если оз/УаР ть 1 (отношение сигнал/шум велико), то С = Р !06 (оз/У,Р).
(18.16) Когда спектральная плотность гауссовского случайного сигнала х (/) есть 5 (/), а спектральная плотность аддитивного гауссовского шума л (1) равна У (/), формула (18.15) имеет вид В табл. 18.1 приведены значеняя энтропии Н (Х) некоторых непрерывных законов распределения [1, 15, 110, 115 †1], 1. По формуле (18.1) находим 1(х; у) =!од ' = — !п ))2(д) 1п2 )22(а) ! а„( и' уО =- — 1п —" ехр ( — —, + —,), 1и 2 ап (, 2а» 2а / 1(х;у)= — 1п " "+ — ~ — —,+ 2. Согласно (18.3) имеем )/'+: 1 (Х; У) = ~ ~ Р, (х, у) 7 (х; у)е(хе(у = <(1 (х; у)1> = !од а„ хг где ( ) — знак усреднения по множеству. Таким образом, ")/ а'+ а„' 1 )' а2 1(Х; У)=!од ' " = — 1оИ ~1+ — ", дв.
ед. а„2 )( а» / 18.2. Вычислить полную среднюю взаимную информацию ! (Х; У) между случайными величинами Х и У, имеющими нормальные плотности вероятностей и коэффициент взаимной корреляции Я„„= Я = — ((х — и„) (у — те)), 1 а» а)) где и„, т„о„', о'„— математические ожидания и дисперсии величин Х !( У.
Решение. В соответствии с (18.3) и (18.1) имеем ОО ОО 1 (Х; У) =~~Р2(х, у)1(х; у)((хг(у= ~ ~ Р,(х, у) Х хг Ю 00 00 а!ой 2)2("'") ((хе(у= — ( ~ Р, (х, у)(!пР,(х, у) — 1пр,(х)— (»), (у) 00 — 1пр,(у))е(хе(у= — '! ~ р,(х, у)1пР,(х, у)((х((у— !п2 520 ОО ОО Ю 00 (0,(*,и)) 0,(*)0(и — ( (О (*,и)),») 0*221- — 00 Ю О2 00 00 ОО 1 — ~ Р,(х,у) 1пре(х, у) ((х((у — ~ р,(х)!пр,(х)((»в 1п2 ! — (») () 02~ Вычислим эти интегралы, учитывая, что по условию 1 (» «)х) ,2 )х'Б ~ 2а2 1 (у — та)2 1 Р,(у) = ехр а„)2 222 ~ 2а2 1 1! Г(» — и) ) 2да» ад ф'!:И ( 2(1 ЯО) ~ ໠— 2)х + В а аа 00 00 Ю ~ РО(х, у) 1пР,(х, у)с)х((у= ( ( Р,(х, у) )с 00 — 00 — О— Х ().
' ' '*-".' 2»( )О О),. 2па аа 1:! — ЯО 2(1 ЯО) ! аО ах а» + — "," ~~ е(хе(у = — 1п (2па„а„у' 1 —,Ки)— 00 00 1 2 » ОО ОО 2)1 +,, ~ ) (х — т„)(у — т„)Р,(х, у)е(хе(у— ОО 1 ) ) (У вЂ” т„)'р (х, у) е(х((у. ' ' — '~'е — 02 — 00 Так как ОЭ 00 00 ОО ) (х тх) Р2 (х У) ((х((у а». ~ ~ (у — та)2 Р2 (х, у) е(хе(у =(!2 — 00 02 00 02 ОО ОО )е (х — т„) (у — т„) р, (х, у) е(х((у = уо, и„, ь ~ фо [х, Рь (х)] ь[х = йь = сопз[, а (!8.20) е — ""' ь[х = ] и/2а, о ь [ ф„[х, р„(х)] йх = /ь„= сопз[, о то или е — "* — ' =]/ — 2,,/и. Н (Х) = — ] р, (х) !п р, (х) с/х (18.22) Иб !8.5.
Средняя мощность передаваемых сигналов о„* = оо. Найти распределение, которое при данном ограничении обладает максимальной энтропией, равной Н (Х) = (1/2) 1п (2пеао). Решение. Решим задачу с помощью методов вариационного исчисления [117! (иной метод использован в [1, 11О]). Если требуется найти максимум (или минимум) интеграла ь /=- ') Р[х, Р,(х)]йх а при дополнительных условиях ь ~ ф, [х, р, (х)! ь[х = й, = сопз[, а то функция р, (х), обеспечивающая максимум (или минимум) интеграла (18.19), находится из решения уравнения — + )~ь — + "з — + .- + ) и — = 0 (18 21) дР дф«дф«,, дф« дрд др« дрд " др« где Х,, )«„..., ь,„— некоторые константы (неопределенные множители Лагранжа), которые определяются подстановкой р, (х), являющейся решением уравнения (!8.21), в равенства (!8.20).
В данном случае требуется найти такую функцию р, (х), при ко- торой достигает максимума, причем максимум следует искать при усло- виях О «« ] х'р, (х) дх = о', ) р, (х) ь[х = 1. Функции Р, ф„ фо имеют вид Р [х, р, (х)] =-- — Р, (х) 1п р, (х), фь [х, Р1 (х)] = хор«(х), фо [х, Рь (х)] = Р«(х). Следовательно, дР/др = — [1 + [п р, (х)], дф,/др, = хо, дфо/др, = 1. Подставив значения производных в (18,21), получим — 1 — 1пр,(х)+).,хо+), = О.
Из этого соотношения следует, что !и р, (х) =- !,о — 1 + ),,хо или Р, (х) =- е"* — 'е" «'. (18.23) Для исключения неизвестных ).„и ьо подставим найденное значение р, (х) во второе равенство (18.22). Тогда О« ОО (х),/х ~ е — ь,— |ем «',(х 2еь,— 1 ~ ем «* /х — 0« «О о Отметим, что ),, должно быть отрицательным, ибо в противном М случае интеграл 1 р,(х) дх расходится. Так как о 2ех* — 1~е" «*~/х==2еь — ~ ~/ =1 2 — Ьо о Тогда (18.23) примет вид Р (х) — ]/ ) /пеь,«* (18.24) Подставим (18.24) в первое соотношение (18.22): Ю О« оо= ~ хор,(х)~/х=2 ~// ' ~хоех «*ь[х= — О« о Следовательно, ь, = — 1/2оь, Подставив значение ь., в выражение (18.24), окончательно получим Р, (х) е — «ыоо* я']/2а Таким образом, при ограничении сигналов по их средней мощности максимальной энтропией обладают функции с нормальным распределением.
Вычислим энтропию случайной величины, распределенной по нормальному закону 0 С Н(Х)= — ~ р,(х)!пр,(х)йх = — ~ р,(х)1п е — «*та'~(х а ~/2л = — ~ р,(х) 1п)~2лаайх+ ~ р,(х) — г(х. 2а' Учитывая ограничивающие условия (18.22), найдем Н (Х) = Н,„(Х)=!п )Г2лаз + а'!2о' =-!п )/2лпз + 1пе. Следовательно, Н (Х) = 1п )/2лео' =- (! !2) 1п (2леа'). 18.6. Определить полосу пропускания канала передачи телевизионного черно-белого изображения с 5 !О' элементами, 25 кадрами в секунду и 8 равновероятными градациями яркости для отношения о,'~Н,Р = Р„)Р„= 15 при условии, что изображение может принимать наиболее хаотичный вид — вид «белого шума».
Решение. Изображение принимает вид белого шума, если все его элементы как в одном кадре, так и в различных независимы. Энтропия такого изображения при указанных условиях равна Н„(Х) = 5 !О'!од 8 = 1,5 10' дв. ед. Ввиду независимости кадров общее максимальное количество информации, которое должно быть передано в ! с, составит Н (Х) = = 25 1,5 10а дв. ед. Приравнивая это значение пропускной способности канала (18.15), получаем 25 1,5 10' = Р !од (1 + + 15), откуда Р=-9375 10в Гц 94 МГц Обычные телевизионные изображения имеют сильную пространственную и временную корреляцию.
Поэтому практически необходимая пропускная способность может быть существенно меньше принятого здесь максимального значения. 18.7. Найти спектральную плотность сигнала 5 (7), которая при Ь заданных значениях его полной мощности Р, =- ~ 5 (7) г(7 и спекь тральной плотности гауссовской помехи Н (7) обеспечит максимальную скорость передачи информации. Решение. Согласно (! 8.18) ь С = ) !п !! + 5 (!')~'Н (!)! г(7. н 526 Требуется найти максимум этого интеграла при условии Р, = и ') 5 (7) г(7.
На основании (18.21) имеем и — +2. — = — (п~! + — !+А — '=О, дР д<р д г Я У дЯ дЯ дз дЯ ~ У,) д8 где 5 = 5 (!), Н =- Ж (!). Так как то !5 (/) + Н (7)! ' = — А. Следовательно, 5 Ц) =- — 1/А — Н (~). Искомая спектральная плотность сигнала 5 (!) должна быть такой, чтобы, будучи добавленной к спектральной плотности помехи Н (7), она обеспечила постоянство этой суммы и независимость ее от частоты.
Величина А выбирается так, чтобы общая мощность полезного сигнала равнялась заданной мощности Р,. 3. ЗАДАЧИ И ОТВЕТЫ 18.1. Информация передается посредством изменения амплитуды сигнала Х, распределенной по нормальному закону с параметрами т„= 0 и а', = 15. Величина Х измеряется регистрирующим устройством с погрешностьюЯ, независящей от амплитуды сигнала и также распределенной по нормальному закону с математическим ожиданием т, =- 0 и дисперсией а„' = 9. Определить количество информации 7 (Х; У) о величине Х заключенное в случайных результатах измерений У = Х + Я, Отвея: ! (Х; У) 0,7! дв. ед.
18.2. Для контроля исправности блока периодически измеряют напряжение в контрольной точке схемы. При исправном блоке это напряжение равно ! В, а при неисправном — 0 В. Ошибка вольт. метра распределена равномерно с нулевым средним, но ширина этого распределения зависит от значения измеряемого напряжения: ояа равна 2 В, если напряжение на выходе составляет 1 В, и 1 В в противном случае. В среднем в 90% времени блок исправен. Вычислить количество информации 1 (Х; У), доставляемой прибором при одном измерении. Ответ [!20): 1 (Х; У) = 0,28 дв. ед. !8.3. Информация передается с помощью частотно-модулированных синусоидальных сигналов, рабочая частота Р которых изменяется с равной вероятностью от ~, = !О МГц до ~, = 50 МГц. Определить энтропию Н,(Р), если точность измерения частоты л1 = 2 кГц.
Ответ: Н, (Р) ж 14,28 дв. ед. 18.4. Измерительное устройство вырабатывает временнйе ин- тервалы, распределенные случайным образом в пределах от 100 до 500 мс. Как изменится энтропия случайной величины при изменении точности измерения с 1 мс до 1 мкс? Ответ: Энтропия увеличится примерно на 10 дв. ед. 18.5. Вычислить дифференциальную энтропию нормального за- кона с дисперсией о~ и равномерного распределения с той же дис- персией. Ответ: Н„(Х) =: !оа (о)Г2ле), Нр (Х) = !ой (о2)~'3).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
