1625915145-22de02e41a1725ff3ee52ab4368adbc3 (843875), страница 30
Текст из файла (страница 30)
Условная энтропия случайной величины Х относительно случайной величины т' для дискретных Х и У и Н1Х ) у 1 = — ~ Р (Х = х, ~ 1' = у!)! Од, Р(Х = х11Т = у ); 1=1 для непрерывных Х и )и условная дифференциальная энтропия Н(Х~у)= — ~ у(х !у) 1ой,~(х!у)с(х. Средней условной энтропией НУ(Х] называется математическое ожидание условной энтропии. Для дискретных случайных величин Ну (Х1 = М (Н1Х ~ у! 1= и ию = — Х Х Р(У=Ут)Р(х=х1! У=У!)Х 1=1 Х 1пйи Р(Х=Х1 ) У=у!), лля непрерывных случайных величин Н, (Х) = М (Н (Х ~ у1 ) = — ~ 1 (у) у (х ( у) 1од, у' (х ~ у) с!х и(у.
Аналогичные формулы имеют место для систем случайных величин. Так, например, ии СО ('. „~у(х,, х,, ..., х ))~ ~ !Од .т (х1, хя, ..., х„) 4х1 ° ° '~хи энтнопия и инэонмлция 1гл. и — эвтропия системы и случайных величин, Н [Х, У[= — ~ у (л) Г'(х. у[л)1оа у(х. р[г)дхдуал СО ОЭ ОЭ вЂ” средняя условная энтропия подсистемы случайных величин (Х, г) относительно Е; Н з[Е[= — ~ /(х.
у)у(х[х, у)1ои у(х[х, у)дхс[удх — средняя условная энтропия случайной величины 2 относительно случайных величин Х. г. Справедливы неравенства Н [Х. У[ = Н [Х[ + Н„[У) ~< Н [ Х [+ Н [У[ Н[Х, Х,, .... Х„[ ~,'~',Н[Х,[, причем знак равенства соответствует независимости случайных величин. При а = 2 единицей измерения энтропии является энтропия полной группы двух несовместных равновозможных событий. При а Ф 2 значение энтропии, вычисленное для а = 2, нужно умножить на 1он 2.
Единица измерения энтропии называется двоичной при а = 2. десятичной при а = !О и т д. Решение типовых примеров П р и м е р 27.1. Производится стрельба по двум мишеням: по первой мишени сделано два выстрела, по второй-- три. Вероятности попадании при одном выстреле соответственно равны 1/2 и 1/3. Исход стрельбы по какой мишени является более определенным г Решение. Исход стрельбы определяется числом попаданий в мишень, которое подчинено бнномиальному закону распределения Р (Х = е) = С„ р (1 — р) энтРОННМ ОлУчяиных соьытии и Величин 219 Составляем ряд распределения для первей мишени нрн «= 2 и р= 1/2 (табл. 16); Таблица 17 Таблица 16 для второй мишени при «=3, р = 1/3 (табл.
17). Мерой неопределенности исходя стрельбы служит энтропия числа попаданий, Прн стрельбе по первой мишени 1 1 1 1 1 1 О !д 4 !д — $6' — =0,452 дес. ед.' 4 4 2 2 4 4 по второй мишени 1 1 2 2 4 4 Н = — — !д —,— -!9- — -!д 27 27 9 9 9 9 8 8 — — !д — =0,511 дес. ед. 27 27 Исхол стрельбы по первой мишени обладает большей определенностью. Аналогично решаются задачи .27.1 — 27.11. Пример 27.2 Среди всех законов распределения непрерывной случайной величины Х, для которых задана одна и та же дисперсия /), найти закон распределения с максимальной дифференциальной энтропией. Р еш ен ив. Согласно теореме зарнационного исчисления для нахождения функции у=у(х), даюШей экстремум интеграла ь у=УФ(х.
у)«х а при дополнительных условиях ~ ф,(х, у)дх=с, а — 2...,, «ь)> 220 ЭНТРОПИЯ И ИНФОРМАЦИЯ 1гл, у необходимо решить (не дифференциальное) уравнение Эйлера — =О, ою! бу тле Ф,=Ф+ ~ й,фн а постоянные )!, определяются с ног=! мощью заданных дополнительных условий. В нашем примере ищется максимум интеграла — УУ1ПУах при дополнительных условиях ~у !(х= 1 (х — х)ту!(х =И. Отсюда Ф!(х. У) = — т 1пт +з!/+)!з(х — х) т. Следовательно, уравнение для определения у (х) имеет вид — 1п у — 1 + А,! + )!я (х — х)' = О, откуда У(х) — сз-гз!А-УР где с = е-ь+'.
Из дополнительных условий находим 1 1 = Аз= —. в' 2~тО 2В Найденное решение соответствует максимуму энтропии. Таким обрааом, при заданной дисперсии 0 наибольшей энтропией обладает нормальный закон распределения у(х) е зо 1' 2но ЭНТРОПИЯ СЛУЧАИНЫХ СОБЫТИИ И ВЕЛИЧИН 221 Аналогично решаются задачи 27.12 — 27.15, П риме р 27.3. Доказать, что максимум энтропии дискретной случайной величины, равный 1оп„л (л — число значений, принимаемых случайной величиной), достигается при л ' Для доказательства воспользуемся неравенством 1пх )~ !в — — (л ) О) (знак = имеет место только при к= 1). При- 1 меняя зто неравенство. получим — О+ 1орл и = ~~~~~1 )ФА!ОД„ТЛРА) ~ А=! !па А=! Отсюда Н= — ~~,'! ра1оя,р <!Од,л.
А=! Случаю ира = ! Соответствует максимум энтропии, равный 1од„л. Аналогично решается задача 27.16. Задачи 27.1, В двух урнах имеется' по 15 шаров, причем в первой урне 5 красных, 7 белых . и 3 черных; а во второй— соответственно 4, 4 и 7. Из каждой урны вынимается по одному шару Определить, для какой из урн исход опыта является более определенным. 27.2, Вероятность появления события при одном испытании равна р, вероятность непоявления события !7 = 1 — рг Прн каком р результат испытания обладает наибольшей неопределенностью г 27 3 Исход какого из двух опытов обладает большей "еопределенностью; 1) внутри правильного треуголышка наугад ставится точка, которая может оказаться внутри илн вие вписанного в него круга;. 2) внутри круга наугад ста- ЭНТРОПИЯ И ИИФОРМДЦИЯ 1гл.
ч с е-",при х ~~0 (с ) 0), 0 при х(О. 27.8. Найти энтропию случайной величины Х; функция распределения которой 0 при х(0, ха при 0(х (1, '! при х)1. Р(х) =' 27.9. Определить условную дифференциальную энтропию Н (Х < у) н среднюю условную дифференциальную энтропию Н (Х) случайной величины Х относительно У. а также Н(У < х] и Н„!У! случайной величины У относительно Х для системы (Х, У) нормальных случайных величин. 27.! О.
Найти энтропию системы и случайных величин, подчиняющихся нормальному закону распределения. 27.11. По заданным энтропиям Н(Х1 н Н(У) случайных двличнн Х н У н средней условной энтропии Н„(Х! слу- вится точка, которая может оказаться внутри нли вне вписанного в него правильного треугольниками 27,4. В правильный и-угольник путем соединения середин его соседних сторон вписандругой правильный л-угольник. Точка, поставленная внутри данного многоугольника, может оказаться внутри или вне вписанного многоугольника. Определитги а) знтроппю опыта; б) значение а, при ко. тором энтропия максималыю. 27,5. Вероятность появления события А при одном испытании равна р.
Испытания повторяются до первого появления события А. Найти знтропню числа испытаний и выяснить характер изменения энтропии с изменением р. 27.6. Определить энтропию случайной величины, подчиненной биномиальному закону распределения: а) в общем случае; б) прп и=2, р=д=0,5. 27.7. Определить энтропию непрерывной случайной величины, подчиняющейся: а) закону равномерного распределения вероятноств в интервале (е, г1); б) нормальному закону распределения с дисперсией о~; в) экспоненциальному закону распределения а ю1 энтРОпия случайных сОБытий и Величин 223 чайной величины .Х относительно У определить среднюю условную энтропию Л (г) случайной величины Г относи. тельно Х.
27,12. Среди всех законов распределения непрерывной случайной величины Х, для которых плотность вероятности равна нулю вне интервала а ( х ( д, определить закон распределения с максимальной дифференциальной энтропией, 27.13. Среди всех законов распределения непрерывной случайной величины Х, для каторгах плотность вероятности равна нулю при х ( О, найти прн заданном математическом ожидании М 1Х) закон распределения с максимальной дифференциальной энтропией. 27,14. Найти плотность вероятности, при которой дифференциальная энтропия случайной величины максимальна, если задан ее второй начальный момент лгм 27.13. Среди множества законов распределения непрерывных систем случайных величин с заданной корреляционной матрицей найти закон распределения, при котором энтропия. системы максимальна.
27.16, Сообщение кодируется с помощью двух групп симво-. лов, причем в первой группе имеется м символов. встречающихся с вероятностями рп, рю, ..., р1а ~ рп — — а, а во дг=! второй группе и символов, встречающихся с вероятностями ( л рм, раз, ..., рв„. ~ ~~.", рву — — 1 — а . Определить при фикси/=1 рованном значении а вероятности рн и рз., соответствующие максимуму энтропии. 27.!7. Опыт А состоит в случайном выборе целого числа от 1 до 1050, а опыт  — в сообщении величин остатков: от деления этого числа на б и на 7. Определить энтропию опыта А н среднюю условную энтропию опыта А относительно опыта В. 27.18.
Между двумя системами случайных величин (Хг Хм ..., Хл) и (Гн «'м ..., 1'„) установлено взаимно однозначное соответствие 1'л — — <ра (Х~ Ха ° ° Лл) Ла= =фа(ун 1' . ° ., У„) (й=1. 2, ..., и). Найти энтропию гт (гп Ге ..., Г,1, если задана плотность вероятности у (хп ха, ..., л„). 9НТРОПИЯ и ИНФОРМАЦИЯ )гл. ч 27.19. Две системы (ХР Х,, ..., Хл) и (Уи Ум ..., Ул) случайных величин связаны линейными соотношениями л Уа= ~~'.1 ал)ХГ (А=1, 2, ..., и).' г=1 Определить разность энтропий Н [Уг' 1 з ° ° ° Ул] Н [Х1, Хм ° ° Хл] а) в общем 'случае; б) при п=3 и матрице преобразований 3 2 — 1 1 4 — 2 Π— 3 б [[аа,.'1= ф 28.
Количество информации Основные формулы г' [Х] =Н[Х] — Н [Х]. Для дискретных случайных величин Р(Х = к, )'= у) ~л Р(Х=к)Р(ГР у)1 хл кл Р(Х=кг, К= у)) = Дз 7а "«(Х = кг' ) = у)) )ойл Р(Х ) Р(1 — )'' 1=1 /=1 Если после получения сообщения о дискретной случайной величине У значение случайной величины Х полностью определено. то Н [Х] = О и 1'„.[Х] = Н [Х]. Количество информации, которое может быть получено в результзте наблюдения полной группы несовместных событий, измеряется ее энтропией Н; количество информации, которое может быть получено в результате наблюдения значения дискретной случайной величины Х, — ее энтропией Н [Х1.
Количество информации о случайной величине Х, которое может быть получено в результате наблюдения другой случайной величины У, измеряется равностью энтропии случайной величины и ее средней условной энтропии относительно 1'1 225 количвство итввопмлции й ян Если Х и Г независимы, то Н [Х[.= Н [Х[ н рт [Х[= О. Для непрерывных случайных величин у(Х[)')) Г у(Х, К) у .[Х[=М ~1ой, — 1= М~~1од, Оэ пп — / у(х, у)!ок ' у г[хс(у, У (х)ут(у) Кз симметрии формул для количества информации относительно величин Х н )' следует, что.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
