Теория вероятности. Вентцель Е.С (4-е издание) (1082431), страница 84
Текст из файла (страница 84)
Проанализируем структуру этого выражения. Оно представляет собой не что иное, как осредненное по всем состояниям х, значение величины Р(х»!у,) (оя (18 ~ 1) Р! Осредненне происходит с учетом различных вероятностей значений хи хм ..., х„. Тлк как система )' Уже пРинЯла состоание У1, то при осреднении значения (18.6А) множатся не на вероятности р, состояний х,, а на условные вероятности Р(х11у!).
Такам образом, выражение для частной информации можно записать в виде условного математического ожидания: Р(Х1у й .) 1у,т Му ~ 1од (18.О.б) В предыдущем п' мы рассмотрели полную (илн среднюю) информацию о системе Х, содержащуюся в сообщении о том, в каком состояняи находится система У'. В ряде случаев представляет интерес оценить частнуго информацию о системе Х, содержащуюся в отдельном сообщении, указывающем, что система )' находится в конкретном состоянии у!. Обозначим эту частную информацию 1у .+х. Заметим, что полная (или, иначе, средняя) информация 1г вх должна представлять собой математическое ожидание частной информации для всех возмоягных состояний, о которых может быть передано сообщение: т 1г.+я = 2'.1, 1» .+х (18.6.1) ! 1 ! Прпдадим форввуле (18.5.14), по которой вычисляется 1г.»х (она же 1г „), такой зид, как у формулы (18.6.1); б ~ 8 ~~ .
Р(„ 1г х=~~» ~ы Р, 1ои — = 1» ~ г Р(х,~у!)!оя 1 11=1 1=1!.1 ~1 ! Р(х !у ) = ~ г! ~~~~~Р(х»/у!) !оя, (!8.6.2) Р1 1=1 1 1 откуда, сравнивая с формулой (18.6.1), получим выражение частной информзции: 490 Основныв пОнятия ТВОРНН инФОРХАции !ГЛ. 1З (18.6.6) (18,6.7) откуда !п 411 !ода = — о> — (! — — ~.
!п2 - !п2 ! 40 На основании (18.6.3) и (18.6.6) имеем: Уу .«х — ~~~и Р (х! ~ У ) !ОК 1711 и« 1=1 и и 1П2 ~И ( 1~УУ)( д") 1П2 ~й ( '~УУ)( Р(х ~у) ~ 1=1 411 1-1 (18.6.8) и л = — „, Ъ ло,~л1 — ~л,). 1 -1 1 1 1=1 Но л л ХР(х; ~ уу) = Хр; =1.
1=1 и выражение в фигурной скобке равно нулю; следовательно Ул «х) О. Таким образом. мы доказали, что частнан ин!бормлцил о сне лелле Х, о н,1л,асннин с оооалаьии о,1юоои сосюоннии у системы 'г', не межень быть отримагиельной. Отсюда следует, что неотрича ельня н по.иная взаимная информация Уг х (как математическое ожидание неотрицательной случайной величины): УГФ«х> О. (18.6.9) Р!з формулы (18.5.5) для информации: Уг .«А=Н(Х) — Н(Х~)л) ГлллУ10 Н (Х) — Н (Х ~ 'г') > 0 ,Н(Х~У) ~(Н(Х), (18.6.
10) Докажем, что частная информання Уу,.«х, так же как и полная, у не может быть отрицательна. Действительно, обоаначим: Р(хг! уу) = 'у" Рс и рассмотрим выражение Р(хг ) уу) )од = )он о,у. Р1 Легко убедиться (см. рис. 18.6.1), что при любом х > 0 1пх (х — 1. 1 Полагая в (18.6.7) х= —, получим: 411 1 1 — !по ( — — 1; !по" >~1 — —, 11 е. 11 рну 491. ЧАСТНАЯ ИНФОРМАЦИЯ О СИСТЕМЕ ы.61 т.
е. полная условная энтропия системы пе превосходит ее безусловной энтропии '). Таким образом, доказано положение, принятое нами на веру в п'18.3. Рис. 18.6.1, для непосредственного вычисления частной информации формулу (18.6.3) удобно несколько преобразовать, введя в нее вместо условных вероятностей Р(х»1))) безусловные.
Лействительно, Рт» ( 1Ь») Г) и формула (18.6.3) принимает вид к Кч Рц РН (1 8.6.1 1) Г ',Э1Г» 1=1 Н р н и е р 1. Система (Х, У) характеризуется таблицей вероятностей Р1" », ~0110;1 рс ~ 0,4 ~ 0,6 Найти частную информацию о системе Х, заключенную в сообщении у -»1. ') Заметим, что это справедливо только в отнешеиии полной условиои энтропии; что касаегси частной условной энтропии О(Х1»»), то она дла отдельнык у» может быть как белые, так н меньще И(Х). основныи понятия тнонин ннеоимлции !гл. !а Р е ш е н и е, По формуле (18.6.11) имеем; 0,1 0,1 0,2 0,2 ! = — '!оя — '+ — '!оя У,ьх= 03 04,03 ОЗ 06,03' По таблице 6 приложения находим !од 0 3 !оя 1Π— !оя 12 т — 0,263, 0,1 0,4 0,3 0,2 !оя †' = !оя 20 — !оя 18 =0,152, 0,6 0,3 ! х т — 0,333 ° 0,263+0667 ° 0,152уз0,013 (лв.
ед). 1 Мы определили частную информацию о системе Х, содержащуюся в конкретном событии У ур т. е. в сообщении «система )«находится в состоянии у!». Возникает естественный вопрос: а нельзя ли пойти еше дальше и определить частную информацию о событии Х хо содержащуюся в событии У уг? Оказывается, зто можно сделать, только получаемая таким образом информация «от события к событию» будет обладать несколько неожиданными свойствами: она может быть как положительной, так и отрицательной. Исходя из структуры формулы (18.6.8), естественно определить информацию «от события к событию» следующим образом: Р(х! ! у!) 7у ч,« — — 106 р! т.
е. частная информация о событии, получаемая в результатг сообщения о другом событии, равна логарифму отношения вероятности первого события после сообщения и его же вероятности до сообщения (априори). Из формулы (18.6.12) видно, что если вероятность события Х х! в ревультате сообщения У' у! увеличивается, т, е.
Р(х,.(у.) > р!, то информация !у, положительна; в противном случае она отриуу«. цательна. В частности, когда появление события )' у! полностью искл!очает ! сзг!ож! с с! ь ьеьз..:: шя сабы |!!я Х х! ! ц е. ко!Да зги события несовместны), то уу .у« — — со. ! ! Инфориацию!у ч,«можно записать в анде: уу->« Р(х! ! у!) Р!! ?у,», = !од . = !ои— ргсю пз чего следует, что она симметрична относительно х, и ур и ~г ! «! у! (18.6,14) !з.п энтэопия для систвм с нвпзнзывн. множвством состоян. 493 Таким образом, нами введены три вида информации: 1) полная информация о системе Х, содержащаяся в системе Г! т и-ьх = угч-»х! 2) частная информация о системе Х, содержащаяся в событии (сообщении) 1' ут: уз! .х! 3) частная информация о событии Х хн содержащаяся в событии (сообщении) г' у!. Уу.-ьк.
= 7т «-+х.. 7 ! ! ! !1ервые два типа информации неотрицательны; последняя может. быть как положительной, так и отрицательной. Пример 2. В урне 3 белых н 4 черных шара. Из урны вынуто 4 шара, три из ннх оказались черными, а один — белым. Определить информацию заключенную в наблюденном событии В во отношению к событию А — следующий вынутый из урны шар будет черным.
Р е ш е н н е. гв-эл — — !ок Р ! — — !ок 4 7 ш — 0,779 (лз. ел.). Р (А ! В) 173 Р (А) 4)7 13.7. Энтропия и информация для систем с непрерывным множеством состояний До сих пор мы рассматривали физические системы, различные состояния которых хн х,, ..., х„можно бы.ю все перечислить; вероятности этих состояний были какие-то отличные от нуля величины р,, пз, ..., р,. Такие системы аналогичны прерывным (дискретным) случайным величинам, принимающим значения хн хз, ..., х„ с веРоатиостами Рн Рз, ..., Рк. На пРактике часто встРечаютса физические системы другого типа, аналогичные непрерывным случайным величинам.
Состояния таких систем нельзя перенумеровать: они непрерывно переходят одно в другое, причем каждое отдельное состояние имеет вероятность, рзвную нулю, а распределение вероятностей характеризуется некоторой плотностью. Такие системы. по аналогии с непрерывными случайными величинами, мы будем нак '. —;. з отличи'. от пачее рассмотренных, которые мы будем называть «дискретныии».
Наиболее простой пример непрерывной системы — это система, состояние которой описывается одной непрерывной случайной величиной Х с плотностью распределения,к(х). В более сложных случаях состояние системы описывается несколькими случайными величинами Х,, Хз, ..., Х, с плотностью распределения У(хн хз, ..., х,).
Тогда ее можно рассматриРассмотрим простую систему Х, определяемую одной непрерывной случайной величиной Х с п ютнос!ью распределении у (х) 494 ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ [ГЛ. 1а (рис. 18.7.!). Попытаемся распространить на эту систему введенное в и' 18.1 понятие энтропии. Прежде всего отметим, что понятие «непрерывной системы», как и понятие <непрерывной случайной величины», является некоторой идеализацией. Например, ггх/ когда мы считаем величину Х вЂ” рост наугад взятого человека — непрерывной случайной величиной, мы отвлекаемся от того, что фактически никто не измеряет рост точнее, чем до 1 слс, и что различить между собой два значения роста, разнясс щиеся, скажем, на 1 лслс, Рис.
[8.7.1, практически невоаможно. Тем не менее данную случайную величину естественно описывать как непрерывную, хотя можно было бы описать ее и как дискретную, считая совпадающими те значения роста, которые различаются менее чем на 1 слс. Точно таким образом, установив предел точности измерений, т. е. некоторый отрезок цх, в пределах которого состояния системы Х практически неразличимы, можно приближенно свести Д4 непрерывную систему Х к дискретной. Это равносильно замене плавной кривой 7"(х) ступенчатой, типа гистограммы (рис.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
