Теория вероятности. Вентцель Е.С (4-е издание) (1082431), страница 85
Текст из файла (страница 85)
18.7.2)[ при этом каждый участок (разряд) длины Ьх заменяется одной точкой-представите- л лем. Плошади прямоугольников изображают вероят- Рис. 18.7Д. ности попадания в соответчимыми состояния системы, относящиеся к одному разряду, и объединить их все в одно состояние, то можно приближенно определить энтропию системы Х, рассматриваемой с точностью до с!х[ гса< (Х) = — ~~'„~ К (хс) Ьх 1ой ( г" [х,) ссх1 = с = — ~ У(х ) Ьх [!Од,Г(хс) [- [од Ьх) =' = —,сл 17 (х,) !Оа~(хс)с[ Ьх — 1ой Ьх» У (х,) Ьх. (18 7.1) с с га.п энтвопия для систвм с няпяввывн. множвством состоян. 495 При достаточно малом Ьх ~~ [у(х,)1о87'(х~)) Ьх ж ~ у(х)1оду'(х)с(х, и формула (18.7.1) принимает вид: Нь,(Х) = — ~,7 (х) 1оЯ У (х) ах — 1о Ьх.
(18.7.2) Заметим, что в выражении (18.7.2) первый член получился совсем не зависящим от Ьх — степени точности определения состояний системы. Зависит от Ьх только второй член ( — 1ойбх), который стремится к бесконечности при Ьх — »0, Это и естественно, так как чем точнее мы хотим зздать состояние системы Х, тем большую степень неопределенности мы должны устранить, и при неограниченном уменьшении Ьх эта неопределенность растет тоже неограниченно. Итак, задаваясь произвольно малым «участком нечувствительности» Ьх наших измерительных приборов, с помощью которых определяется состояние физической системы Х, можно найти энтропию Нь„(Х) по формуле (18.7.2). в которой второй член неограниченно растет с уменьшением Ьх.
Сама энтропия Н, (Х) отличается от этого неограниченно растущего члена на независимую от Ьх величину Н'(Х) = — ~ 7(х)!оК У(х)4х. (18.7.3) Эту величину можно назвать «приведенной энтропией» непрерывной системы Х. Энтропия Н«г(Х) выражается через приведенную энтропию Н'(Х) формулой Н, (Х) — Ч*гХ) 1о,тдх (18.7.4) Соотношение (18.7.4) можно истолковать следующим образом: от точности измерения Ьх зависит только начало отсчета, при котором вычисляется энтропия.
В дальнейшем для упрощения записи мы будем опускать индекс Ьх в обозначении энтропии и писать просто Н(Х); наличие Ьх в правой части всегда укажет, о какой точности идет речь. Формуле (18.7.2) для энтропии можно придать более компактный вид, если, как мы это делали для прерывных величин, записать ее в виде математического ожидания функции. Прежде всего перепишем 496 основныа понятия теопии инеоимлции [гл. ~з (18.7.2) в виде Н(Х) = — [ 7(х) [оп [Г'(х) Ах[ г(х. (!8.7.5) Это есть не что иное, как математическое ожидание функции — !од [7" (Х)Ьх) от случайной величины Х с плотностщо 7'(х): Н (Х) = м [ — [о8 [7 (Х) г, [[. (18.7.6) Аналогичную форму можно придать величине Н*(Х): Н'(Х) = М [ — 1оя 7'(Х)].
(1 8.7.7) Перейдем к определению условной энтропии. Пусть имеются две непрерывные системы: Х и У. В общем случае эти системы аависимы. Обозначим /(х, у) плотность распределения для состояний объединенной системы (Х, У); 7',(х) — плотность распределения системы Х; /,(у) — плотность распределения системы У; 7'(у[х), 7(х[у) — условные плотности распределения.
Прежде всего определим частную условную энтропию Н(У[х), т. е. энтропию системы У при условии, что система Х приняла определенное состояние х. формула аля нее будет аналогична (18.4.2). 'только вместо условнык вероятностей Р(уг[хг) будут стоять условные законы распределения 7'(у[х) и появится слагаемое [орду: Н(У[х)= — ~ 7(у[х)1од 7(у[х)~(у — !опду.
(18.7.8) или Н (У [ Х) = М [ — !од [ Г' (У [Х) Ьу[ [. (18.7.12) Перейдем теперь к полной (средней) условной энтропии Н(У[Х); для этого нужно осреднить частную условную энтропию Н(У[х) по всем состояниям х с учетом их вероятностей, характеризуемых плотностью Л (х): Н (У [ Х) = — ~ ~ 7', (х) 7 (у [ х) 1од 7 (у [х) Их ау — 1оп Ьу (18. 79) или, учитывая, что 7'(х, у) =Д(х) 7(у[х), Н (У [ Х) = — ~ /,7 (х, у) 1о8 ~ (у [ х) г[х г(у — !ой Ьу.
(18.7, 10) СО Иначе эта формула может быть записана в виде Н (У[Х) = М [ — 1ой)" (У[Х)[ — 1од Ьу (18.7.11) знтгония для систем с ненгевывн. множеством состоим. 497 Так как .7(х, у) =у!(х) у(у~х). 7(Х. У)=у,(х) т(У!Х). то и (18.7.14) Подставим (18.7.14) в (18.7.13): Н (Х. У) = М ! — !Од У; (Х) — !Од У (У / Х) — ?од Ьх — ?од Ьу) = = М [ — !Од (71 (Х) Ь х)~ + М ~ — !Од (7" (?' ~ Х) Ьу)), или, но формулам (18.7.6) и (18,7.12), Н(Х, ?)=Н(Х)+ Н(У ~ Х), (!8.7.!5) т. е. теорема об энтропии сложной системы остается в силе и для непрерывных систем. Если Х и У независимы, то энтропия объединенной системы равна сумме энтропий составных частей: Н (Х, У) = Н (Х) + Н ( У).
(18.7.16) Пример 1. Найти энтронню непрерывной системы Х, все состояния которой на каком-то участке (а, Р) одинаково вероятны: 1 — — нри а<х<3, У(х) = Р— а О при х<а нли х>р. Р е ш е н н е. Н" (Х) = — / — !оя — «х =!оя (Р— а); 1 ! Н(Х) =!оа(а — а) — !оя ах или Н(Х) = !Оя —. 3 — а ах (18.73 7) Г! Ример 2. Найти энтропию снег«мы Х, состояния которой распределены но нормальному закону; «1 ! у(х)= — =г * У2ка * 32 Е. С.
аэюа«аь Определив таким образом условную энтропию, покажем, как она применяется при определении энтропии объединенной системы. Найдем сначала энтропию объелиненной системы непосредственно. Если «участками нечувствительности» для систем Х и У будут Ьх и Ьу, то для объединенной системы (Х, У) роль нх будет играть элементарный прямоугольник Лхасу.
Энтропия системы (Х, У) будет Н(Х, ?') = М [ — !Од (У (Х, 1') Ьх Ьу)). (18.7.13) ы.п энтэопия для систвм с нвпэвэывн. множвством состоян. 499 Р К Рис. !8.7.3. гг +к= у у,у(х, у)!од ' г(х ду (18.7.20) У(», у) Л (х) гэ(у) нли, применяя знак математического ожидания, У(Х, У) г г+-+х = М '! 1оЯ у (Х) у (у) ~.
Полная взаимная информация !г+. х, как и в случае дискретных систем, есть неотрицательная величина, обращающаяся в нуль только тогда, когда системы Х и 1' независимы. При мер 4. На отрезке(0, 1) выбираются случайиыи образом, неээвисиио друг от друга, две точки (7 и У; каждая иэ иих распределена иа этом отрезке с равномерной плотностью. В результате опыта одна иэ точек легла правее, другая — левее.
Сколько информации о положении правой точки дает значение положеиия левой? Р е ш е к и е. Рзссиотрии две абсцисс их 1рис. 1Ь.7.3). Обознав л чим У абсциссу той из них, которая оказалась слева, а Х абсциссу той, которая оказалась Рнс, 18.7.4. справа (ка рнс. 18.7.3 слева оказалась точка (Г, но могло быть и наоборот). Величины Х и У опрелеляются через (7 и У следующим образом( У ш!п((5 У)г Х= шах((г, У). Найлем закон распределения сястемы (Х, У).
Так как У < Х, то ои будет существовать только в области Р, заштрихованной на рис, !8.7.4. Обозначим Таким образом, мы распространили понятие энтропии на случай непрерывных систем. Аналогично может быть распространено и понятие информации. При этом неопределенность, связанная с наличием в выражении энтропии неограниченно возрастающего слагаемого, отпадает: при вычислении информации, как разности двух энтропий, эти члены взаимно уничтожаются.
Поэтому все виды информации, связанные с непрерывными величинами. оказываются не зависящими от у «участка нечувствительности» йх. л Выражение для полной вззимной информации, содержащейся в двух непрерывных системах Х и У, будет аналогично вырзжению (18.5.4), но с заменой вероятностей законами распределения, а сумм — интегралами: 500 ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАНИИ (гл (а у (х, )) плотность распределения системы (Х, 'т') н найдем злемент вероятности У(х, у) ах ау, т. е.
вероятность того, что случайная точка (Х, Г) попадет в злементарный прямоугольник (х, к+ах; у, у+г(у). Это событие может произойти двумя способами: либо слева окажется точка У, а справа (г, либо наоборот. Следовательно, у(х, у) аха'у =Т(х, у) ах ау+у(у, х) а'хау, где Т(и, е) обозначена плотность распределения системы величии ((7, (г). В данном случае следовательно, Т (х, у) = Т (у, х) = 1; у(х, у) т(хт(у =- 2 ах т(у 2 прн (х, у)~ О, у(х, у) = О при (х, у) гу- (у. Найдем теперь законы распрелеления отдельных величин, входящих в систему: а» к 71(х)= ~ у(х,у)т(у= ~ 2ау=2х прн 0<х<1; Оа о аналогично Ут(У) ~ У (х, У) ах = ~ 2 Лх = 2(1 — У) пРи О < У < 1. СО т Графики плотностей /, (х) и уа(у) изображены на рис. 10.7.5.
Рнс. 18.7,5, Подставляя У(х, у), Л (х) и уа(у) в формулу (10.7.20), получим чвч ьх= 1 — у / / 1п2 1 2ахиу ч"ь 1и ',/,/ 2х (1 — у) (еч гт~ — ~ 2.3. / / 2(-ьк~еч./ /2à — ! 6 — жечь). 1 '(й7 (О( (01 1зп энтРОпиЯ длЯ систем с непРеРынн. множествоч состОЯн. 501 В силу симметрии задачи последние два интеграла равны, и 4 х = — 1 — — ( 1п х я'х еу = ч-ь = 1п2./ .) (ео 1 х 1 4 2 1 = — 1 — — 1!Ехпх / ху 1 / 2х!пх1(х= !Е2./ 1п 2,/ о о ! 1п2 — 1 ш 0,44 (дв. ед.). Для этого сначала преобразуем выражение у(х, у) у,(х) у(у ~ х) у(у )х) ~ У1(Х)72(У) ~ У1(Х)У2(У) ~ Уэ(У) ' В нашем случае уе 2( чк) Ут(У)= 1у - х1' 1 2к у (у ! х) = = е 'гг2ке Впрзжеиие П8ЕЛ22) равно: (см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
